基本概念
神经网络是一个非常大的函数，里面有许多可以调整的数字，叫作参数。训练就是一点一点地调整这些数字，直到网络对训练样本给出正确的输出。
大语言模型（LLM）是用海量文本训练出来的神经网络，只做一件事：预测下一个词元（token）。词元是一小段文本——一个词、词的一部分，或者常常是一个汉字。预测出一个词元，把它接到文本后面，再预测下一个，如此反复，就得到一整段回答。
这类模型的核心思想是注意力机制。对每个词元，模型都会算出其他哪些词元跟它有关、关系有多大。比如“打了一瓶酱油”里的“打”，要靠注意力从“酱油”那里得知它是“买”的意思。2017年发表的Transformer架构就是围绕注意力机制构建的，今天的大模型都是Transformer。
你给模型的文字叫提示词。模型一次只能看到有限长度的文本，这个范围叫上下文窗口。另外，模型生成的是“像样”的文字，而不是核实过的事实，所以有时会说出听起来对、其实是错的话。这叫幻觉。
智能体是能采取行动的模型，比如上网搜索或运行代码。它按循环工作：模型选定一步，由程序去执行，结果再放回上下文窗口；然后模型选下一步，直到任务完成。这就是智能体循环。
术语对照
| 英文 | 中文 |
|---|---|
| neural network | 神经网络（shénjīng wǎngluò） |
| large language model | 大语言模型（dà yǔyán móxíng）；通常简称大模型（dà móxíng） |
| attention mechanism | 注意力机制（zhùyìlì jīzhì） |
| token | 词元（cíyuán） |
| prompt | 提示词（tíshìcí） |
| context window | 上下文窗口（shàngxiàwén chuāngkǒu） |
| agent | 智能体（zhìnéngtǐ） |
| hallucination | 幻觉（huànjué） |
以上是大陆的说法。台湾写作“神經網路”和“大型語言模型”，智能体常说“AI代理”或直接说“AI agent”。口语里，很多人直接用英文说token和prompt。
进一步了解
- 3Blue1Brown：神经网络 ——英文视频和图文课程，从基础一直讲到注意力机制和大模型。
- 3Blue1Brown哔哩哔哩官方账号 ——官方中文频道，上面的许多视频都有中文版。