LLM 基础：Agent 视角的最小必懂集

一句话定义

LLM 是一个逐 token 预测下一个 token 的概率模型；Agent 的所有神奇与所有限制——创造力与幻觉、稳定性与随机性——都源自这一个机制。

为什么重要

不懂 LLM 机制就去开发 Agent，就像不懂内燃机去修车：能换轮胎，修不了发动机。Agent 开发者不需要会训模型，但必须知道上下文窗口、采样温度、知识截止、幻觉这四件事如何直接塑造 Agent 行为——它们分别决定了 Agent 的记忆上限、可复现性、知识边界与可信度。

前置知识

知道 LLM 能对话即可。

核心概念

1. Token：模型的原子单位

文本被切分为 token（约等于 0.75 个英文单词或 0.5 个汉字）。计费按 token、窗口按 token、速度按 token/s。Agent 一次工具调用返回的 JSON，往往几千 token——比用户输入贵得多。

2. 上下文窗口：模型的"工作记忆"

每次调用，模型只能"看见"上下文窗口内的内容（2026 年主流模型 200K~1M token）。窗口外的等于不存在——Agent 记得三小时前的事，只能因为那些内容被显式写回了上下文（kp-003/015）。窗口内也不是无限可靠：太长会导致"迷失中间"（lost in the middle）与上下文腐烂。

3. 采样：为什么同一个问题答案不同

模型每步输出的是"下一个 token 的概率分布"，用 temperature / top_p 从中采样：

• temperature → 0：近似贪婪解码，答案趋近确定（评测时用，kp-024）
• temperature 0.7~1.0：保留多样性（写文案、头脑风暴）
• Agent 的常用取舍：规划与工具调用用低温（要稳），创作类步骤用高温（要活）

4. 知识截止与训练数据

模型的知识停在训练截止日。今天的股价、你公司的文档、刚发布的库版本——都不知道。这正是工具与 RAG 存在的理由（kp-009/016）：工具补"新"，检索补"私"。

5. 幻觉：机制性产物，不是 bug

模型的目标是"生成概率上连贯的文本"，不是"生成真的文本"。当上下文里没有答案时，最连贯的续写往往是一本正经的编造。Agent 场景里幻觉会变成幻觉工具调用（编造不存在的参数）与幻觉任务完成（宣布做完但没做），缓解靠工具 schema 约束（kp-010）、结果校验与评测（kp-024）。

原理与机制

训练分两步，理解它们就理解了模型"会什么、不会什么"：

1. 预训练（Pre-training）：在数万亿 token 上做"预测下一个词"。产出的是世界知识 + 语言能力，但没有对话概念——它只会续写。
2. 后训练（Post-training）：指令微调（SFT）+ 强化学习（RLHF/RLAIF）把续写机器改造成助手，再训出函数调用能力——模型学会在"该用工具"时输出结构化调用块而非文本。这是 Agent 得以成立的模型侧前提（训练细节见 kp-031）。

一个关键推论：模型看到的只有 token 序列。"系统提示""工具定义""用户消息""工具结果"在模型眼里都是同一个序列里的不同片段——所以"放前面还是后面""塞多少"会实质改变行为，这就是上下文工程（kp-003）的由来。

直观类比

把 LLM 想成一个读完了整个图书馆但被关在小房间里的人：

• 房间大小 = 上下文窗口，桌上放不下（窗口外）的书他看不见
• 他说话有点随机 = 采样，让他"冷静"（低温）他就总挑最稳的说法
• 图书馆藏书停在某个日期 = 知识截止
• 他讨厌冷场，宁可编答案 = 幻觉
• Agent = 允许他打电话出门问（工具）、查图书馆最新书架（检索）

实例与案例

诊断一个真实故障：Agent 跑了 20 分钟后开始"忘记"用户最初的要求。

• 不是模型"失忆"——是初始任务描述被 20 分钟的工具输出挤出/稀释出了注意力焦点
• 修复：把任务目标写进系统提示（常驻），关键中间结果定期摘要写入（kp-022）

复制用户消息 500 tok │ 工具结果 50,000 tok │ 目标早已被淹没
─────────────────────────────────────────────────────
修复后：系统提示常驻目标 + 每 10 轮摘要压缩 + 关键结果写文件

常见误区

• 误区一："上下文 1M 就不用担心记忆了"。窗口大≠用得好；长上下文中段召回差、成本随长度线性涨、注意力被稀释（kp-003）。
• 误区二："temperature=0 就完全可复现"。多数服务在分布式推理下仍有微小非确定性。
• 误区三："幻觉能靠提示词消灭"。提示只能降低频率；机制性根除要靠校验、引用与工具兜底。
• 误区四："模型知道自己不知道什么"。它没有可靠的自我认知，"我不确定"的回答本身也可能是幻觉。

自测题

1. 工具调用的能力是预训练还是后训练来的？
2. Agent 记得一小时前的对话，机制上是因为什么？
3. 为什么评测 Agent 时要把 temperature 调到 0？

（参考答案：1. 后训练（函数调用微调/RL）；2. 那些内容被重新放入了本次调用的上下文；3. 降低采样随机性，让失败可归因——是能力问题而非运气。）

与其他知识点的关系

• 窗口管理 → kp-003、kp-022；记忆 → kp-015
• 采样与评测 → kp-024；幻觉与安全 → kp-026
• 后训练与 RL → kp-031

延伸阅读

• Andrej Karpathy, Intro to Large Language Models（演讲，YouTube）
• Lilian Weng, How does an LLM really work（博客）