第二堂课:训练怎样改变模型
材料准备好以后,模型不是把它们复制进一个文件夹,就突然会回答问题了。训练通过计算和更新参数,改变模型对输入的处理方式。
这一堂不推导公式,而是建立因果顺序:先产生预测,再依据学习目标计算差异,调整参数,并继续观察。
01 训练循环中的四个环节
对于一种常见的语言模型训练任务,可以给出前面的Token,让模型预测后续内容。训练过程根据预测与目标的关系计算损失,再依据优化方法更新参数。
参数更新不是找到一个“错误事实开关”并把它拨正。许多参数共同参与,不同输入下的行为也可能一起变化。
例子:学习一句服务说明
训练文本写“本馆周一至周五开放”。某个位置的目标来自这段文本,不是训练程序临时去现场判断图书馆是否真的开放。
这解释了为什么数据质量重要:优化目标可以推动模型更好地预测材料,却不会自动为现实中的每条主张作事实裁决。
损失降低说明什么
它说明模型在相应目标和材料上的表现朝某个方向改进,不保证所有任务都同时提高。还需要在其他数据和条件下评估。
02 预训练、监督微调与反馈优化
预训练通常从广泛材料中学习语言、知识和其他相关模式。监督微调可以使用指令与示范回答,使模型更好地完成特定形式的任务。反馈优化则依据评价或奖励信号,调整模型更倾向产生怎样的行为。
这是一种便于理解的分工,不是所有模型必须遵守的唯一流水线。具体数据、阶段顺序和方法会不同。一个实际训练流程
SFT改变的是学习材料和任务方式
指令微调通常仍然通过学习示范回答中的Token来更新参数,并不是突然换成理解人类要求的独立机器。
示范可以包含知识,也可以影响知识表现。不能说SFT只学格式、绝不学事实;但引入新事实也可能带来学习困难或幻觉风险。相关研究
例子:好的预约问答示范
用户问取消预约怎么办,材料规定应提前取消。好的示范会明确步骤、保留条件,并说明材料没有覆盖的例外。若示范为了显得有帮助而编造例外政策,训练也可能鼓励这种行为。
03 为什么偏好高分不等于事实正确
人们比较回答时,可能受到完整程度、礼貌、结构和语气影响。奖励模型或其他评价信号也只能近似表达某些目标。
InstructGPT研究展示了用示范和人类偏好改善指令遵循的路线,也明确保留了模型会犯简单错误的局限。研究原文
例子:详细但错误,简短但准确
回答A条理完整,列出许多步骤,却把申请截止时间写错;回答B简短,但忠于材料并承认未知。只按“看起来专业”评分,可能鼓励错误的方向。
评价标准需要明确事实依据、任务完成和适用边界。真实使用还需要外部检查,不能把一个高分当作最终保证。
规则奖励与人类偏好也不同
某些任务可以较明确地判断答案是否符合规则,另一些任务存在多种合理表达。采用什么信号,会影响模型被鼓励优化什么。
理解训练时,要问目标和检查方式,而不只记住算法缩写。
04 训练、聊天纠正和外部记忆
聊天中告诉模型一个新日期,可能改变后续回答,因为上下文加入了新信息。把这条日期保存进资料库,可以让以后检索到它。模型训练则通过数据和优化过程改变参数。
三者都可能使系统“下次答得不同”,但原因不同,持续范围也不同。
例子:项目缩写
本次对话解释了一个缩写,模型随后用对;新会话没有这段背景,可能又用错。不能由此断言它完全没有学习,也不能声称第一次纠正已永久改变参数。
先明确产品保存了什么、实际取用了什么,再讨论改进方式。参数、上下文和资料库的边界,是理解许多产品行为的关键。
05 一次训练结果怎样变成实际服务
训练后还需要评估、部署和持续观察。模型文件能够运行,和它适合真实业务,是不同判断。升级模型以后,也可能改变原有输出习惯和失败方式。
因此,版本和评估记录很重要。不能只说“新模型更大”,就假设全部任务更好;应对照自己关心的条件查看结果。
案例走读:把答案改礼貌,是否就改正确了
某模型回答资料问题时,内容经常缺少依据。后来它经过新一轮训练,学会先表示理解,再分点作答,最后附上礼貌提醒。使用体验可能改善,但原来的事实问题未必同时解决。
可以准备两类评价:一类检查是否遵循格式、语气是否合适;另一类用有答案依据的材料检查事实、例外与未知情况。只有分开观察,才知道进步发生在哪里。
| 训练或反馈的例子 | 可以帮助什么 | 仍需检查什么 |
|---|---|---|
| 示范如何写出清楚解释 | 学习表达方式和任务模式 | 解释是否成立 |
| 比较哪份回答更有帮助 | 调整偏好的输出行为 | 评判者是否漏看事实错误 |
| 提供具体领域材料 | 获得或调整相关知识与能力 | 更新、泛化和遗忘情况 |
训练目标、数据和评价共同影响结果,阶段名称本身不是质量保证。也不应把这些作用切得过于绝对:微调可能改变知识,偏好反馈也可能影响其他行为,但变化到什么程度要看实际证据。