Skip to content

第二堂课:训练怎样改变模型 ​

材料准备好以后,模型不是把它们复制进一个文件夹,就突然会回答问题了。训练通过计算和更新参数,改变模型对输入的处理方式。

这一堂不推导公式,而是建立因果顺序:先产生预测,再依据学习目标计算差异,调整参数,并继续观察。

01 训练循环中的四个环节 ​

训练循环中的因果顺序
训练循环中的因果顺序预测:使用当前参数计算;比较:依据目标得到损失;更新:调整可学习参数;再试:用样本继续观察预测使用当前参数计算比较依据目标得到损失更新调整可学习参数再试用样本继续观察联系与区别
训练循环中的因果顺序;图中数量、箭头和节奏用于说明关系。查看原图 →

对于一种常见的语言模型训练任务,可以给出前面的Token,让模型预测后续内容。训练过程根据预测与目标的关系计算损失,再依据优化方法更新参数。

参数更新不是找到一个“错误事实开关”并把它拨正。许多参数共同参与,不同输入下的行为也可能一起变化。

例子:学习一句服务说明 ​

训练文本写“本馆周一至周五开放”。某个位置的目标来自这段文本,不是训练程序临时去现场判断图书馆是否真的开放。

这解释了为什么数据质量重要:优化目标可以推动模型更好地预测材料,却不会自动为现实中的每条主张作事实裁决。

损失降低说明什么 ​

它说明模型在相应目标和材料上的表现朝某个方向改进,不保证所有任务都同时提高。还需要在其他数据和条件下评估。

02 预训练、监督微调与反馈优化 ​

阶段分工不是互斥边界
阶段分工不是互斥边界预训练:学习广泛数据模式;监督微调:学习示范与任务方式;反馈优化:按评价信号调整行为;持续评估:检查能力与副作用预训练学习广泛数据模式监督微调学习示范与任务方式反馈优化按评价信号调整行为持续评估检查能力与副作用联系与区别
阶段分工不是互斥边界;图中数量、箭头和节奏用于说明关系。查看原图 →

预训练通常从广泛材料中学习语言、知识和其他相关模式。监督微调可以使用指令与示范回答,使模型更好地完成特定形式的任务。反馈优化则依据评价或奖励信号,调整模型更倾向产生怎样的行为。

这是一种便于理解的分工,不是所有模型必须遵守的唯一流水线。具体数据、阶段顺序和方法会不同。一个实际训练流程

SFT改变的是学习材料和任务方式 ​

指令微调通常仍然通过学习示范回答中的Token来更新参数,并不是突然换成理解人类要求的独立机器。

示范可以包含知识,也可以影响知识表现。不能说SFT只学格式、绝不学事实;但引入新事实也可能带来学习困难或幻觉风险。相关研究

例子:好的预约问答示范 ​

用户问取消预约怎么办,材料规定应提前取消。好的示范会明确步骤、保留条件,并说明材料没有覆盖的例外。若示范为了显得有帮助而编造例外政策,训练也可能鼓励这种行为。

03 为什么偏好高分不等于事实正确 ​

人们比较回答时,可能受到完整程度、礼貌、结构和语气影响。奖励模型或其他评价信号也只能近似表达某些目标。

偏好高分不等于事实正确
偏好高分不等于事实正确评价偏好:觉得哪份回答更好;奖励信号:把评价变为优化依据;可能偏差:风格代替了事实检查;独立核验:用适合任务的证据评价评价偏好觉得哪份回答更好奖励信号把评价变为优化依据可能偏差风格代替了事实检查独立核验用适合任务的证据评价联系与区别
偏好高分不等于事实正确;图中数量、箭头和节奏用于说明关系。查看原图 →

InstructGPT研究展示了用示范和人类偏好改善指令遵循的路线,也明确保留了模型会犯简单错误的局限。研究原文

例子:详细但错误,简短但准确 ​

回答A条理完整,列出许多步骤,却把申请截止时间写错;回答B简短,但忠于材料并承认未知。只按“看起来专业”评分,可能鼓励错误的方向。

评价标准需要明确事实依据、任务完成和适用边界。真实使用还需要外部检查,不能把一个高分当作最终保证。

规则奖励与人类偏好也不同 ​

某些任务可以较明确地判断答案是否符合规则,另一些任务存在多种合理表达。采用什么信号,会影响模型被鼓励优化什么。

理解训练时,要问目标和检查方式,而不只记住算法缩写。

04 训练、聊天纠正和外部记忆 ​

聊天纠正与重新训练
聊天纠正与重新训练当前纠正:新信息进入上下文;外部记忆:存储内容供以后取用;模型训练:数据驱动参数变化;读回确认:判断实际发生了什么当前纠正新信息进入上下文外部记忆存储内容供以后取用模型训练数据驱动参数变化读回确认判断实际发生了什么联系与区别
聊天纠正与重新训练;图中数量、箭头和节奏用于说明关系。查看原图 →

聊天中告诉模型一个新日期,可能改变后续回答,因为上下文加入了新信息。把这条日期保存进资料库,可以让以后检索到它。模型训练则通过数据和优化过程改变参数。

三者都可能使系统“下次答得不同”,但原因不同,持续范围也不同。

例子:项目缩写 ​

本次对话解释了一个缩写,模型随后用对;新会话没有这段背景,可能又用错。不能由此断言它完全没有学习,也不能声称第一次纠正已永久改变参数。

先明确产品保存了什么、实际取用了什么,再讨论改进方式。参数、上下文和资料库的边界,是理解许多产品行为的关键。

05 一次训练结果怎样变成实际服务 ​

训练后还需要评估、部署和持续观察。模型文件能够运行,和它适合真实业务,是不同判断。升级模型以后,也可能改变原有输出习惯和失败方式。

因此,版本和评估记录很重要。不能只说“新模型更大”,就假设全部任务更好;应对照自己关心的条件查看结果。

案例走读:把答案改礼貌,是否就改正确了 ​

某模型回答资料问题时,内容经常缺少依据。后来它经过新一轮训练,学会先表示理解,再分点作答,最后附上礼貌提醒。使用体验可能改善,但原来的事实问题未必同时解决。

可以准备两类评价:一类检查是否遵循格式、语气是否合适;另一类用有答案依据的材料检查事实、例外与未知情况。只有分开观察,才知道进步发生在哪里。

训练或反馈的例子可以帮助什么仍需检查什么
示范如何写出清楚解释学习表达方式和任务模式解释是否成立
比较哪份回答更有帮助调整偏好的输出行为评判者是否漏看事实错误
提供具体领域材料获得或调整相关知识与能力更新、泛化和遗忘情况

训练目标、数据和评价共同影响结果,阶段名称本身不是质量保证。也不应把这些作用切得过于绝对:微调可能改变知识,偏好反馈也可能影响其他行为,但变化到什么程度要看实际证据。

1. 训练是否等于把原文存成可查询记录? 不等于。训练调整参数,参数化表示与可追溯的原文存储是不同机制。
2. 奖励高分为什么还可能包含事实错误? 评价信号只覆盖部分目标,可能更看重风格或局部表现;事实仍需适合的证据核验。
3. SFT是否只能学习表达格式? 不是。它可以改变任务行为和知识表现,具体效果与数据和训练条件有关。

第三堂课:从错误走向证据核验

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码