第二堂课:回答怎样一步步生成
同样的问题,两次回答可能不同;有时语言流畅,事实却错了。这一堂从生成过程解释这些现象,并练习区分正常的表达变化和需要核查的内容变化。
01 一个常见的生成循环
自回归语言模型通常根据当前上下文,计算下一个Token的候选分布,按解码策略选择输出,再把生成内容接入后续计算。过程持续进行,直到满足停止条件。
这里有两层意思。输出之间有前后依赖,但模型内部可以进行大量并行运算;输出使用统计计算,也不意味着它只是从固定答案库中找到一句原话。
例子:一句活动说明
材料给出日期、地点和人数,模型可以组织成不同句式。只要事实和限制保持一致,句式变化本身不是问题。
但如果生成到“报名方式”时补出二维码,就增加了材料没有说明的事实。生成得自然,不等于已有证据支持。
为什么前面的错误可能影响后面
如果开头把活动当成线上活动,后面可能继续生成会议链接、登录方式等内容。它们彼此看起来协调,却共同建立在错误前提上。
核对时,不只逐句找错别字,还应检查最初的对象、场景和条件是否正确。
02 解码决定怎样选择候选
计算出候选以后,还需要决定如何选择。贪心选择、采样以及其他约束策略,会产生不同输出特征。温度等设置可能改变分布集中程度,但不是事实真假开关。
低随机性设置可能让输出更稳定,却也可能反复给出同一个错误。高随机性可能带来更多表达变化,但不自动提高创造质量,也不保证错误一定更多。
例子:标题创作与信息提取
给同一活动写多个宣传标题,可以接受表达多样。提取日期和名额,则希望事实保持稳定。不同任务关注的性质不同。
因此,先确定允许变化什么。可以改变语气和句式,不应擅自改变人数、承诺或来源。实际产品是否开放某个设置,属于产品层问题,不影响这个原则。
03 看起来像答案,为什么仍可能错
语言中有很多熟悉形式:通知有时间地点,论文有作者年份,法律文书有案号,报告有图表结论。模型可能生成形式完整的内容,却没有对应的真实依据。
正式格式可以帮助阅读,也会增强可信的感觉。我们需要把这种感觉与实际支持区分开:作者是否存在,论文是否真实,引用是否支持当前判断。
例子:一条虚构参考文献
假设答案列出一本看起来专业的书,带出版年份和页码。核对时,首先查这本书是否存在,再查版本和内容。书名像真的,页码很具体,都不能单独证明它真实。
即使文献存在,也可能被用于支持原文没有说过的结论。这是另一类问题,不能在确认标题存在后就停止检查。
04 四种变化要分别看
第一种是措辞变化:事实不变,只换一种表达。第二种是事实变化:日期、数字、对象发生改变。第三种是范围变化:保留了一部分内容,却漏掉限制或例外。第四种是行动状态变化:把建议、草稿或计划写成已经执行。
例子:合作邮件
原材料说“我们可以讨论下周交付”,改写后变成“我们承诺下周交付”。句子更坚定,却改变了责任和状态。
例子:数据摘要
原表只有某个门店一个月的数据,报告写成“所有门店长期呈上升趋势”。即使统计计算正确,结论也超出了样本范围。
例子:预约助手
系统说“已为你安排”,实际只生成了一段建议。需要到目标系统确认是否存在预约记录,不能把完成式语气当成执行证据。
05 指令能帮助约束,但不能代替检查
明确要求“只依据材料”“保留未知”“逐项列来源”,通常有助于表达目标。然而是否真的做到,还要看输出。
可以把检查分成两轮。先看结构是否满足任务,再看事实与条件是否有依据。对于重要结果,回到原始材料或可靠系统记录,而不只让同一个模型再次保证正确。
这不意味着每个小任务都需要复杂审计。检查的深度应与影响相称,但至少要知道哪些判断已经有支持,哪些只是推测。
06 本堂课的回顾
生成依赖当前上下文与解码策略,流畅只是语言表现。评价时,需要分开看稳定性、事实性、范围和行动状态。
案例走读:一封邮件可以同时“写得好”和“写错了”
原始说明是:“我们争取周五前提交初稿;还需等待合作方确认;费用另行协商。”生成邮件却写成:“我们承诺周五交付定稿,并按原报价执行。”
这段话语气专业、结构完整,但连续改变了三个事实关系。
| 原说明 | 生成邮件的改变 | 实际影响 |
|---|---|---|
| 争取 | 承诺 | 把目标写成确定义务 |
| 初稿 | 定稿 | 把阶段性产物写成最终产物 |
| 费用另议 | 原报价执行 | 补出了没有确认的条件 |
合适的修正不是只说“再客气一点”。应明确要求保留不确定状态、产物阶段和待确认事项,再逐项读回。即使重新生成三次都很稳定,也不能跳过这一步。
把邮件例子迁移到其他任务,可以检查类似的变化:“建议”是否变成“必须”,“拟开展”是否变成“已开展”,“可能有关”是否变成“导致”。这些小词往往决定结论的强度,比文章是否顺口更值得留意。