Skip to content

第二堂课:回答怎样一步步生成 ​

同样的问题,两次回答可能不同;有时语言流畅,事实却错了。这一堂从生成过程解释这些现象,并练习区分正常的表达变化和需要核查的内容变化。

01 一个常见的生成循环 ​

自回归语言模型通常根据当前上下文,计算下一个Token的候选分布,按解码策略选择输出,再把生成内容接入后续计算。过程持续进行,直到满足停止条件。

逐步生成的三个环节
逐步生成的三个环节当前上下文:输入与已生成内容;候选分布:计算下一步可能输出;解码选择:按策略决定输出;继续生成:追加后进入下一轮当前上下文输入与已生成内容候选分布计算下一步可能输出解码选择按策略决定输出继续生成追加后进入下一轮联系与区别
逐步生成的三个环节;图中数量、箭头和节奏用于说明关系。查看原图 →

这里有两层意思。输出之间有前后依赖,但模型内部可以进行大量并行运算;输出使用统计计算,也不意味着它只是从固定答案库中找到一句原话。

例子:一句活动说明 ​

材料给出日期、地点和人数,模型可以组织成不同句式。只要事实和限制保持一致,句式变化本身不是问题。

但如果生成到“报名方式”时补出二维码,就增加了材料没有说明的事实。生成得自然,不等于已有证据支持。

为什么前面的错误可能影响后面 ​

如果开头把活动当成线上活动,后面可能继续生成会议链接、登录方式等内容。它们彼此看起来协调,却共同建立在错误前提上。

核对时,不只逐句找错别字,还应检查最初的对象、场景和条件是否正确。

02 解码决定怎样选择候选 ​

计算出候选以后,还需要决定如何选择。贪心选择、采样以及其他约束策略,会产生不同输出特征。温度等设置可能改变分布集中程度,但不是事实真假开关。

随机性与正确性两条轴
随机性与正确性两条轴低随机性:选择通常更集中;高随机性:选择可能更多样;事实正确:需要材料与核验;适合任务:按用途选择设置低随机性选择通常更集中高随机性选择可能更多样事实正确需要材料与核验适合任务按用途选择设置联系与区别
随机性与正确性两条轴;图中数量、箭头和节奏用于说明关系。查看原图 →

低随机性设置可能让输出更稳定,却也可能反复给出同一个错误。高随机性可能带来更多表达变化,但不自动提高创造质量,也不保证错误一定更多。

例子:标题创作与信息提取 ​

给同一活动写多个宣传标题,可以接受表达多样。提取日期和名额,则希望事实保持稳定。不同任务关注的性质不同。

因此,先确定允许变化什么。可以改变语气和句式,不应擅自改变人数、承诺或来源。实际产品是否开放某个设置,属于产品层问题,不影响这个原则。

03 看起来像答案,为什么仍可能错 ​

语言中有很多熟悉形式:通知有时间地点,论文有作者年份,法律文书有案号,报告有图表结论。模型可能生成形式完整的内容,却没有对应的真实依据。

流畅表达怎样误导判断
流畅表达怎样误导判断熟悉句式:看起来像正式说明;完整格式:有日期编号和引用;检查对应:原文是否确实支持;形成判断:表达好不等于事实成立熟悉句式看起来像正式说明完整格式有日期编号和引用检查对应原文是否确实支持形成判断表达好不等于事实成立联系与区别
流畅表达怎样误导判断;图中数量、箭头和节奏用于说明关系。查看原图 →

正式格式可以帮助阅读,也会增强可信的感觉。我们需要把这种感觉与实际支持区分开:作者是否存在,论文是否真实,引用是否支持当前判断。

例子:一条虚构参考文献 ​

假设答案列出一本看起来专业的书,带出版年份和页码。核对时,首先查这本书是否存在,再查版本和内容。书名像真的,页码很具体,都不能单独证明它真实。

即使文献存在,也可能被用于支持原文没有说过的结论。这是另一类问题,不能在确认标题存在后就停止检查。

04 四种变化要分别看 ​

生成结果的四种差别
生成结果的四种差别措辞变化:事实和条件可以不变;事实变化:日期金额对象被改动;范围变化:限制条件被遗漏;行动变化:把建议说成已经执行措辞变化事实和条件可以不变事实变化日期金额对象被改动范围变化限制条件被遗漏行动变化把建议说成已经执行联系与区别
生成结果的四种差别;图中数量、箭头和节奏用于说明关系。查看原图 →

第一种是措辞变化:事实不变,只换一种表达。第二种是事实变化:日期、数字、对象发生改变。第三种是范围变化:保留了一部分内容,却漏掉限制或例外。第四种是行动状态变化:把建议、草稿或计划写成已经执行。

例子:合作邮件 ​

原材料说“我们可以讨论下周交付”,改写后变成“我们承诺下周交付”。句子更坚定,却改变了责任和状态。

例子:数据摘要 ​

原表只有某个门店一个月的数据,报告写成“所有门店长期呈上升趋势”。即使统计计算正确,结论也超出了样本范围。

例子:预约助手 ​

系统说“已为你安排”,实际只生成了一段建议。需要到目标系统确认是否存在预约记录,不能把完成式语气当成执行证据。

05 指令能帮助约束,但不能代替检查 ​

明确要求“只依据材料”“保留未知”“逐项列来源”,通常有助于表达目标。然而是否真的做到,还要看输出。

可以把检查分成两轮。先看结构是否满足任务,再看事实与条件是否有依据。对于重要结果,回到原始材料或可靠系统记录,而不只让同一个模型再次保证正确。

这不意味着每个小任务都需要复杂审计。检查的深度应与影响相称,但至少要知道哪些判断已经有支持,哪些只是推测。

06 本堂课的回顾 ​

生成依赖当前上下文与解码策略,流畅只是语言表现。评价时,需要分开看稳定性、事实性、范围和行动状态。

案例走读:一封邮件可以同时“写得好”和“写错了” ​

原始说明是:“我们争取周五前提交初稿;还需等待合作方确认;费用另行协商。”生成邮件却写成:“我们承诺周五交付定稿,并按原报价执行。”

这段话语气专业、结构完整,但连续改变了三个事实关系。

原说明生成邮件的改变实际影响
争取承诺把目标写成确定义务
初稿定稿把阶段性产物写成最终产物
费用另议原报价执行补出了没有确认的条件

合适的修正不是只说“再客气一点”。应明确要求保留不确定状态、产物阶段和待确认事项,再逐项读回。即使重新生成三次都很稳定,也不能跳过这一步。

把邮件例子迁移到其他任务,可以检查类似的变化:“建议”是否变成“必须”,“拟开展”是否变成“已开展”,“可能有关”是否变成“导致”。这些小词往往决定结论的强度,比文章是否顺口更值得留意。

1. 两次回答不同,是否必然说明其中一次错误? 不必然。可能只是措辞变化,也可能改变事实或范围,应逐项比较。
2. 低温度能否保证事实正确? 不能。它影响选择分布和随机性,不为事实提供外部证明。
3. 为什么“已完成”的回答还要查看系统状态? 生成完成式语言与实际执行不同。需要目标系统中的记录或状态支持。

第三堂课:为什么流畅还不等于可靠

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码