Skip to content

第三堂课:为什么流畅还不等于可靠 ​

理解生成机制之后,我们可以更具体地问:什么时候需要外部材料,怎样评价图像和音视频任务,如何判断一次成功能否迁移到自己的场景?

这一堂把重点放在可靠使用所需的条件。我们不寻找一句适用于所有情况的“万能提示词”,而是把输入、处理和结果分别看清。

01 检索为回答补充什么 ​

对于最新通知、内部规则或特定文献,模型参数中的信息未必足够。检索可以先找到相关材料,再把它们提供给生成过程。这是检索增强生成的一种基本思路。RAG研究

检索与生成的配合
检索与生成的配合明确问题:对象时间与用途;找到材料:检查权限和版本;生成回答:依据相关原文组织;核对主张:确认支持与未覆盖明确问题对象时间与用途找到材料检查权限和版本生成回答依据相关原文组织核对主张确认支持与未覆盖联系与区别
检索与生成的配合;图中数量、箭头和节奏用于说明关系。查看原图 →

但找到相关材料不等于材料适用,材料适用也不等于生成完全忠实。需要继续确认对象、版本、时间和例外条件。

例子:普通预约与特殊预约 ​

检索找到普通预约规则,用户问的却是团体活动。正确处理可能是说明现有材料没有覆盖团体例外,继续寻找相应规则。

把普通规则中的数字直接搬过去,会让答案看起来完整,却可能不适用。检索环节和生成环节都要保留这种边界。

02 多模态让输入更丰富,也增加检查对象 ​

一个任务可能包含照片、扫描件、语音、视频和文字。不同输入承载的信息不同,系统也可能采用不同的处理路径。

多模态任务先识别输入
多模态任务先识别输入图像:可能含场景与文字;音频:语音内容及其他声音;视频:画面与时间关系;任务:提取分析还是生成图像可能含场景与文字音频语音内容及其他声音视频画面与时间关系任务提取分析还是生成联系与区别
多模态任务先识别输入;图中数量、箭头和节奏用于说明关系。查看原图 →

例子:拍照读取通知 ​

图片里可能有阴影、折痕或手写修改。系统既要识别文字,也要判断哪部分是正文、哪部分是后来标注。识别结果需要对照原图,不能仅凭一段干净文本确认完整。

例子:会议录音 ​

谁说了什么、是否只是提议、是否得到确认,可能依赖上下文和说话顺序。把声音转成文字,只完成了其中一部分。

例子:视频总结 ​

画面和语音可能补充彼此,也可能不一致。只看几张截图,不能声称已经理解整段视频;只听声音,也可能漏掉屏幕上的条件和数字。

评价多模态任务时,要说明实际使用了哪些输入,以及哪些部分没有覆盖。

03 一次演示不足以说明稳定能力 ​

假设系统处理一份格式整齐的通知成功了。下一份变成扫描件,或包含两个冲突版本,条件已经变化。

同一道题换条件再看
同一道题换条件再看原题:记录任务和输入;变体:改变版本对象或例外;对比:检查事实与边界;结论:能力只在已测条件成立原题记录任务和输入变体改变版本对象或例外对比检查事实与边界结论能力只在已测条件成立联系与区别
同一道题换条件再看;图中数量、箭头和节奏用于说明关系。查看原图 →

可以用任务变体帮助理解能力范围:换一种表达、改变对象、加入例外、增加一项冲突。观察它是否仍然正确处理关键条件。

这不是为了故意把模型难倒,而是为了了解自己的实际使用场景是否已被覆盖。成功样例与失败样例都能提供信息。

示例:三份通知 ​

第一份只有一个时间,容易提取。第二份说明“原定周四,现改周五”,需要识别更新关系。第三份同时附旧表格与新正文,需要判断冲突与版本。

如果系统只在第一份成功,不能直接说它会处理所有通知。更准确的结论是:目前观察到它能处理第一种条件,另外两种需要改进或复核。

04 先定位错误发生在哪个环节 ​

从错误现象走向排查
从错误现象走向排查材料错误:原文旧缺失或冲突;读取错误:识别遗漏或位置错;生成错误:补写细节或误连关系;执行错误:对象单位状态不正确材料错误原文旧缺失或冲突读取错误识别遗漏或位置错生成错误补写细节或误连关系执行错误对象单位状态不正确联系与区别
从错误现象走向排查;图中数量、箭头和节奏用于说明关系。查看原图 →

材料可能错误,读取可能遗漏,生成可能补写,执行也可能操作了错误对象。相同的结果,可能来自不同原因。

例如,一份报表金额不对:可能原数据重复,也可能识别小数点错误,可能公式选错范围,也可能最后摘要抄错。不能在没有追踪过程时,统一归因为“模型幻觉”。

与原因对应的修改 ​

原数据重复,应先处理数据;读取错误,应核对识别;公式错误,应检查计算逻辑;摘要越界,应约束结论并回到依据。

重新提问有时有帮助,但不能代替修复真实的问题来源。知道哪里出了问题,比不断说“再认真一点”更接近有效改进。

05 可靠性还包含无法回答时的表现 ​

系统不只需要在容易问题上答对,也要在材料不足、权限不够或任务不适合时,清楚说明情况。

“我目前没有足够材料确认”可以是一个合适结果,前提是说明缺什么,而不是用空泛拒绝阻断所有后续工作。

对于影响较大的任务,还要考虑能否转给合适的人,是否保留过程记录,使用者是否理解当前结果的性质。这些条件将接到后面的实际任务与社会责任章节。

案例走读:有引用的答案,为什么仍可能不适用 ​

设想报销资料里有两段规则:普通人员需在三十天内提交;外地长期驻点人员可按季度汇总。问问题的人说明自己是驻点人员,但助手只引用普通规则。

答案确实有来源,引用也可能一字不差,问题却在于它没有把人的条件与例外匹配起来。

可以顺着四个环节检查:例外条款是否在资料库中,检索是否取回,模型是否识别它适用于提问者,最终答案是否保留例外。如果材料里没有说明人员身份,则需要追问,不能自行猜定。

逐项改进,而不是只换一句提示 ​

如果例外条款扫描不清,需要改善读取;若检索未找到,需要处理索引或查询;若两段都进入输入但仍用错,则要改进解释和评价。不同位置的问题,不能期待同一个动作全部解决。

还可以用另一个身份重新提问,观察系统能否正确切换适用规则。这里评价的是对条件的理解与应用,而不只是有没有输出一条链接。

本章回顾 ​

一段回答来自实际输入和模型计算。更丰富的输入、更长的上下文和更多外部材料,都需要与适用条件、处理过程和结果核对一起理解。

1. 检索到了文档,为什么还不能保证回答正确? 文档可能版本不适用,检索可能漏掉例外,生成也可能误读或补写。每个环节都需要相应检查。
2. 处理视频时,为什么要说明实际读取范围? 画面、语音和时间关系承载不同信息。部分读取不能冒充完整理解。
3. 一次任务成功后,下一步应观察什么? 观察与真实使用相关的条件变化,记录成功和失败范围,而不直接推广为全部任务能力。

进入下一章:模型怎样学习与出错

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码