Skip to content

第三堂课:从错误走向证据核验 ​

知道模型可能出错,只是开始。真正有用的是把错误拆开,定位原因,再形成可以复查的判断。

这一堂使用虚构图书馆规则,练习区分事实、原因、来源支持和未知。案例中的规则与数字都不是实际校务规定。

01 幻觉怎样进入一段流畅回答 ​

当任务要求依据事实或材料回答时,模型可能生成不符合事实、或不受材料支持的内容。问题可能与训练信息、当前输入、错误前提和生成过程有关。

幻觉可能怎样形成
幻觉可能怎样形成信息条件:缺材料或前提错误;生成过程:组织看似合理的输出;未经核对:细节被当成事实;实际影响:错误进入后续判断信息条件缺材料或前提错误生成过程组织看似合理的输出未经核对细节被当成事实实际影响错误进入后续判断联系与区别
幻觉可能怎样形成;图中数量、箭头和节奏用于说明关系。查看原图 →

不是所有错误都适合统称为幻觉。扫描识别错字、计算工具公式错误、执行了错误对象,都需要各自处理。首先描述实际现象,再分析相关环节。

例子:没有规则却给出肯定答案 ​

用户问假期能否延长预约,材料只说明平日规则。回答补出“可以延长七天”,就超出了已知材料。

正确做法可能是指出材料没有覆盖假期安排,并说明还需要查询哪类通知。未知应当成为明确状态,而不是用肯定语气填平。

02 把一句话拆成可核验主张 ​

考虑这句话:“图书馆每周三下午闭馆,用于盘点。”其中至少有两项事实主张:是否每周三下午闭馆,以及闭馆原因是否是盘点。

把一句话拆开核验
把一句话拆开核验时间与状态:周三下午是否闭馆;原因:闭馆是否为了盘点;来源条件:同一对象同一时点;分别结论:支持哪项仍缺哪项时间与状态周三下午是否闭馆原因闭馆是否为了盘点来源条件同一对象同一时点分别结论支持哪项仍缺哪项联系与区别
把一句话拆开核验;图中数量、箭头和节奏用于说明关系。查看原图 →

“用于盘点”虽然描述目的或原因,仍然是在声称现实发生了什么,不是无需证据的建议。两项主张可能得到不同结果。

找到一半依据,不等于整句得到支持 ​

如果通知只写“周三下午暂停开放”,它支持时间和状态,但没有说明原因。若另一份记录写某一天做过盘点,也不自动证明每周闭馆都为盘点。

证据需要对应同一对象、时间和条件。不能把相近内容拼接成原文没有说过的完整结论。

03 原文支持的范围到哪里 ​

来源只能支持它实际说明的事
来源只能支持它实际说明的事安装验收:证明到货和安装情况;投入使用:另需运行或启用记录;原因解释:不能由时间巧合推出;缺少证据:不等于已经证明不存在安装验收证明到货和安装情况投入使用另需运行或启用记录原因解释不能由时间巧合推出缺少证据不等于已经证明不存在联系与区别
来源只能支持它实际说明的事;图中数量、箭头和节奏用于说明关系。查看原图 →

例子一:验收和投入使用 ​

材料写“验收四台设备,安装在二楼大厅”。这可以支持设备数量与安装位置,却不能单独证明已经向读者开放使用。还需要启用或运行记录。

例子二:30%与28% ​

一份总结写增长30%,另一份报告写28%。先检查时间范围、指标定义和分母是否一致。口径一致才可能直接判冲突,否则需要继续查明差异。

例子三:没有搜到公告 ​

没有在本次检索中找到,并不等于公告不存在。可以记录检索范围和未获支持状态,不能把有限搜索升级为普遍否定。

这三种情况说明,核验不是只找一个绿色勾,而是准确描述支持到了哪里。

04 真实案例:案号存在也要读内容 ​

法院网站刊载的一则案例中,律师提交了通过AI获得的参考案例。法院根据案号查到文书后,发现其事实和裁判内容与所引材料不符,并对未经核实提交的行为提出批评教育。案例原文

这里的教学重点不是记住处罚,而是看到两层核验:先确认材料是否存在,再确认它是否真的支持当前说法。

同样道理适用于研究论文、政策通知和企业报告。标题真实、作者真实、链接可打开,都不能单独代替内容对应。

05 留下一条别人可以接着查的记录 ​

形成能接续的核验记录
形成能接续的核验记录主张:保留原始说法;原文:定位支持或冲突材料;判断:支持冲突还是不足;后续:标出缺口和需要的证据主张保留原始说法原文定位支持或冲突材料判断支持冲突还是不足后续标出缺口和需要的证据联系与区别
形成能接续的核验记录;图中数量、箭头和节奏用于说明关系。查看原图 →

一条清楚记录可以包含:原始主张、来源和时间、相关原文、支持程度、尚未覆盖的条件,以及下一步需要的材料。

证据是用来支持或反驳主张的材料与记录;结论是结合这些证据作出的判断。二者不能定义成同一件事。

四种常见状态 ​

完整支持,意味着相关条件都有对应依据。部分支持,意味着只证明了其中一些部分。发生冲突,需要指出冲突在哪里。证据不足,则应保留未知,而不是迫使自己选对或错。

把这种区分留下来,下一位读者就不必从头猜测你查过什么。协作因此更容易,判断也更可复查。

06 核验深度与使用后果相称 ​

一段可随时修改的草稿,与会影响他人的正式决定,需要不同程度的检查。应优先核对决定行动的关键事实、数字和条件。

工具可以扩大检索和计算范围,人仍需要理解证据是否适用。若已经超出自己的能力,应找相应专业人员,而不是让模型替所有领域作最终保证。

案例走读:把一句结论拆成一张核验表 ​

有人写道:“该系统去年已经在全市投入使用,因此办事时间减少了一半。”一句话里至少有时间、范围、运行状态、效果大小和因果五类主张。

主张需要怎样的依据
去年有明确日期的材料,且日期对应实际事件
全市覆盖单位或地区的记录,而非单点案例
投入使用实际运行或服务证据,不能仅凭采购和安装
减少一半可比较的前后口径、样本与测量方式
因此对其他变化的讨论,不能只凭同时发生

如果目前只找到一份某区的采购公告,合适的表述可能只是“该区曾公告采购相关系统”。不需要为了让结论完整,就把尚未证明的部分补齐。

核验并非一概否定,而是给每个主张匹配证据。新的运行记录出现后,可以扩展结论;证据暂时不足时,可以保留待查项。把未知写清,往往比给出完整却过强的故事更有帮助。

1. “为了盘点而闭馆”属于事实主张还是建议? 它在声称实际闭馆的原因,属于需要证据支持的事实主张。
2. 设备验收单为什么不能直接证明已经投入使用? 验收、安装、启用是不同状态。应按主张查到相应记录。
3. 证据不足应该怎样写? 说明已检查范围、当前支持到哪一步,以及缺少什么,不把未知包装成肯定或否定。

进入下一章:AI怎样进入实际任务

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码