第一堂课:一段文字怎样进入模型
一个语言模型接到的不是我们脑海中的整个任务,而是系统实际传给它的输入。你知道的背景、电脑里的文件、前几天的聊天,都不一定包含其中。
本堂课沿着文字进入模型的过程,理解上下文、Token、数值表示和注意力。我们用生活中的句子建立直觉,不要求先掌握数学公式。
01 模型这一轮实际看到了什么
假设你让AI整理一份活动通知。你记得地点已经改过,但上传的仍是旧版通知,又没有在要求中说明变更。模型很难仅凭你心里的背景,恢复正确安排。
上下文可以包含系统或任务指令、被选入的对话历史、当前问题,以及文件、检索或工具带来的材料。重要的是“实际选入”,不是“理论上存在”。
文件存在与内容进入请求
把文件放进某个文件夹,不证明模型已经读取;上传文件,也不证明全文被完整处理。产品可能先解析、检索、压缩或截取部分内容。
需要核对时,可以要求指出依据位置,再回到原文查看。模型自己声称“我读完了”,仍不是对读取范围的独立证明。
例子:两版通知
旧版写周四下午,新版写周五上午。若两版都进入请求,应明确哪版适用;若无法确认,应该保留冲突。把两个时间拼成一个新安排,不是解决冲突。
这说明组织上下文也是资料管理:来源、时间、版本和适用对象,都可能改变正确答案。
02 Token不是固定的一个汉字
文本进入模型时,通常先由分词器转换为Token序列。Token可能对应一个字、词片段、标点或其他编码单位,具体切法取决于分词器。
不要用“中文几个字就一定几个Token”推算所有模型。数字、空格、代码和不同语言,都可能以不同方式被编码。本章若把句子分成几块,只用于说明过程,不冒充某个模型的实际分词结果。
为什么使用Token
模型需要有限词表和可计算的输入。Token与编号提供了文本和计算表示之间的连接;它们不等于我们对一句话的全部理解。
同样,知道一个Token的编号,不代表已经知道它在当前句子中指什么。还要结合模型学到的表示,以及这次输入的上下文关系。
03 数值表示怎样参与处理
在一种常见语言模型结构中,Token编号会对应初始向量,随后在模型各层中结合位置与上下文继续计算,形成新的表示。
可以把向量理解为一组供模型运算的数值。它不是给每个词手工贴一个完整含义标签,也不是把一句话直接转换为可追溯的百科条目。
例子:同一个词并不总指同一事物
“苹果发布了新手机”和“这个苹果很甜”都含“苹果”。仅看词面不够,周围的信息帮助区分对象。
注意力机制通过计算不同位置之间的关系,帮助形成上下文表示。这与人在注意某物时的心理体验不同,也不等于打开互联网搜索资料。机制来源
一个有用但有限的类比
阅读一封邮件时,我们会结合前文判断“它”指哪个对象。这个类比帮助理解上下文关系,却不能据此断言模型的理解方式与人完全相同。
评价模型时,更可检查的问题是:它有没有识别对指代、对象和条件,换一种表达后是否仍然成立。
04 参数与上下文不能混为一谈
参数是训练中调整的数值;上下文是当前请求提供的信息。两者都会影响输出,但改变方式不同。
你在聊天中纠正活动日期,后续回答可能改用新日期。这首先说明当前输入改变了,不证明模型永久学会了这条信息。
有些产品会把内容保存到外部记忆或资料库,以便以后检索。保存记录、重新取用记录和更新模型参数,也应分开理解。
例子:下次聊天为何又不知道
这次告诉AI一个项目缩写的意思,新会话里它却答错。可能是新会话没有获得这段上下文,也可能是产品没有保存或取用相关记录。
不应仅凭这件事判断“模型不学习”,也不应把本次记住解释为永久训练。需要先了解具体产品的信息流。
05 上下文越长,是否一定越好
更多相关材料可能帮助回答,但无关内容、冲突版本和重复段落,也会增加使用难度。应关注材料是否适用、关键条件是否清楚,而不只是字数。
例如,问一条退款规则时,提供现行条款和相关例外,往往比混入大量旧活动广告更有用。如果无法确定范围,应先厘清问题,再决定检索和读取什么。
这是一种输入组织方法,不保证所有模型在任何任务中表现相同。实际仍需观察输出与来源的对应关系。
06 本堂课的回顾
模型通过实际输入进行计算。Token帮助编码文字,向量与模型各层处理表示,注意力帮助利用上下文关系。参数学习、当前输入和外部记忆,是三种不同机制。
案例走读:为什么“我明明上传过”仍然会答错
假设你上周上传活动通知,本周又打开一个新对话,问“报名几点结束”。系统给出一个很确定的时间。此时至少有几种可能:产品取回了旧材料,当前对话包含摘要,系统读到了新附件,或者模型在缺乏依据时补出了答案。
仅凭回答流畅,无法区分这些路径。可以要求它指出当前依据的文件名、日期和对应段落,再查看原件。若原文没进入当前请求,需要重新提供适用材料;若读到了旧版,则要先处理版本冲突。
| 看见的现象 | 尚不能据此认定 |
|---|---|
| 对话里出现文件名 | 文件全文都已被正确读取 |
| 系统记得活动名称 | 它保留了最新报名规则 |
| 答案复述了几句原文 | 全部关键条件都被保留 |
| 当前窗口在自己电脑上 | 计算与数据处理都在本机 |
这组区分也解释了为什么需要检查输入。一个只缺少例外条款的摘要,可能看起来信息很多,却恰好漏掉决定答案的那一句。