Skip to content

第一堂课:一段文字怎样进入模型 ​

一个语言模型接到的不是我们脑海中的整个任务,而是系统实际传给它的输入。你知道的背景、电脑里的文件、前几天的聊天,都不一定包含其中。

本堂课沿着文字进入模型的过程,理解上下文、Token、数值表示和注意力。我们用生活中的句子建立直觉,不要求先掌握数学公式。

01 模型这一轮实际看到了什么 ​

假设你让AI整理一份活动通知。你记得地点已经改过,但上传的仍是旧版通知,又没有在要求中说明变更。模型很难仅凭你心里的背景,恢复正确安排。

本次上下文从哪里来
本次上下文从哪里来任务指令:目标格式与边界;实际历史:本次选入的对话;外部材料:文件检索或工具结果;当前问题:这一次希望解决什么任务指令目标格式与边界实际历史本次选入的对话外部材料文件检索或工具结果当前问题这一次希望解决什么联系与区别
本次上下文从哪里来;图中数量、箭头和节奏用于说明关系。查看原图 →

上下文可以包含系统或任务指令、被选入的对话历史、当前问题,以及文件、检索或工具带来的材料。重要的是“实际选入”,不是“理论上存在”。

文件存在与内容进入请求 ​

把文件放进某个文件夹,不证明模型已经读取;上传文件,也不证明全文被完整处理。产品可能先解析、检索、压缩或截取部分内容。

需要核对时,可以要求指出依据位置,再回到原文查看。模型自己声称“我读完了”,仍不是对读取范围的独立证明。

例子:两版通知 ​

旧版写周四下午,新版写周五上午。若两版都进入请求,应明确哪版适用;若无法确认,应该保留冲突。把两个时间拼成一个新安排,不是解决冲突。

这说明组织上下文也是资料管理:来源、时间、版本和适用对象,都可能改变正确答案。

02 Token不是固定的一个汉字 ​

文本进入模型时,通常先由分词器转换为Token序列。Token可能对应一个字、词片段、标点或其他编码单位,具体切法取决于分词器。

文字怎样成为计算输入
文字怎样成为计算输入文字:先明确实际输入;Token:按分词器切成单位;编号与向量:转为可计算的表示;模型层:结合关系继续计算文字先明确实际输入Token按分词器切成单位编号与向量转为可计算的表示模型层结合关系继续计算联系与区别
文字怎样成为计算输入;图中数量、箭头和节奏用于说明关系。查看原图 →

不要用“中文几个字就一定几个Token”推算所有模型。数字、空格、代码和不同语言,都可能以不同方式被编码。本章若把句子分成几块,只用于说明过程,不冒充某个模型的实际分词结果。

为什么使用Token ​

模型需要有限词表和可计算的输入。Token与编号提供了文本和计算表示之间的连接;它们不等于我们对一句话的全部理解。

同样,知道一个Token的编号,不代表已经知道它在当前句子中指什么。还要结合模型学到的表示,以及这次输入的上下文关系。

03 数值表示怎样参与处理 ​

在一种常见语言模型结构中,Token编号会对应初始向量,随后在模型各层中结合位置与上下文继续计算,形成新的表示。

可以把向量理解为一组供模型运算的数值。它不是给每个词手工贴一个完整含义标签,也不是把一句话直接转换为可追溯的百科条目。

例子:同一个词并不总指同一事物 ​

“苹果发布了新手机”和“这个苹果很甜”都含“苹果”。仅看词面不够,周围的信息帮助区分对象。

同一个词的两种语境
同一个词的两种语境苹果发布手机:上下文指向公司;苹果很甜:上下文指向水果;关联计算:参考不同位置的信息;上下文表示:同词产生不同表示苹果发布手机上下文指向公司苹果很甜上下文指向水果关联计算参考不同位置的信息上下文表示同词产生不同表示联系与区别
同一个词的两种语境;图中数量、箭头和节奏用于说明关系。查看原图 →

注意力机制通过计算不同位置之间的关系,帮助形成上下文表示。这与人在注意某物时的心理体验不同,也不等于打开互联网搜索资料。机制来源

一个有用但有限的类比 ​

阅读一封邮件时,我们会结合前文判断“它”指哪个对象。这个类比帮助理解上下文关系,却不能据此断言模型的理解方式与人完全相同。

评价模型时,更可检查的问题是:它有没有识别对指代、对象和条件,换一种表达后是否仍然成立。

04 参数与上下文不能混为一谈 ​

参数是训练中调整的数值;上下文是当前请求提供的信息。两者都会影响输出,但改变方式不同。

参数与上下文分开看
参数与上下文分开看参数:训练调整的数值;上下文:当前送入的材料;一次纠正:可以影响后续回答;长期更新:需要另看训练或记忆参数训练调整的数值上下文当前送入的材料一次纠正可以影响后续回答长期更新需要另看训练或记忆联系与区别
参数与上下文分开看;图中数量、箭头和节奏用于说明关系。查看原图 →

你在聊天中纠正活动日期,后续回答可能改用新日期。这首先说明当前输入改变了,不证明模型永久学会了这条信息。

有些产品会把内容保存到外部记忆或资料库,以便以后检索。保存记录、重新取用记录和更新模型参数,也应分开理解。

例子:下次聊天为何又不知道 ​

这次告诉AI一个项目缩写的意思,新会话里它却答错。可能是新会话没有获得这段上下文,也可能是产品没有保存或取用相关记录。

不应仅凭这件事判断“模型不学习”,也不应把本次记住解释为永久训练。需要先了解具体产品的信息流。

05 上下文越长,是否一定越好 ​

更多相关材料可能帮助回答,但无关内容、冲突版本和重复段落,也会增加使用难度。应关注材料是否适用、关键条件是否清楚,而不只是字数。

例如,问一条退款规则时,提供现行条款和相关例外,往往比混入大量旧活动广告更有用。如果无法确定范围,应先厘清问题,再决定检索和读取什么。

这是一种输入组织方法,不保证所有模型在任何任务中表现相同。实际仍需观察输出与来源的对应关系。

06 本堂课的回顾 ​

模型通过实际输入进行计算。Token帮助编码文字,向量与模型各层处理表示,注意力帮助利用上下文关系。参数学习、当前输入和外部记忆,是三种不同机制。

案例走读:为什么“我明明上传过”仍然会答错 ​

假设你上周上传活动通知,本周又打开一个新对话,问“报名几点结束”。系统给出一个很确定的时间。此时至少有几种可能:产品取回了旧材料,当前对话包含摘要,系统读到了新附件,或者模型在缺乏依据时补出了答案。

仅凭回答流畅,无法区分这些路径。可以要求它指出当前依据的文件名、日期和对应段落,再查看原件。若原文没进入当前请求,需要重新提供适用材料;若读到了旧版,则要先处理版本冲突。

看见的现象尚不能据此认定
对话里出现文件名文件全文都已被正确读取
系统记得活动名称它保留了最新报名规则
答案复述了几句原文全部关键条件都被保留
当前窗口在自己电脑上计算与数据处理都在本机

这组区分也解释了为什么需要检查输入。一个只缺少例外条款的摘要,可能看起来信息很多,却恰好漏掉决定答案的那一句。

1. 上传了文件,能否直接认为全文已进入模型? 不能。应了解读取与选择方式,必要时核对具体原句和位置。
2. 注意力机制是否等于联网检索? 不等于。它处理模型内部的表示关系;外部检索需要另外的资料和工具连接。
3. 聊天中改正一条事实,是否证明参数已更新? 没有。更直接的解释是上下文改变了,长期记忆和参数训练需要另外的证据。

第二堂课:回答怎样一步步生成

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码