Skip to content

第一堂课:数据怎样成为学习材料 ​

一个模型能回答许多问题,并不意味着它掌握了一个始终正确、实时更新的数据库。要理解它的能力从哪里来,需要先看训练材料怎样被准备。

这一堂用虚构图书馆服务资料作例子:原始网页、通知、常见问答和不同版本规则,怎样成为可以学习的数据?

01 收集材料不是学习的全部 ​

原始数据可能来自文本、代码、图像、音频或其他记录。具体模型使用哪些材料、采用什么条件,取决于训练目标与实际设计。

材料进入训练之前,通常还需要处理格式、质量、重复与使用范围。一个能打开的网页,不自动等于适合直接学习的文本。

资料怎样成为训练样本
资料怎样成为训练样本获取与来源:内容及使用条件;清洗去重:保留语义和版本;组织样本:按目标准备学习信号;隔离评估:留出独立检查材料获取与来源内容及使用条件清洗去重保留语义和版本组织样本按目标准备学习信号隔离评估留出独立检查材料联系与区别
资料怎样成为训练样本;图中数量、箭头和节奏用于说明关系。查看原图 →

例子:网页里不只有正文 ​

一张图书馆网页可能同时包含开放通知、导航、广告、推荐链接和旧页脚。若把所有文字混在一起,就可能破坏原有关系。

清洗需要识别结构,保留标题、正文、日期和必要上下文。把内容变整齐,不等于已经证明内容真实。

例子:表格失去单位 ​

“可预约24小时”和“每日开放24小时”是不同说法。如果处理表格时只留下数字24,而丢掉字段和单位,后续学习可能围绕错误关系进行。

数据质量因此不只是错别字数量,还包括语义是否完整、条件是否保留、对象是否明确。

02 同一句话出现一万次,会怎样 ​

不同网站可能转载同一段内容。表面看来源很多,实际仍可能只有一个原始来源。

重复出现不等于更真实
重复出现不等于更真实一条说法:最初的内容与来源;多次转载:可能仍来自同一源;数据分布:重复会改变接触比例;事实核对:次数不能代替证据一条说法最初的内容与来源多次转载可能仍来自同一源数据分布重复会改变接触比例事实核对次数不能代替证据联系与区别
重复出现不等于更真实;图中数量、箭头和节奏用于说明关系。查看原图 →

重复会影响模型接触内容的比例,也可能放大某些表达、观点或错误。去重帮助管理这种分布,不是自动替我们判断哪条说法为真。

独立性与出现次数不同 ​

如果十篇文章都复制同一则错误通知,它们不能构成十份独立证据。训练数据中的常见模式,与事实核验中的可靠支持,是不同问题。

反过来,一条罕见但正确的信息,也不会因为出现次数少就变成错误。统计学习与事实判断需要分开理解。

03 版本、对象和时间为什么重要 ​

一条规则常常带着条件。例如,面向谁、何时生效、适用于什么地点、是否存在例外。这些信息丢失以后,原本正确的内容也可能被用错。

一份材料需要的元数据
一份材料需要的元数据来源:谁发布在哪里;时间:发布更新和生效;对象:适用谁与什么场景;版本:与其他材料怎样关联来源谁发布在哪里时间发布更新和生效对象适用谁与什么场景版本与其他材料怎样关联联系与区别
一份材料需要的元数据;图中数量、箭头和节奏用于说明关系。查看原图 →

例子:旧通知仍在网上 ​

旧规则允许提前七天预约,新规则改为三天。如果数据中混有两个版本,却没有保留更新时间和适用范围,模型以后可能生成一个不清楚来自哪一版的回答。

资料管理能够降低这类混乱,但不能保证训练后的模型对每条事实都能准确回溯原文。需要出处时,通常还要建立外部检索与核对过程。

配比也在影响学习机会 ​

某种语言、领域或文体在数据中占比不同,会改变模型见到相关模式的机会。更多数据不自动意味着更适合你的任务,还要看质量、覆盖范围和训练目标。

这里不为所有模型规定一种最佳配比。重要的是认识到:选择数据,也是在选择模型更常接触怎样的世界。

04 三种材料承担不同作用 ​

原文可以提供语言和知识相关模式;示范回答展示任务怎样完成;候选之间的比较则可以提供偏好或评价信号。

例如,同一份预约规则可以作为原始文本,也可以配成“怎样取消预约”的问答示范,还可以用来比较两份回答哪一份更符合要求。

它们之间相关,却不能简单互换。一个长文档并不自动教会模型遵循某种输出格式;一个格式漂亮的示范也不保证覆盖了所有事实。

05 为什么要区分训练、验证和测试 ​

训练验证测试各做什么
训练验证测试各做什么训练:更新模型参数;验证:辅助选择方法与设置;测试:独立评价既定方案;防止泄漏:相似题也需要辨认训练更新模型参数验证辅助选择方法与设置测试独立评价既定方案防止泄漏相似题也需要辨认联系与区别
训练验证测试各做什么;图中数量、箭头和节奏用于说明关系。查看原图 →

训练材料用于更新参数;验证材料帮助选择方案和设置;测试材料用于评价已经确定的方案。实际研究可以采用不同设计,但必须避免把模型已经反复见过的题目,当成它处理新问题的充分证明。

例子:只换了人名 ​

训练题是“小明有3本书,又买2本”,测试题只是把小明换成小红。这样的题目可能仍然过于接近,不能充分说明模型已经掌握更广泛的数量关系。

要评价迁移,需要根据目标设计有代表性的独立材料,包括变化的条件和可能失败的情况。独立评估不是为了把成绩做低,而是为了知道成绩究竟说明什么。

测试也不等于现实全部表现 ​

一套测试只覆盖有限问题。它可以提供有价值的信息,但不能自动替代长期使用、特定行业条件或高影响任务的评估。

本堂课的回顾 ​

数据进入训练前,需要组织来源、结构、质量、重复、版本和使用条件。模型学习机会受数据影响,评价结果也受数据设计影响。

案例走读:一张干净的表,也可能失去重要含义 ​

原始记录有“金额、单位、日期、项目、来源”五列。为了让数据更整齐,有人只保留金额与项目,又把格式不同的项目名称合并了。

表面上重复减少了,但“万元”与“元”可能混在一起,年度数据和月度数据失去了区分,同名项目也未必指同一件事。后来计算再精确,也无法自动找回已经删去的语义。

整理动作应同时问的问题
统一格式是否保留原值及单位?
删除重复重复的对象与判断规则是什么?
合并名称是否确实代表同一实体或口径?
补齐空值是查证补入,还是猜测得到?

合理的数据处理会保留必要说明和可追溯关系。用于教学的简化示例可以省去一些字段,但应说明省略了什么;用于真实训练或评价的材料,则需要依据任务决定哪些信息不可丢。

同样的原则适用于文本:去掉日期、脚注和例外,可能让句子更短,却让它变成另一条规则。

1. 清洗后的材料,是否就已经是真实材料? 不一定。清洗改善格式与结构,事实真假仍需要对应证据。
2. 十篇转载文章是不是十份独立支持? 不是。要追溯原始来源,判断它们是否提供独立信息。
3. 为什么只在练过的题上表现好还不够? 因为目标通常是处理新输入和变化条件。相近题目上的成功可能高估实际迁移能力。

第二堂课:训练怎样改变模型

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码