简短回答： 长康文字 LLMs 通过超越野蛮力符号扩展来训练,到结构化的高密度数据解析,解决"中间丢失"的问题. 现代建筑让上下文窗口比上下文的符号大一百万,但模型的能力只能和输入的一致性一样. 培训数据需要明确的跨文件依赖性、经核实的结构以及人文审查——而不仅仅是较长的文件。
核心要点
- 将上下文窗口扩展至1M+令牌并不能改善回溯,除非培训数据包含可供模型学习的明确,远程的依赖性.
- 模型显示在上下文窗口的起始和结尾有强烈的回想起,但有详细记载的跌落穿过中段,被称为"中段丢失"效应.
- 结构化的校正——分级标记,跨页实体链接,以及重复的表格头,保留了逻辑连接,纯文本提取会破坏.
- 代码库培训数据必须遵循依附图顺序,而不是字母顺序或任意文件顺序,或者模型无法学习模块的关联性.
- 多小时录音记录需要一致的扬声器对号化和域-vocabulary校正,然后才能用于长文培训.
为什么背景长度的扩展从根本上来说是一个数据质量问题?
模型架构在技术上可以处理数百万个符号,但如果训练数据缺乏密集,远程的依赖性,则召回和推理衰减会很快.
基因AI的演化从优化参数大小转移到扩展模型的活性工作记忆. 2023年,一个32k-token窗口被认为是最先进的窗口;如今的企业应用程序通常都会要求窗口足够大,可以一次性地吞噬整个法律档案,复杂的代码存储器,或者多小时录音。 Ring Note和优化关注内核等建筑学的进步使得这个比例得以扩大。
然而,经验基准——包括Needle-In-A-Haystack变体、L-Eval和Long Bench——记录了一种持续的失败模式研究者称为 "中途失传":语言模型在长输入的起始或结尾附近重新收录信息的趋势,远比埋藏在中间的信息更可靠. LLMs在输入窗口的即时起始(主效应)或终端(收效)显示信息回溯准确度较高,而检索性能则在上下文的中段明显下降.
为了克服这一限制,长文预训和微调(SFT/RLHF)不能仅仅依靠将无关的短文件组合在一起。 培训数据集必须具有明确、多跳的依赖性,其中解决查询需要提取和综合整个序列中分布的事实——这与本套数据集中涵盖的相同原则—— 推理追踪数据如何教模型显示其工作.
文件结构如何影响长文本检索和推理?
无结构的长文本会产生高的复杂性和检索失败;分级标记和跨页实体地面固定保存一个模型需要遵循的逻辑流.
企业文件——财务审计,监管备案,保险单,临床试验——很少是线性传承品,是视觉和结构文物,包含嵌套表,多栏布局,头级分级,脚注,以及交叉引用. 直译纯文本提取会剥离必要的结构信号:如果目标文本坐落了几十万个符号,没有连接两者的语义标记,则像"见第4.2.1节"这样的参考完全失去其链接.
长文件数据整理的主要考虑:
- 表格对文本的忠诚。 复杂的财务表格必须转换成结构化的格式(Markdown,HTML,或JSON),并明确重复标题,这样纵深行即使在断页后仍保留其语义上下文.
- 交叉文档的共参考解析. 长文本模型必须学会追踪数百页的实体。 人类注释员证实,在整个文书中,名词参考和短手缩写保持明确的联系——这与在《规约》中所使用的学科相同。 OCR 校正和布局提取的文档注释.
- 文件布局保存. 保留空间和分级元数据有助于模型的注意力机制在执行针头检索任务时学习使用结构提示.
是什么使得多文件代码库在长文本训练中独一无二?
代码库培训需要寄存器级依赖图绘图,因此模型在多个模块中学习非线性建筑关系,而不是将文件作为孤立文本处理.
在一个文件中培训一个代码生成或调试的LLM已经不够。开发者期望模型能够理解完整的代码库,重构遗留系统,并解决跨越数十个微服务的错误。 代码库长文本数据与流派数据有根本的不同,因为代码执行本身是非线性:一个基础效用文件由会话模块继承和扩展,而这个模块又被几个目录以外的API端点即时化.
编码基础数据集的基本组成部分:
- 储物层地形测绘. 以字母顺序显示文件会断绝依赖分辨率。 数据集必须按地形依赖图排序, 如 AST 或 书法命令 。
- 提交历史和 PR 上下文。 包括拉索说明, 发行门票, 和承诺diffs 与整个代码库 教模型为什么改变代码, 不只是什么改变。
- 多语种建筑. 长文本数据集必须包括服务间API合同(GraphQL, OpenAPI, Protobuf),以跨越多块块堆栈来连接语言边界。 这补充了干净的, 破损的源数据 — 见 如何清理和复制培训前的教程.
长文LLMs的多小时录音记录稿是怎样准备的?
通过将多语种音频对齐,精确的扬声器对齐,时间戳和元数据标记,以及域特异词汇标准化.
对话数据——收入电话,董事会会议,法律取证,临床咨询——是长文培训数据增长最快的来源之一,一个4小时的录音可以产生成千上万的口语,并带有重叠的音频,虚假的开始,和口语的词汇. 标准自动语音识别输出往往自己太吵:小的抄写错误在数千个符号上复合,并降解下游推理. 议长的分化是确定和标出哪个发言者在录音过程中所说的话,即使长时间的沉默,也保持标签的一致性。
提高记录数据质量的步骤:
- 演说者分化与坚持. 议长的标签必须始终一致,包括长时间的沉默之后,必须记录多小时的记录。
- 时间和文物同步. 口述文字记录应当与随附的视觉文物,如滑动甲板,共享屏幕,会议议程等相衔接.
- 域词库落地. 专业术语、医学术语和专有公司名称需要对照控制词汇加以纠正,类似于 语音和音频注释:转录、分音和加时标.
如何测量和验证长文本数据质量?
通过多阶段的人工输入核查、合成针注射测试和任务特定评价套件,在数据达到培训运行之前运行。
典型的验证管道通过原始摄入,结构解析, 人类 QA 团队不依靠单一的自动得分,而是追踪一小组质量信号: 抚养密度,指一个文件包含的与长度相对的多少明确长距离链接,因为低密度文件迫使模型回到局部模式匹配而不是远程关注; 跨记录稿的分化一致性,以便在到达培训数据之前捕捉假扬声器归属; 代码的结构或合成有效性,这样破解的进口不会传播到生成的输出中. Lifewood 应用 两次独立审查通过,并附有时间戳式核准记录 备注a 95%+ 标注员间一致性门槛 以客户批准的黄金作为管道中的人行检查站计量,标准在下文中作了说明。 规模的多式联运数据注释 并通过下列方式加强: AI 数据验证 服务及 企业 LLM 培训数据 程序。