简短回答： 文件注释是人们通常视为一体的四种工作:OCR校正、笔迹抄写、排版注解和键值提取。 现代系统在干净、现代、印刷的页面上处理所有四种工作都很好。 在三个不同的书记员撰写的1890年代逐渐衰落的教区登记册上,他们没有——而基准准确度与真实档案材料之间的差距是人类工作生活的地方.
核心要点
- 文件注释是四个截然不同的工作:OCR校正,笔迹抄写,布局注释和按键值提取.
- 手写文字识别(HTR)不是OCR——它用上下文来读整行,因为咒语没有给片段提供可靠的字母边界.
- 笔迹的字符误差率从训练有素的数据集不到2%到一般不受约束的笔迹大约36%不等.
- 18-19世纪英语笔迹的边疆LLMs在字形错误率达到5.7–7%,字数错误率达到8.9–15.9%,分别比专业HTR软件高出14%和32%.
- 字符精度,字段精度和文档精度是三个不同的数字——每个字段精度为97%,20字段记录只有大约一半的时间完全正确.
四职何为,何故分之?
这四个工作都以不同的方式失败了, 并且一个把它们当作一步的管道 无法告诉你哪个部分坏了。
OCR( 光学字符识别) 将像素变成文字——它找到字符和单词并保持粗略的读取顺序,但它不会告诉你一个"总计"应该等于上面的行项的总和,或者一个日期已经以错误的格式降落. 典型的管道运行摄入和正常化,文件分类,布局意识OCR,键值和表提取,实体连接,置信阈值验证,人检,然后输出.
版式注释 标记列、表、头和读取顺序是买家低估的。 直截了当的两栏页面生成单个正确和集体毫无意义的文本。 即使是成熟的商业系统也承认这一点:多柱或不规则的文档通常需要后处理才能恢复读取顺序,手写或拼写输入仍然不一致。 家族学 工作总是这样——一个分类账,其中的姓氏栏,洗礼日期和主祭大臣坐在一个格格中,没有阅读顺序的休眠症是不知情的。
这是Lifewood成长的生意的一部分。早在"文件AI"是一个类别之前,Lifewood正在扫描脆弱的记录,逐行修正OCR线条,并将它们变成索引的,可搜索的基因数据,我们进一步描述了这一能力。 AI 数据服务围绕这项工作的技术发生了巨大变化;它所需要的判断力没有改变。
笔迹识别有多好?
训练有素的材料是非常好的,比标题数字对其它一切的暗示要糟糕得多。
手写文字识别( HTR) 是一种与OCR真正不同的技术,而不是其中的设定:古典OCR一次将打印的格言分类,而HTR则在上下文中读取了连接的整行脚本,因为咒语没有可靠的字母边界来表示分区。质量被报告为: 字符错误率( CER) ——通过插入,删除或替换来表示字符比例错误——和Word Error rate,运行比CER高3至4倍,因为一个错误的字符会破坏一个完整词.
A. 国家 2024 研究测试了18和19世纪主流的多式联运模型“出盒”的一套英文笔迹,记录了历史学家和家族学家实际工作的方式——各种手,电话和手持相机镜头,黑白微电影。 CER 备注 5.7–7% 财务报告和已审计财务报表 WER 备注 8.9–15.9%改进 14% 财务报告和已审计财务报表 32% 分别相对于专门 HTR 软件,同时运行速度更快,价格更低。 36% 一般的,不受限制的笔迹上的错误——也就是说,大多数的字迹都位于一个未编目的归档框中。 2% 财务报告和已审计财务报表 36% 将文件注释视为熟练工作而不是采购项目的整个论点,这一点决定了我们如何描述 人-在-在-在-在-在-在-在-在注释的路径.
与LLM抄写法合作的任何人都应该知道:一般模型往往会产生一种干净,自信,语法上的读法,恰巧是错误的,插入了源头从未包含的似似是而非的古老拼写法——在对这些管道的评价中记录为"超历史". 更糟糕的是, 家族学比可见错误, 因为一个被封印的名字会被标注在审查上, 而一个可能错误的名字则被索引、 传播和引用 在未来30年。
4个工作, 4个失败模式
| 任务 | 注释者所做的 | 哪里出错了 | 谁该做呢? |
|---|---|---|---|
| OCR 更正 | 修正页面图像上的错读字符 | 名词、数字和日期中的自信替代 | 机器先是人验证 |
| 手写 | 转写脚本 OCR 层无法触碰 | 不寻常的手,缩写,淡出墨水,LLMS的超历史 | 由人领导、模式协助 |
| 版式 | 标记列、表格、页眉、读取顺序和区域类型 | 多栏和不规则页面按错误顺序重新组合 | 人现场检查的模型 |
| 键值 | 将文本映射到命名字段:名称、日期、地点、关系 | 正确值,错误字段——字符级的不可见度量衡 | 规则加上信任审查 |
将每个提取值与准确的页、区域和文本跨度联系起来, 使审查者能够用秒而不是分钟来核实。
为什么准确数字会误导?
供应商报告品格准确,购买者听到文件准确,两者由一名责任人分开.
字符精确度 字符的共享是正确的。 外地准确度 询问是否在每个命名的字段中降落了正确的值。 文件准确性 询问文件的哪一部分有零错误——实际决定工作流程是否可以不经审查运行的数字。 99% 字符准确性主张对提取的记录是否正确没有多少说明:典型的家族记录——给定姓名、姓氏、交替拼写、性别、出生日期、出生地点、洗礼日期、教区、父亲、母亲、职业、证人、页和电影参考文献——贯穿20个领域,算术在 97% 字段精确度仍然可以提供大多数记录,至少有一件事是错误的。理解这些层错的复合体是如何对任意一个错误都至关重要的。 黄金套、审计抽样和共识 采用质量控制方法。
没有任何一个基准是没有价值的。 99.16% 有关多可视性卡验证的分拆 5,286 正确调出 5,331,仅限 18 会 议 日 程 和 议 程 45 缺失可归因于真正的缺陷——以及经过微调的视觉语言模式 99% 当与“在运行”工作流程对齐时,正在生产中。但 DocVQA 是带有问答对齐的文档图像的得分基准,它是一个有用的能力信号,而不是一个可靠的预测器,以预测一个解析器对特定客户文档的表现。它是否转移取决于该材料与基准的相似程度。
工作流程看起来像什么?
工作流程是机器第一,信心强,基础强,人类只花时间在需要他们时的页面上.
在提取前对文件进行分类,调整每个字段的置信阈值,而不是在每一个字段适用一个阈值,并将每个值都固定在它的页面、区域和跨度上,这些都是将一个工作流程与一个静悄悄地累积错误的工作流程分开的做法。 双键名称,日期和数字,运行一个专用的名词与本地名词列表相对应的专用通行证,对照验证规则对总数和日期范围进行调和,所有捕获到一个信心得分缺失的错误. 无法在提取值之外看到源区域,而且没有记录显示哪些模型版本产生输出的审阅者,是我们最经常看到的两个静静的故障点——既可以固定,又可以固定,两者都是问题。 交付前分层质量控制 而不是一个更聪明的模型。
有两个因素可以使经济学发挥作用。 首先,并不是每一页都值得同样的处理:信心阈值决定什么直接通过,什么得到快速检查,节省很多——从人工转换或者从人工转换到手动,或者从手动转换到手动,或者从手动转换到手动操作,或者从手动操作,或者从手动操作中转换到手动操作,或者从手动操作中转换手动操作,或者从手动操作中转换手动操作,或者从手动操作中转换手动操作,或者从手动操作中转换手动操作,或者从手动操作中转换手动操作,或者从手动操作中转换手动操作,或者通过手动操作,或者手动操作,然后通过手动操作,通过手动操作,然后通过手动操作,通过手动操作,通过手动操作,或者手动操作,可以进行操作,通过手动操作,通过手动操作,通过手动操作,或者手动操作,通过手动操作,通过手动操作,通过手动操作,在手动操作,操作,在操作中可以通过手动操作,通过手动操作,在操作,在操作 OCR-以工作流程为基础实现愿景AI 报告通过处理减少文件处理费用 75–92%第二,人类的努力必须落在它改变答案的地方。一个审查员核查模型得到的打印表单字段。 0.99 自信是昂贵的噪音; 同一审查者解决一个淡化的姓氏读作"Mainwaring"或"Mannering"是做一些任何模型今天都无法可靠做到的事情.
这就是扫描和基因学方案的工作形态:机器处理体积,训练有素的团队处理模糊,它们之间的路径是质量的来源。 在图片中添加语言和脚本——哥特手,西里尔语,历史整形,名称惯例因地区而异——而本地语审查停止是一种好话;一个名字用一种语言读错了,审查小组中没有人会说的话就只能保留错误读。 判断调用时的一致性正是这种调用。 标注员间一致性 用来测量。
工作流程实用清单,可维持:
- 从一开始衡量文档的准确性——抽样记录,计零差错的,并报告该数字与任何字符级的度量标准。
- 按字段设置信任阈值字段;错误读取的目击证人姓名和错误读取的出生日期不包含同样的成本.
- 查清每个提取值 这样审查者就能看到 旁边的源区域
- 绝不接受未经验证的LLM的对映记录——流畅不准确,超历史误差读作真实.
- 明确为表格和多栏材料注释布局,其中推断的读取顺序最常出现故障.
- 给适当的名词,他们自己的审查证,以及阅读来源语言和期间的工作人员审查员。