簡短回答： 文件註釋是人們通常視爲一體的四種工作:OCR校正、筆跡抄寫、排版註解和鍵值提取。 現代系統在乾淨、現代、印刷的頁面上處理所有四種工作都很好。 在三個不同的書記員撰寫的1890年代逐漸衰落的教區登記冊上,他們沒有——而基準準確度與真實檔案材料之間的差距是人類工作生活的地方.
核心重點
- 文件註釋是四個截然不同的工作:OCR校正,筆跡抄寫,佈局註釋和按鍵值提取.
- 手寫文字識別(HTR)不是OCR——它用上下文來讀整行,因爲咒語沒有給片段提供可靠的字母邊界.
- 筆跡的字符誤差率從訓練有素的數據集不到2%到一般不受約束的筆跡大約36%不等.
- 18-19世紀英語筆跡的邊疆LLMs在字形錯誤率達到5.7–7%,字數錯誤率達到8.9–15.9%,分別比專業HTR軟件高出14%和32%.
- 字符精度,字段精度和文檔精度是三個不同的數字——每個字段精度爲97%,20字段記錄只有大約一半的時間完全正確.
四職何爲,何故分之?
這四個工作都以不同的方式失敗了, 並且一個把它們當作一步的管道 無法告訴你哪個部分壞了。
OCR( 光學字符識別) 將像素變成文字——它找到字符和單詞並保持粗略的讀取順序,但它不會告訴你一個"總計"應該等於上面的行項的總和,或者一個日期已經以錯誤的格式降落. 典型的管道運行攝入和正常化,文件分類,佈局意識OCR,鍵值和表提取,實體連接,置信閾值驗證,人檢,然後輸出.
版式註釋 標記列、表、頭和讀取順序是買家低估的。 直截了當的兩欄頁面生成單個正確和集體毫無意義的文本。 即使是成熟的商業系統也承認這一點:多柱或不規則的文檔通常需要後處理才能恢復讀取順序,手寫或拼寫輸入仍然不一致。 家族學 工作總是這樣——一個分類賬,其中的姓氏欄,洗禮日期和主祭大臣坐在一個格格中,沒有閱讀順序的休眠症是不知情的。
這是Lifewood成長的生意的一部分。早在"文件AI"是一個類別之前,Lifewood正在掃描脆弱的記錄,逐行修正OCR線條,並將它們變成索引的,可搜索的基因數據,我們進一步描述了這一能力。 AI 數據服務圍繞這項工作的技術發生了巨大變化;它所需要的判斷力沒有改變。
筆跡識別有多好?
訓練有素的材料是非常好的,比標題數字對其它一切的暗示要糟糕得多。
手寫文字識別( HTR) 是一種與OCR真正不同的技術,而不是其中的設定:古典OCR一次將打印的格言分類,而HTR則在上下文中讀取了連接的整行腳本,因爲咒語沒有可靠的字母邊界來表示分區。質量被報告爲: 字符錯誤率( CER) ——通過插入,刪除或替換來表示字符比例錯誤——和Word Error rate,運行比CER高3至4倍,因爲一個錯誤的字符會破壞一個完整詞.
A. 國家 2024 研究測試了18和19世紀主流的多式聯運模型“出盒”的一套英文筆跡,記錄了歷史學家和家族學家實際工作的方式——各種手,電話和手持相機鏡頭,黑白微電影。 CER 備註 5.7–7% 財務報告和已審計財務報表 WER 備註 8.9–15.9%改進 14% 財務報告和已審計財務報表 32% 分別相對於專門 HTR 軟件,同時運行速度更快,價格更低。 36% 一般的,不受限制的筆跡上的錯誤——也就是說,大多數的字跡都位於一個未編目的歸檔框中。 2% 財務報告和已審計財務報表 36% 將文件註釋視爲熟練工作而不是採購項目的整個論點,這一點決定了我們如何描述 人-在-在-在-在-在-在-在-在註釋的路徑.
與LLM抄寫法合作的任何人都應該知道:一般模型往往會產生一種乾淨,自信,語法上的讀法,恰巧是錯誤的,插入了源頭從未包含的似似是而非的古老拼寫法——在對這些管道的評價中記錄爲"超歷史". 更糟糕的是, 家族學比可見錯誤, 因爲一個被封印的名字會被標註在審查上, 而一個可能錯誤的名字則被索引、 傳播和引用 在未來30年。
4個工作, 4個失敗模式
| 任務 | 註釋者所做的 | 哪裏出錯了 | 誰該做呢? |
|---|---|---|---|
| OCR 更正 | 修正頁面圖像上的錯讀字符 | 名詞、數字和日期中的自信替代 | 機器先是人驗證 |
| 手寫 | 轉寫腳本 OCR 層無法觸碰 | 不尋常的手,縮寫,淡出墨水,LLMS的超歷史 | 由人領導、模式協助 |
| 版式 | 標記列、表格、頁眉、讀取順序和區域類型 | 多欄和不規則頁面按錯誤順序重新組合 | 人現場檢查的模型 |
| 鍵值 | 將文本映射到命名字段:名稱、日期、地點、關係 | 正確值,錯誤字段——字符級的不可見度量衡 | 規則加上信任審查 |
將每個提取值與準確的頁、區域和文本跨度聯繫起來, 使審查者能夠用秒而不是分鐘來覈實。
爲什麼準確數字會誤導?
供應商報告品格準確,購買者聽到文件準確,兩者由一名責任人分開.
字符精確度 字符的共享是正確的。 外地準確度 詢問是否在每個命名的字段中降落了正確的值。 文件準確性 詢問文件的哪一部分有零錯誤——實際決定工作流程是否可以不經審查運行的數字。 99% 字符準確性主張對提取的記錄是否正確沒有多少說明:典型的家族記錄——給定姓名、姓氏、交替拼寫、性別、出生日期、出生地點、洗禮日期、教區、父親、母親、職業、證人、頁和電影參考文獻——貫穿20個領域,算術在 97% 字段精確度仍然可以提供大多數記錄,至少有一件事是錯誤的。理解這些層錯的複合體是如何對任意一個錯誤都至關重要的。 黃金套、審計抽樣和共識 採用質量控制方法。
沒有任何一個基準是沒有價值的。 99.16% 有關多可視性卡驗證的分拆 5,286 正確調出 5,331,僅限 18 會 議 日 程 和 議 程 45 缺失可歸因於真正的缺陷——以及經過微調的視覺語言模式 99% 當與“在運行”工作流程對齊時,正在生產中。但 DocVQA 是帶有問答對齊的文檔圖像的得分基準,它是一個有用的能力信號,而不是一個可靠的預測器,以預測一個解析器對特定客戶文檔的表現。它是否轉移取決於該材料與基準的相似程度。
工作流程看起來像什麼?
工作流程是機器第一,信心強,基礎強,人類只花時間在需要他們時的頁面上.
在提取前對文件進行分類,調整每個字段的置信閾值,而不是在每一個字段適用一個閾值,並將每個值都固定在它的頁面、區域和跨度上,這些都是將一個工作流程與一個靜悄悄地累積錯誤的工作流程分開的做法。 雙鍵名稱,日期和數字,運行一個專用的名詞與本地名詞列表相對應的專用通行證,對照驗證規則對總數和日期範圍進行調和,所有捕獲到一個信心得分缺失的錯誤. 無法在提取值之外看到源區域,而且沒有記錄顯示哪些模型版本產生輸出的審閱者,是我們最經常看到的兩個靜靜的故障點——既可以固定,又可以固定,兩者都是問題。 交付前分層質量控制 而不是一個更聰明的模型。
有兩個因素可以使經濟學發揮作用。 首先,並不是每一頁都值得同樣的處理:信心閾值決定什麼直接通過,什麼得到快速檢查,節省很多——從人工轉換或者從人工轉換到手動,或者從手動轉換到手動,或者從手動轉換到手動操作,或者從手動操作,或者從手動操作中轉換到手動操作,或者從手動操作中轉換手動操作,或者從手動操作中轉換手動操作,或者從手動操作中轉換手動操作,或者從手動操作中轉換手動操作,或者從手動操作中轉換手動操作,或者從手動操作中轉換手動操作,或者通過手動操作,或者手動操作,然後通過手動操作,通過手動操作,然後通過手動操作,通過手動操作,通過手動操作,或者手動操作,可以進行操作,通過手動操作,通過手動操作,通過手動操作,或者手動操作,通過手動操作,通過手動操作,通過手動操作,在手動操作,操作,在操作中可以通過手動操作,通過手動操作,在操作,在操作 OCR-以工作流程爲基礎實現願景AI 報告通過處理減少文件處理費用 75–92%第二,人類的努力必須落在它改變答案的地方。一個審查員覈查模型得到的打印表單字段。 0.99 自信是昂貴的噪音; 同一審查者解決一個淡化的姓氏讀作"Mainwaring"或"Mannering"是做一些任何模型今天都無法可靠做到的事情.
這就是掃描和基因學方案的工作形態:機器處理體積,訓練有素的團隊處理模糊,它們之間的路徑是質量的來源。 在圖片中添加語言和腳本——哥特手,西里爾語,歷史整形,名稱慣例因地區而異——而本地語審查停止是一種好話;一個名字用一種語言讀錯了,審查小組中沒有人會說的話就只能保留錯誤讀。 判斷調用時的一致性正是這種調用。 標註員間一致性 用來測量。
工作流程實用清單,可維持:
- 從一開始衡量文檔的準確性——抽樣記錄,計零差錯的,並報告該數字與任何字符級的度量標準。
- 按字段設置信任閾值字段;錯誤讀取的目擊證人姓名和錯誤讀取的出生日期不包含同樣的成本.
- 查清每個提取值 這樣審查者就能看到 旁邊的源區域
- 絕不接受未經驗證的LLM的對映記錄——流暢不準確,超歷史誤差讀作真實.
- 明確爲表格和多欄材料註釋佈局,其中推斷的讀取順序最常出現故障.
- 給適當的名詞,他們自己的審查證,以及閱讀來源語言和期間的工作人員審查員。