簡短回答: 遠不止於採集語音或文本。手語是擁有自身語法的完整自然語言,意義同時由手部、面部與身體承載;而可用的平行數據幾乎不存在,因爲網絡上大多數手語視頻都沒有對齊的字幕。公開可得的最大美國手語語料庫只有略多於 80 小時,這在語音語料面前只是一個零頭,而翻譯質量也正反映了這一點。
聽力正常的人對這個問題的直覺幾乎總是錯的,而這種錯有一個特定的形狀。人們會假定手語是周圍口語的手部轉寫、假定手語者的雙手承載全部信息、假定網上的手語視頻很充足。這三點沒有一點成立,而每一個錯誤假定都會在數據集中造成一種不同的失敗。
手語是獨立的語言。英國手語與美國手語既不是英語的方言,也不是彼此的方言。語法信息同時由雙手、面部、眼睛與上半身承載,因此只盯着雙手的模型,讀到的是一個被抽掉語調變化的句子。而儘管互聯網上有大量手語視頻,其中絕大多數都無法訓練有監督模型,因爲它們沒有對齊的字幕。
核心重點
- 手語是 完整的自然語言 它們擁有自身的語法,而不是口語的手部編碼。
- 意義是 同時發生且多通道的:手形、運動與位置,再加上承載語法(而不只是情緒)的面部表情與身體姿態。
- 真正的約束是 對齊的平行數據。網絡上大量的手語數據無法用於有監督訓練,因爲它缺少對齊的字幕。
- 公開可得的最大 ASL 語料庫 How2Sign 包含 超過 80 小時 的視頻——而語音語料的規模是以數萬小時計的。
- 大型廣播語料確實存在,但訪問受限。BOBSL 包含 1,467 小時 的 BBC 內容,並受嚴格的訪問條款限制。
- 已發表的翻譯分數一直 接近地板水平:在 WMT 2022 共享任務的多個賽道上,報告的 BLEU 分數約在 0.4 到 1.0 之間。
- 手語視頻 本質上屬於生物特徵數據。手語者的面部是語言信號的一部分,因此匿名化與同意是設計約束,而不是事後補辦的事情。
快速比較
| 語料庫 | 語言 | 規模 | 訪問方式 |
|---|---|---|---|
| How2Sign | 美國手語 | 超過 80 小時,多視角,含語音與深度信息 | 公開可得 |
| BOBSL | 英國手語 | 1,467 小時的 BBC 廣播內容 | 嚴格受限 |
| WMT-SLT (DSGS) | 瑞士德語手語 | 約 17,000 個句子 | 共享任務條款 |
爲什麼不能直接從網絡上抓取手語視頻?
因爲有監督翻譯需要視頻與與之對應的文本成對出現,而可獲得的視頻裏幾乎沒有攜帶這種配對。手語翻譯進展的一大阻礙是數據稀缺,具體來說,就是當前網絡上可獲得的大量手語數據由於缺少對齊字幕而無法用於訓練有監督模型。
想一想這裏的“對齊”意味着什麼。僅僅知道一段十分鐘的視頻對應一份十分鐘的轉寫是不夠的。模型需要知道哪一段視頻對應哪一段文本,粒度大致到句子一級,而這門語言的句子邊界是由韻律與體態線索標出的,而不是標點。產出這種對齊是由精通該手語的人完成的高技能標註工作,這也正是爲什麼這些語料的規模是以數十或數百小時計,而不是數萬小時。
還有第二個抓取無法解決的問題。網絡視頻絕大多數是對口語內容的傳譯,而不是母語者自發的手語,而傳譯出來的語言在語域與結構上與母語者自發產出的語言存在已知差異。一個完全由傳譯廣播構成的語料,並不是聾人彼此之間實際如何打手語的樣本。
實際存在的數據有多少?
非常少,以任何其他模態的標準來衡量都是如此。公開可得的語料規模很小,而規模大的那些則受到限制。
How2Sign 是開放 ASL 數據的參照點:它是一個多模態、多視角的連續 ASL 數據集,包含一個超過 80 小時手語視頻的平行語料,並配有對應的語音、英語轉寫與深度信息,另有一個三小時的子集在 Panoptic 攝影棚中錄製,以支持精細的 3D 姿態估計。其作者把缺少大型標註數據集描述爲阻礙該領域進展的因素之一——這個數據集的存在,正是對它所記錄的那種稀缺的回應。
BOBSL 展示了這個問題的另一種形狀。它是一個大型英國手語語料庫,包含 1,467 小時的 BBC 廣播內容,其素材量比 How2Sign 高出一個數量級。它的訪問受到嚴格限制,對於可識別人物的廣播素材來說這是合理立場,但也意味着它無法充當一個共同的開放基準。
作爲對比,WMT 2022 手語翻譯共享任務使用的是瑞士德語手語數據集,總計約 17,000 個句子,任務是把 DSGS 視頻翻譯爲德語文本。
今天機器手語翻譯的水平如何?
很差,而且文獻也如實報告了這一點。在 WMT 2022 共享任務的多個賽道上,已發表的 BLEU 分數接近地板水平——某些新聞賽道約爲 0.4,另一些約爲 1.0;另有評述指出,WMT 2023 上最好的系統也只達到約 1 BLEU。
值得把 BLEU 分數接近 1 的含義說清楚,因爲這個數字很容易被誤讀成“10 分裏拿到 1 分”之類的意思。BLEU 的上限是 100。在資源充足的口語語言之間,稱得上合格的機器翻譯大致落在 30 多到 40 多分。分數在 1 左右意味着輸出與參考譯文的重合,僅比隨機略高一點。
進展確實在發生,而它來自繞過數據約束,而不是穿過它。有一種方案先在匿名化且未標註的視頻上做自監督視頻預訓練,再在一個更小的精選平行數據集上做有監督微調,在 How2Sign 上取得了當時最好的微調與零樣本免註釋詞表現。這個模式在低資源口語語言中很常見:用充裕的無標註素材去學習表示,再把稀缺的標註預算花在監督不可替代的地方。
在實踐中,採集手語數據有什麼不同?
有三件事改變了操作上的設計,而這三件事都回到同一個事實:手語者的身體就是信號本身。
面部無法被模糊掉。 在語音採集中,你可以把一段錄音匿名化而保留語言內容。而在手語中,面部承載語法——疑問標記、否定、強度、話題——因此常規的匿名化會破壞數據。這就是爲什麼注重隱私的方案致力於那些能保留語言內容、而不僅僅是遮蔽身份的匿名化方法,也是爲什麼同意條款必須異常明確地說明可識別身份的視頻將被用於何處。
拍攝設置是語言學問題,而不只是技術問題。 取景必須把手部、面部與上半身一併納入,面部要有足夠分辨率以呈現表情,幀率要足夠高以捕捉快速動作。多個視角能實質性改善姿態估計。一臺低幀率、只裁到軀幹的單機位相機,錄下來的東西事後是無法補救的。
標註需要的是流利,而不是培訓。 對齊、切分與註釋詞標註必須由精通該特定手語的人完成,而對許多手語來說,這個人羣本就很小。這與任何真正的低資源語言項目所受的約束相同:限制因素不是工具或吞吐,而是招募並留住合格的母語貢獻者,併爲這項需要技能的語言工作支付合理報酬。
關於其中招募一側的更深入討論,見我們關於如何 爲非洲語言數據招募母語貢獻者,以及關於更廣泛經濟性的討論見 低資源語言語音數據採集.