简短回答: 远不止于采集语音或文本。手语是拥有自身语法的完整自然语言,意义同时由手部、面部与身体承载;而可用的平行数据几乎不存在,因为网络上大多数手语视频都没有对齐的字幕。公开可得的最大美国手语语料库只有略多于 80 小时,这在语音语料面前只是一个零头,而翻译质量也正反映了这一点。
听力正常的人对这个问题的直觉几乎总是错的,而这种错有一个特定的形状。人们会假定手语是周围口语的手部转写、假定手语者的双手承载全部信息、假定网上的手语视频很充足。这三点没有一点成立,而每一个错误假定都会在数据集中造成一种不同的失败。
手语是独立的语言。英国手语与美国手语既不是英语的方言,也不是彼此的方言。语法信息同时由双手、面部、眼睛与上半身承载,因此只盯着双手的模型,读到的是一个被抽掉语调变化的句子。而尽管互联网上有大量手语视频,其中绝大多数都无法训练有监督模型,因为它们没有对齐的字幕。
核心要点
- 手语是 完整的自然语言 它们拥有自身的语法,而不是口语的手部编码。
- 意义是 同时发生且多通道的:手形、运动与位置,再加上承载语法(而不只是情绪)的面部表情与身体姿态。
- 真正的约束是 对齐的平行数据。网络上大量的手语数据无法用于有监督训练,因为它缺少对齐的字幕。
- 公开可得的最大 ASL 语料库 How2Sign 包含 超过 80 小时 的视频——而语音语料的规模是以数万小时计的。
- 大型广播语料确实存在,但访问受限。BOBSL 包含 1,467 小时 的 BBC 内容,并受严格的访问条款限制。
- 已发表的翻译分数一直 接近地板水平:在 WMT 2022 共享任务的多个赛道上,报告的 BLEU 分数约在 0.4 到 1.0 之间。
- 手语视频 本质上属于生物特征数据。手语者的面部是语言信号的一部分,因此匿名化与同意是设计约束,而不是事后补办的事情。
快速对比
| 语料库 | 语言 | 规模 | 访问方式 |
|---|---|---|---|
| How2Sign | 美国手语 | 超过 80 小时,多视角,含语音与深度信息 | 公开可得 |
| BOBSL | 英国手语 | 1,467 小时的 BBC 广播内容 | 严格受限 |
| WMT-SLT (DSGS) | 瑞士德语手语 | 约 17,000 个句子 | 共享任务条款 |
为什么不能直接从网络上抓取手语视频?
因为有监督翻译需要视频与与之对应的文本成对出现,而可获得的视频里几乎没有携带这种配对。手语翻译进展的一大阻碍是数据稀缺,具体来说,就是当前网络上可获得的大量手语数据由于缺少对齐字幕而无法用于训练有监督模型。
想一想这里的“对齐”意味着什么。仅仅知道一段十分钟的视频对应一份十分钟的转写是不够的。模型需要知道哪一段视频对应哪一段文本,粒度大致到句子一级,而这门语言的句子边界是由韵律与体态线索标出的,而不是标点。产出这种对齐是由精通该手语的人完成的高技能标注工作,这也正是为什么这些语料的规模是以数十或数百小时计,而不是数万小时。
还有第二个抓取无法解决的问题。网络视频绝大多数是对口语内容的传译,而不是母语者自发的手语,而传译出来的语言在语域与结构上与母语者自发产出的语言存在已知差异。一个完全由传译广播构成的语料,并不是聋人彼此之间实际如何打手语的样本。
实际存在的数据有多少?
非常少,以任何其他模态的标准来衡量都是如此。公开可得的语料规模很小,而规模大的那些则受到限制。
How2Sign 是开放 ASL 数据的参照点:它是一个多模态、多视角的连续 ASL 数据集,包含一个超过 80 小时手语视频的平行语料,并配有对应的语音、英语转写与深度信息,另有一个三小时的子集在 Panoptic 摄影棚中录制,以支持精细的 3D 姿态估计。其作者把缺少大型标注数据集描述为阻碍该领域进展的因素之一——这个数据集的存在,正是对它所记录的那种稀缺的回应。
BOBSL 展示了这个问题的另一种形状。它是一个大型英国手语语料库,包含 1,467 小时的 BBC 广播内容,其素材量比 How2Sign 高出一个数量级。它的访问受到严格限制,对于可识别人物的广播素材来说这是合理立场,但也意味着它无法充当一个共同的开放基准。
作为对比,WMT 2022 手语翻译共享任务使用的是瑞士德语手语数据集,总计约 17,000 个句子,任务是把 DSGS 视频翻译为德语文本。
今天机器手语翻译的水平如何?
很差,而且文献也如实报告了这一点。在 WMT 2022 共享任务的多个赛道上,已发表的 BLEU 分数接近地板水平——某些新闻赛道约为 0.4,另一些约为 1.0;另有评述指出,WMT 2023 上最好的系统也只达到约 1 BLEU。
值得把 BLEU 分数接近 1 的含义说清楚,因为这个数字很容易被误读成“10 分里拿到 1 分”之类的意思。BLEU 的上限是 100。在资源充足的口语语言之间,称得上合格的机器翻译大致落在 30 多到 40 多分。分数在 1 左右意味着输出与参考译文的重合,仅比随机略高一点。
进展确实在发生,而它来自绕过数据约束,而不是穿过它。有一种方案先在匿名化且未标注的视频上做自监督视频预训练,再在一个更小的精选平行数据集上做有监督微调,在 How2Sign 上取得了当时最好的微调与零样本免注释词表现。这个模式在低资源口语语言中很常见:用充裕的无标注素材去学习表示,再把稀缺的标注预算花在监督不可替代的地方。
在实践中,采集手语数据有什么不同?
有三件事改变了操作上的设计,而这三件事都回到同一个事实:手语者的身体就是信号本身。
面部无法被模糊掉。 在语音采集中,你可以把一段录音匿名化而保留语言内容。而在手语中,面部承载语法——疑问标记、否定、强度、话题——因此常规的匿名化会破坏数据。这就是为什么注重隐私的方案致力于那些能保留语言内容、而不仅仅是遮蔽身份的匿名化方法,也是为什么同意条款必须异常明确地说明可识别身份的视频将被用于何处。
拍摄设置是语言学问题,而不只是技术问题。 取景必须把手部、面部与上半身一并纳入,面部要有足够分辨率以呈现表情,帧率要足够高以捕捉快速动作。多个视角能实质性改善姿态估计。一台低帧率、只裁到躯干的单机位相机,录下来的东西事后是无法补救的。
标注需要的是流利,而不是培训。 对齐、切分与注释词标注必须由精通该特定手语的人完成,而对许多手语来说,这个人群本就很小。这与任何真正的低资源语言项目所受的约束相同:限制因素不是工具或吞吐,而是招募并留住合格的母语贡献者,并为这项需要技能的语言工作支付合理报酬。
关于其中招募一侧的更深入讨论,见我们关于如何 为非洲语言数据招募母语贡献者,以及关于更广泛经济性的讨论见 低资源语言语音数据采集.