简短回答： "我们覆盖斯瓦希里"不是报道声明,AfriVoices -KE 基库尤语跨越5个方言——基安布、穆朗加、尼雷里和基里尼亚加,基里尼亚加又细分为基里尼亚加,卡伦真语跨越南迪和基普西吉斯两个组别,加在一起估计占了大约的比重。 60 改为: 70% 语言名称。 ISO 密码把两个都拼了
核心要点
- AfriVoices-KE为Kikuyu(Kiambu, Murang'a, Nyeri, Kirinyaga分裂为Käi-Ndia和Gächplangplá)使用了五声框架,为Kalenjin(南迪和基普西吉斯)使用了两声框架,估计占到60%至70%的讲音者。
- 歧义变异涉及词典,音素,亲声和形态学差异;区域口音主要是在共用词典和语法中具有口音差异.
- 标签来源于地理或ISO代码,将方言和口音拼凑在一起,这扭曲了集合决定,使模型错误更难诊断.
- 在方言连续语中,毗连的定居点是相互理解的,而遥远的定居点则不是,因此,在品种之间划定的任何边界都是决定而不是发现。
- 覆盖框架具有保存期:地理传播分散特征,方言平分逐渐侵蚀地方差异。
为什么一个语言名称不足以定义覆盖范围?
单一语言名称可以隐藏几种不同的品种,因此,覆盖说明必须说明所接触的品种以及它们代表的发言者的大致比例,而不仅仅是语言。
有个客户端要Kikuyu的语音数据 Kikuyu大概有 8.15 百万发言者,a ISO 代码和维基百科的页面 采购是一回事
非洲志愿行动队-KE小组收集了这一资料,采用了涵盖基安布、穆朗加、尼雷里和基里尼亚加的五极框架,基里尼亚加本身又细分为基希-恩迪亚和基希奇克韦尔特,以便捕捉区域语言和社会语言差异。
五个品种,从一个线项在范围文件中.
和卡伦金,一个南方的尼罗特星团,大约 6.3 同一小组作出了相反的决定,他们集中关注两个最广的团体,即南迪和基普西吉斯,这两个团体合在一起估计占了大约59%。 60 改为: 70% 说卡伦金语的人
大部分项目都暗中做出同样的决定,在招聘最容易的地方招聘,而从未写过最后的结果。
方言与地区口音有何区别?.
视差变化 涵盖词汇,语法,音响学和音韵学的不同——不同词和语法的不同. 区域口音 两者是互换的,这是后来推翻覆盖计划的错误。
为什么这很重要,用提出观点的研究人员的话来说:从地理或ISO代码中衍生出来的标签可以将词典和语法差异与发音差异相混淆,既影响集合决定,也影响模型错误的解释.
读两次,因为它解释了项目失败的类别。如果数据集将两个品种单独标出标签,因为它们听起来不同,但它们共用一个词汇,那么你就会将本应集合的数据分割开来。 如果它标记为两个相同,因为它们共享一个区域,但是在语法上却有所不同,那么你就可以集合本应被分割的数据。 不管怎样,当模型运行不佳时,你无法分辨问题究竟是声学还是语言学。
第三个有用的轴线与这些轴线并列。 语音体也因寄存器而异,即以活动或设置为条件的语言,以及影响,即通过语音表达的情感。 数据集可以具有极好的地理覆盖范围,只覆盖一个登记册,它产生一个处理每个区域正式讲话和无处对话讲话的模式。
为什么ISO代码不能只是定义方言边界?
ISO代码的建立是为了识别语言,而不是捕捉分光分辨,因此将ISO代码作为覆盖计划来对待,就完全隐藏了覆盖计划需要描述的变异.
已公布的公司名称问题有详细记载,使现有数据比表面更难再使用。 跨数据集的对角标签由地缘政治边界、粗糙的区域集团或按区域组合的不同定义。 ISO-样式代码,如 APc 或 ARY 。 研究人员认为,其后果是,这妨碍了对低资源品种的数据进行原则性汇集和选择。
阿拉伯文语音技术一再出现的瓶颈问题广泛适用:开放性标准化有限,代表性不足的品种覆盖范围不均衡,分分辨标签不一致,数据质量和收集条件的文件记录不足。
还有一个发现是,它违背了最大限度地扩大数据量的本能。 集合并非普遍有益:阿拉伯连续体之间相互了解性的变化,可能使不分皂白的混合比目标跨射线传输更低,我们指南中进一步阐述了这一区别。 收集密码切换的语音和文本.
相邻品种的更多数据可以让一个模型对目标品种更糟糕。 这意味着覆盖范围范围不是“预算允许的收集尽可能多的品种 ” , 而是“决定哪些品种属于一个整体,哪些不属于一个整体 ” 。
方言连续语中如何覆盖范围?
一个方言连续体没有自然的分界线,因此采样框架必须是地理位置而不是命名品种,有足够的地点可以插上它们之间的变异.
方言连续 是一个连锁毗连住区,说来非常相似,相互理解的品种,在同一连续住区中,较远的住区说出彼此之间不理解的品种。 文献中给出的例子包括西罗马语,东斯拉夫语和斯堪的纳维亚语的continua,高加索语被指为一个特别复杂的案例.
没有任何自然界限可以划定。在“Variety A”和“Variey B”之间划出的任何界线都是作出的决定,而不是发现的事实。
方法后果被明确表述:为了解释一个地理区域的变化,有必要从许多不同地点收集数据。 历史失败模式同样是显而易见的,因为大多数研究都曾假定过同一分布。
对于一个数据程序来说,这意味着取样框架是位置,而不是语言。连续连续的3个记录站点将产生一个代表三个点的数据集,并且插上什么,这是我们概述的问题。 低资源语言语音数据收集 更深处的覆盖。
方言的覆盖范围是怎样划分的?
覆盖范围通过传统调查、大规模应用或机构数据以及现有参考工程的组合来绘制,每种交易成本与可靠性的对比不同。
传统的方言调查采用有条理地收集各区域具体变量的方法,具有权威性,而且极其缓慢:在区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、区域、 UK 编辑 US 在一个世纪的研究中
基于 App 的大规模收集可以更快地进行。最近收集的数据中最令人印象深刻的例子是: 26 交替自上而下 47,000 发言者超过 4,900 当地 UK 使用移动电话应用程序——一种规模化的传统调查方法无法接近。
以公司为基础的绘图来源于大型地理定位文本的变异。关键的问题是它是否通用,现在有证据表明它确实具有:一项比较 139 由 an 1.8 10亿字的地理定位 UK 推特上反对 BBC 声音方言调查发现这两个来源之间有着广泛的一致。 这种基于验证的基于授权的测绘,用于对区域差异进行一般性调查,这很重要,因为它比调查工作便宜。
现有参考文献,如Ethnologue和可比参考文献,提供了方言目录和演讲者估计,非洲语言学会(AfriVoices-KE)以其多样性框架和演讲者人数为例,它们是一个起点,而不是范围界定计划,因为资料来源和演讲者数字之间的清单是估计数。
商业方案的实际做法通常是结合:参考工作是列举候选品种、实体或应用数据,以检查哪些区别实际上存在,以及我们指南中所讨论的当地专门知识。 征聘非洲语言数据的当地撰稿人,决定部署的哪个事项。
覆盖框架是否过期?
是的,随着地区之间的特征和局部差异的扩大,分界线随时间而变化,逐渐向标准种类的消失,因此,从较旧的参考来源所绘制的覆盖图可能已经过时。
地域分布 语言特征是语言特征从一个地方逐渐传播到另一个地方的过程,通常通过不同方言的讲者之间的面对面接触. 拨号平调 也就是当地方言之间差异的侵蚀, 通常朝向一种标准品种。
A. 国家 UK 将新的调查数据与1950年代的数据进行比较的研究发现,有些方言变量已经发生变化,而另一些变量在60多年的时间里保持不变。 这就是有用的细微差别:变化并非简单地消失,而是移动,不均匀。
对于一个数据方案来说,这意味着一个从二十年前发表的参考工作所建立的范围框架可能描述已经消除的区别和已经出现的缺失的区别。 收集重音和非本地语言.
记录的覆盖范围应包括哪些?
在开始收集前,应在纸上写明范围,并指明所覆盖的品种、用于鉴别的品种来源以及有意遗漏的。
以该清单的资料来源为名的候选品种首先列出。 兹说明一个选择,其理由如下:非洲植物物种协会-KE Kallenjin决定是模式,选择两个品种,估计发言者的比例为60%至70%。
发言人人数估计的品种,连同资料来源,都保持覆盖要求可以核实。 取样地点而不仅仅是品种,特别是在连续情况下,明确集合规则应说明哪些品种将在数据集中作为一个标签处理,哪些品种不会根据语言理由而不是行政上的方便来决定。
元数据计划中的方言和重音标签的区分让下游用户聚集或适当分裂。注册和演讲者要素的覆盖范围应当记录,而不仅仅是地理。 超出范围的说明是被最经常省略的部分,也是客户最需要的部分。
值得从Voxlect基准中借用的一个技术细节:在构建方言分类数据时,研究人员将短于三秒的音频剪辑排除为不足以进行强健的方言分类,并因苏格兰等区域品种缺乏特异性而被简单地标注为"英国"的标本被丢弃. 两者都是质量决定,只有在首先决定目标颗粒性时才有意义。
怎么样 Lifewood 地方层面的覆盖范围?
Lifewood 将覆盖范围范围作为与该区域人民作出的语言学决定,然后用非洲语言学 -- -- 的文字记录。KE 记录了Kikuyu和Kalenjin:已命名的品种、说明的理由和可核查的发言者的占比。
Lifewood语言能力跨度 100+ 语言,以及每种语言的方言和口音的区别,都带有大部分操作权重。接下来是进行这项工作的两个观察。
首先是,多样性框架必须来自该地区,而不是从首都的参考工作中选出。 参考清单是一个起点,它们往往比演讲者本身所作的区分更为粗略,有时更细微,保留了已经平息的区分。 能够告诉你是哪个人住在那里 那是一个招募问题 之前是一个语言学问题 我们的作品 非洲在 AI 注释 进一步探索。
第二,覆盖范围界定是大多数多语种项目悄悄地出错的地方,因为其发生时间很早,看起来很行政,通常由写工作说明的人解决. 在内罗毕的一个项目中,“Kikuyu”和新兵将交付一些东西,它交付的将是移居该市的人所说的一种特殊种类,被标为整个语言。在交付统计中,没有任何东西能显示这一点。它后来作为一个在一区运作良好、四区运作不良的模型出现。 买家们比较了这些语言。 多语种数据收集公司 应要求每个供应商显示这种有文件记载的范围,而不是语文清单。
补救办法是没有魅力的:明确决定框架,根据地点而不是根据一个语文名称征聘人员,报告覆盖情况,而不是汇总。 多种语文数据收集 而不是一次性的