简短回答： 各种主要对话数据集——每日数字、多WOZ、 PERSONA-CHAT, XPersona, GlobalWOZ, XDailyDialog – 文化相关性基本上不存在,SEADialog 对话则自称是第一个在每次对话中明确代表文化方面内容的人。翻译无法解决这个问题:它保留语言并导入了情景。Hershcovich 和同事认为,在大型地方社区内收集数据会产生文化上更丰富的数据。
核心要点
- 包括DailyDialog、MultiWOZ、 PERSONA-CHAT,XPersona,GlobalWOZ和XDailyDialog,文化相关性缺失,一些多语种语言翻译而非本土创建.
- 翻译保存语言,并导入情景,所以翻译对话是用目标语言进行的一种外在情况.
- 东南亚发展经济学系统的对话涵盖6个国家的8种东南亚语言,对话有32,000次,来自300种情景和210个人名,并带有文化相关名称。
- 文化对话ID 涵盖印度尼西亚文化的总和10个省,涵盖印度尼西亚语和10个地方语言,涉及13个文化主题,将国家一级的文化视为颗粒性不足。
- NormDial的验证标准要求讲母语的人根据自己的生活经验、文化特点和足够详细的情况判断每一规范是否实际正确,得出133个中国准则和134个美国准则。
- 如果以经当地核实的文化规范为基础,并在每个阶段进行人核查,则合成对话是合法的,在没有这种框架的情况下产生定型观念。
文化相关性为何在大多数对话数据集中缺失?
文化相关性缺失,因为实地建设了多语种覆盖,而没有建设文化覆盖,并将两者视为同一问题。
SEADialogs文件中的比较表使字段状态清晰,列出了主要的对话数据集——DailyDialog,MultiWOZ,. PERSONA-CHAT,XPersona,GlobalWOZ,Multi2WOZ,Multi3WOZ,XDailyDialog——在文化相关性栏中,每个语言都标有十字。有些是大型的:XPersona覆盖6种语言,其中包含: 104,600 对话,全球WOZ涵盖 21 多个多语种条目中,在栏中也带有第二个十字,标记数据集是否避免翻译——GlobalWOZ,XPersona和XDailyDialog都是翻译而不是本土创建的.
对话框数据集 这是一种结构化的交流交流,用于培训或评价对话的AI,通常围绕情景、人物和转折。 任何人对这项工作的范围进行界定的诚实起点:多语言对话数据大多存在,基于文化的对话数据大多不存在,两者被视作可互换的。
为什么翻译不能产生跨文化对话?
翻译失败是因为情景本身带有文化,翻译词句留下了状况完整.
就预订餐厅桌进行面向任务的对话。 将其翻译为Javanese, 结果是一个关于西部餐厅预订流程的Javanese语言对话, 由西方人假设预订规范、 党员规模、 付款以及员工的地址。 语言是正确的; 情况是导入的 。 赫什科维奇和同事认为,在大型地方社区收集多语种数据,导致文化上丰富的数据,避免将英文驱动的使用案例强加于每个市场。 COD项目的方法涉及文化上的调整,用注释者本身文化和环境中的共同概念取代外国概念,其作者指出,基于文化相关性和可信度的情景选择应先于对话产生,而不是在对话产生之后。 设想选择,而不是翻译质量,是跨文化对话数据成败之处——在2004年,探索了同样的教训。 文化相关数据为何对 AI.
以文化为基础的数据收集管道是什么样子的?
文化基础的管道从经过验证的情景和人物开始,然后产生或收集反对他们的对话,而不是从对话开始,希望文化能够展现出来。
文化基础东南亚语言系统对话涵盖6个国家的8种东南亚语言——印度尼西亚语、爪哇语、马来语、米南卡包语、塔加洛格语、泰米尔语、泰语和越南语,产生了32,000次对话。 其管道首先从支持资源而不是对话开始:情景模板、人物模板和文化上相关的东南亚地名。 对于每个对话,选择两个与域有关的假设和相应的人,以确保在情景内和情景间关系上的一致性,然后是人工的词典化。 数据集船300种情景和210人——这两个数字是实际的文化内容,下游的一切都是一代人,与之相对的注释.
文化对话ID在一个国家内地理上更深入。 其内容包括印度尼西亚文化,以及10个省的文化,包括亚齐、西苏门答腊、西爪哇、中爪哇、东爪哇、巴厘、努沙登加拉、帖木儿、南加里曼丹、南苏拉威西和西巴布亚,包括印度尼西亚语和10种地方语言,涉及13个文化主题。 设计点值得摘录:团队将"印度尼西亚文化"视为颗粒性不足,省内建设,与适用于印尼的逻辑相同. 地方层面的语言覆盖范围.
哪种定位方法最有利于面向任务的对话?
最强的方法将位点定位与短语本地化区分开来,使用两个不同的人群顺序,而不是一个翻译同时同时进行两种.
在第一阶段,讲母语的人翻译和本地化的槽值——餐厅名称,菜名,货币,地址,时间,荣誉等,在第二阶段,不同的人类主体组翻译或本地化整个短语,使用第一阶段的槽输出. 将这两步分开,可以防止一个翻译因为读作适当的名词而保留英语插槽值的常见失败,留下一个泰语对话,从一个叫The Golden Lion的地方订购凯撒沙拉. 另一种办法是,用受控制的自动程序,用目标语言对应方取代英语的插槽值,但比起与讲目标语言的当地社区保持密切联系的较慢、更人为的处理办法,结果更为缓慢。
自然主义自发演说如何收集到不同文化之间?
自然主义自发演讲最好用公开的提示而不是脚本来收集,在会话前配对质量筛选,会后自动检查.
2026年休姆-戴孔教义包含945场,共743.4小时,跨越德语,英语,西班牙语,荷兰语和波兰语,通过双渠道对话平台收集,连接来自类似地理区域的对参与者. 与会者在参与前完成音频质量筛选,确保麦克风清晰度的最低标准,而不是在后处理中发现问题,他们回应了用母语简短的提示——给出的例子是"你的周末怎么样?"——它产生自发的演讲而不是脚本读本. 然后使用语言模型自动检查答复,以核实它与迅速和语言流利的自动跟踪-人前审查模式有关,这种模式在全过程中都反复出现。 如何为低资源语言收集语音数据. 分块按语言分层,测试集保持盲-每个语言分层是跨多语种数据工作的反复出现的学科.
文化培训是否接受合成对话数据?
合成对话如果是在经过人验证的文化框架内产生的,是可以接受的,如果不是,则是不可靠的。
合成对话框数据 标准作者对此提出明确的论点:在这一领域大规模收集现实数据具有挑战性,而且可能具有成本禁令,特别是为了查明多种文化背景中遵守规范的情况和违反规范的情况。 他们报告说,他们的合成双语对话可与人类互动评价和自动计量法下现有的自然生成数据集相比,或超过其质量。 重要的限定词是人类坐在哪里:NormDial的管道在每一个阶段都有人类验证,规范本身在产生任何对话之前就由当地人根据实际经验加以验证——在人类授权的文化框架内进行合成。 由激励模式来产生合成对话,“写两个印尼朋友的对话”,而其下没有这样的框架,是模式对印尼对话的刻板印象,它向任何印尼人这样解读.
怎么样 Lifewood 采用跨文化对话数据收集方法?
Lifewood 收集跨区域的对话和对话数据 50+ 语言通过各送货中心 30+ 包括东南亚一些国家在内的市场,这些数据集涵盖,并将情景库——而不是对话计算在内——视为可交付数据。
如果这些假设在文化上准确,对话量就会从中清晰地缩小,正如SEADALAD对话所显示的,从300个假设和210个人中产生32,000个对话。 如果假设是输入和翻译的,那么没有多少对话量可以纠正它,这就是为什么问供应商的问题是假设是如何产生的,而不是它们将提供多少对话。 文化颗粒性还需要像方言颗粒性那样明确决定: 文化对话ID在印度尼西亚境内省内建立,因为国家一级的文化没有得到充分解决,这一决定属于范围文件,而不是默认解决,这与与大学和地方社区合作获取语言数据所涉及的社区伙伴关系问题很像。 完全在雅加达收集的名为“印度尼西亚人”的数据集是雅加达数据集,交付统计中没有任何内容会这样说——同样的理由也说明 多种语文数据收集服务应包括什么 财务报告和已审计财务报表 Lifewood的,因为 多种语文数据收集 以及征聘做法,例如, 征聘本地语言数据撰稿人.
跨文化对话数据的范围界定清单应包括哪些内容?
范围界定清单应具体说明设想方案是如何产生和验证的,文化颗粒度如何,由谁提出,以及合成内容如何处理。
- 具体指明各种设想,而不仅仅是语言——它们来自何处,以及谁证实它们在这种文化中是可信的。
- 明确决定国家、省或社区一级的文化颗粒性,并阐明理由。
- 招聘来学习活的经验,因为有效的核查标准是,根据注释者自己的生活,规范是否正确,而不是参考.
- 将位点值与短语分开,分两个阶段,与不同的人进行.
- 明确说明申请涉及社会适当性,包括遵守、反应和标签理由的规范。
- 使用提示而不是脚本进行自发的收集,会话前有音频放映,会后自动检查关联性.
- 按语言,包括评价分裂来限制一切,并精确地描述合成内容——人验证规范打基础模型生成的对话是一种方法;未经验证的生成是一种定型观念,这种区分同样适用于收集语言混合的语音和文本以及收集重音或非本地语音.