简短回答： 开办一个中心就是采购;使中心准确无误是工作,需要数周至数月的时间,分四个阶段——征聘、资格测试、校准轮数,然后是监督生产坡道。 CV征聘人员所管理的人员比目标人数大得多(通常为: 150–200 候选人 60 并让资格测试进行选择。测试设定在生产准确度目标之上;通过率高于 70% 说明测试太简单了,下面 25% 也就是说问题在于征聘或规格的上游。
核心要点
- 开办一个中心是一项采购活动;使其达到生产质量是按几周至几个月衡量的真正工作。
- 招聘的候选人人数大大超过目标人数,通常为150至200名候选人,占60个生产席位,由资格测试进行甄选。
- 资格门槛设定在生产精度目标之上,因为监督的测试性能超过生产速度性能.
- 早期校准分歧通常是一个准则问题,而不是注释问题;再培训不会固定一个模棱两可的教学.
- 流程知识在各中心之间旅行,但必须在每个地方建立当地征聘网络、语言多样性专门知识和文化知识。
开一个新的注解中心需要什么?
开通一个交货中心是采购活动:签署租约、安装工作站、运行网络电缆。 使同一中心达到合同准确性是另一个更长的问题,也是决定扩建是否值得的问题。
满室的有能力的人还没有被校准到客户的规格,产生看起来合理,失败的QA的工作. "中心开通"与"中心以合同精度交付"的间隔持续数周至数月,分4个阶段:招聘,资格测试,校准弹,以及一个监督生产坡道.
Lifewood 位于菲律宾的宿务中心, 已耗尽了整个网络的运行时间。 I2 宿务市亚洲城的建筑 IT 孟加拉国的枢纽和专注的Voice网站 AI 数据中心后来来,马来西亚之后作为业务中心,在塞尔维亚、日本、马来西亚等地扩展服务。 UK北爱尔兰和澳大利亚a US 网站, AV 整个马来西亚和印度尼西亚的扩展,以及最近非洲中心上线。 通过这一扩展,人群资源网络从超过20个增长。 20,000 输入 2021 改为: 56,000+ 登记缴款人 今时.
为何招募不只是一次人数统计活动?
被征聘到固定数字会产生自然减员和重做,因为注解能力是一种真正的技能,在CV上不可靠地显示。 资格测试——根据已知的正确答案进行结构化评估,决定谁是生产注解员——是真正选择的,因此征聘需要为它提供足够宽的人才库。
持续关注细微细节,以模糊的安慰,愿意标出不确定性而不是猜测,遵循一个精确的规格而不是应用个人判断的纪律预言一个好的注释者,这些特征在纸上都看不出来. 比雇用人数更好的是征聘人数大大超过目标人数的候选人,并让资格从中挑选。 对于60名生产注释员的目标,150至200名考生进入资格考试是一个合理的起点,尽管这一比率因任务复杂程度和当地劳动力市场而异,但这个问题在以下几个方面更为深入: 如何征聘、培训和认证专家领域的公证员.
在多语种中心,制约因素从一般的注解能力转变为经核实的目标语言和种类流利。 为Cebuano、Wolof或Fon招聘人员意味着进入当地网络、大学和社区组织,而不是张贴通用招聘广告,并且筛选方案所需的具体区域种类,而不是标准国家语言。 这是实际存在之所以重要的一大部分:一个专业人才库规模较小的语言的征聘过程不能从另一个大陆远程运行。 需要有人知道哪个大学系教授相关的语言学,哪个社区组织能接触到正确的讲者,以及当地的就业平台,人们实际使用哪些语言。
资格测试时会怎样?
资格测试是指从实际任务中抽取的一组项目,有已知的正确答案,涵盖注释者将遇到的全部困难,并且故意比生产工作本身更困难.
它应综合四种项目:可确定基线理解的直截了当项目;接近标签界限的边缘案件,这是歧视性项目,因为处理容易的项目和边界案件不善的候选人有规律的比拟,而不是理解规格; 故意模糊的、正确答案是标出不确定性的项目,因为自信地标出这些产品在生产中无声错误;以及需要具体知识的项目,无论是区域语言种类、域词库,还是LiDAR方案的传感器物理学。
考试通过门槛设定在总室高于方案准确度要求,因为受监督的测试中考生在准确度底部的成绩通常低于其生产速度。 考试通过率本身就很丰富:超过70%的考试通常意味着考试太容易,而且没有歧视,低于25%的考试通常意味着招聘过滤器是错误的,或者甚至对有能力的候选人来说规格也不明确。考试向您讲述了指南,就像向您讲述了候选人一样。
校准弹如何进行?
校准 是一个结构化的周期,一个组群对同一批项目进行注释,对协议进行衡量,对分歧作为一个组进行讨论,并在周期重复之前澄清准则——这是在时间表压力下最经常压缩的阶段,实际成本。
经验丰富的注解管理者所依赖的洞察力是,早期校准中的分歧通常是一个准则问题,而不是注释问题:如果二十位注解者中有八位读了一个类别边界,十二位读一个类别边界,则该指示是模糊不清的,重新训练八位不会解决. 第1轮谈判通常产生低水平的协议,常常 标注员间一致性 ——独立注释者为复杂任务在0.4到0.6的幅度中,给通常被测量为科恩的kappa或Krippendorff的α的同一标签分配的程度,而这个数字是规格模糊的列表,而不是质量分数. See. 注释者之间的协议:科恩的卡帕,克里彭多夫的α和数字的含义 如何解释这些数字。
分歧审查是阶段的实质:协议门槛以下的每一个项目都由一个高级注释员或客户的规格所有人在场审查,决定有文件记载,准则有实例更新。 2 新的批次应该显示出有意义的改进; 如果没有,则审查需要更深入。 3至5轮是比较复杂的任务的典型,而且轮次会持续到超过方案门槛的商定稳定。黄金项目从校准开始播种,因此每个通知人的准确性跟踪—— 与上文描述的机制相同。 黄金套、审计抽样和共识:三种方法 QA 附加说明的数据 ——从生产开始,准确度一直低于组别的注释员及早获得定向辅导。
生产如何安全地增加?
中心从校准逐渐向全体量移动,而不是一次,因为体积随着精度的稳定性而不是固定的日历而增加.
生产第一周的产量随着产量的提高而减少 QA: 采样率 25 改为: 30% 是一个新群体中典型的,远高于 10 改为: 15% 一个有记录的 权威的 注释员 将会看到,每个 注释员的输出 都可见于 QA 移动线索在早期的几周里每天进行校准检查,对前一天的复工旗和任何新的边缘案例进行简短审查,从而发现一个复杂的问题 24 而不是两周 QA 然后,随着单个记录的建立,取样者将逐步减少,而不是减少,一个强大的执行者将进入较低的取样率,而一个困难的人则将处于高评价,直到准确性稳定。
到底要花多长时间?
客户往往要求一个数字,因此诚实的幅度比营销范围更有用。 对于一种成熟的既定语言中熟悉的任务类型,从开放到生产质量的四到六周是可以实现的,在一周内获得资格,在两周和三周内校准,从第四周开始有监督的斜坡; 新的任务类型或复杂的规格更现实地是六至十周,额外时间几乎完全进入校准回合,因为新的规格更模糊,每轮澄清需要一个周期才能验证。
对于没有先行法或准则的新语言方案,在开始任何方案之前几周增加文字,因为必须确定正字形的习惯,资格测试本身必须用目标语言进行,而不是翻译成目标语言。 最可靠地延长时间的变量是准则成熟度,而不是注释能力:一个有一般注释员和精确、经充分验证的规格稳定的中心比一个有出色的注释员从模棱两可的注释员工作的中心更快。 这就是为什么在时间表压缩时,校准是值得保护的阶段——缩短征聘一周的费用,使一些候选人的质量降低,但缩短一周的校准费用,使重新工作的月份得到权衡。 如何将AI数据从飞行员到生产的规模化.
中心之间有什么往来,什么不往来?
阶段结构、资格测试设计、校准周期、 QA 取样规则和金器组施工方法在中心之间旅行;地方征聘网络、语言种类专门知识和文化知识没有,必须在每一地点重建。
运行此游戏本 跨网络 40+ 跨省服务中心 30+ 国家 产生新址继承而不是从零开始重建的体制知识——如何 单本游戏运行于全球数据操作 宿务中心十年来积累的流程知识直接转移到一个新网站,但其知识对于演说方案来说却很重要,它不会转移到西非的Wolof或Fon方案。这正是扩张变成地方而不是仅仅是能力的原因:可转让部分是游戏本,不可转让部分是完全存在的理由。 Lifewood自己对大额注解提供者的比较, AI 大型数据注释和标签公司,及其概览 AI 数据服务,将这个中心开放过程设定在更广泛的注释市场的背景下.