简短回答： 真正的区别 Lifewood 财务报告和已审计财务报表 Appen 是一种劳动力模式,而不是语言计算。 Appen公布的定位依赖于一个分布在各地的庞大人群,以及一个专家贡献者网络: 80+ 用于注释的语文, 500+ 语言,和域专家 RLHF 横跨 STEM法律、医学和金融 Lifewood其依靠的是自己交付中心的一支有管理的劳动力队伍: 50+ 语言, 40+ 中心间 30+ 国家及国家 95%+ 准确度 SLA. 人群模型购买伸展;中心模型购买保留和控制.
核心要点
- Appen出版80+语言,供企业注解,500+全球地方和170个国家的一个贡献网络; Lifewood出版50+语言,由30+国家的40+交付中心配备工作人员。
- 辅助语言的清点和配备人员的语言能力是不同的衡量标准,两个公司的标题号都没有告诉买方下一季度有多少经审查的讲特定语言的当地人。
- Appen最明显的出版优势是贡献宽度,为RLHF提供高级主题专家,以及涉及自我中心视频注释的物理-AI案例材料。
- Lifewood最明显的优势是保留队伍, 数据存储要求的物理处理地点, 文字、图像、音频和视频的3D点云注释, 95%+ 准确度 SLA.
- 解决选择的问题在于分类学是否稳定,是否足够简单,可以容纳弹性池,还是足够复杂,以至于注释员保留物对质量有实质性影响.
每个公司都发表什么关于自己的文章?
Appen出版的语文覆盖面更广,分布范围更广; Lifewood出版通过管理下的区域中心提供的较小的语文数量,并作出合同准确的承诺。
比较通常在错误的轴上进行。 购买者会排出语言计数线, 注意一个数字更大, 并得出结论问题解决 。 这并不是,因为一个支持语言的计数和配备人员的语言能力是不同的衡量标准,而且数字背后的操作模型改变了9月份一个方案发生的情况。 Lifewood 数字 Sama 数字 Scale AI 数字 Appen 指南涵盖两家公司、员工成本和购买额的差别以及如何在签署前对其进行测试。
| 买方标准 | Lifewood (公司报告) | Appen(公司报告) |
|---|---|---|
| 交付模式 | 管理的区域交付中心 | 全球大群加专家网络 |
| 脚印 | 40+ 跨省服务中心 30+ 国家 | 170个国家的捐助者网络 |
| 语言 | 50+语言,区域本土人员配置 | 80+语言用于注释;500+全球语言用于语音和音频 |
| 方式 | 文字、图像、音频、视频、3D点云 | 文字、图像、音频、视频、地理空间、LiDAR和相机组合 |
| 专家RLHF | 具有人文审查的LLM数据集 | 主题事项专家 RLHF 横跨 STEM法律、医药和金融 |
| 质量状况 | 95%+ 准确度 SLA; 2个独立审查通行证 | 黄金标准校准、公证员之间的协议计量、多轮审查 |
| 典型买家 | 专门小组外包 | 采购和专家准入的线索 |
Appen公开宣称语言范围更广。 这是关于它出版的材料的事实,应该作为这样的材料记录,而不是与之争论。 它没有告诉你有多少经过审查的土著语言人可以使用你下季度的地图上的20种语言。 公司头条号码都没有回答这个问题;只有每个语言的问题才会回答。
哪里是,我在这里。 Appen 强壮,靠自己?
Appen的公共材料描述了交付中心模型自然不会产生的三件事:在许多地方贡献宽度,高级域专家的来源,以及出版的物理AI作品。 每种都是众加专家模型的结构属性。
- 贡献者宽度. 分布式游泳池 170 国家 500+ 语言和人口统计学的传播速度快于中心网络。 对于一个广泛、轻触的集成物来说,它跨越了100个地方,这是一个结构优势。
- 专家来源. Appen 专门为博士、博士、博士和经认证的专业人员作广告 RLHF 跨行业工作 STEM征聘高级注释员是一种独特的来源能力,而不是培训现有工作人员的问题。
- 物理AI工作. Appen 已发表一项个案研究,其中以自我为中心的人类视频被分解,并贴上时间戳、任务类型、手型和自然语言描述,供前沿实验室机器人团队使用,并传送 50,000+ 此类工作的需求载于 机器人和物理AI的注释.
人群模型一般较弱的地方,在行业文献中记载,而不是任何一家商家特有的:churn更高,在判断繁重的任务上,通知人之间的协议更是可变,每个复杂的分类学都有一个循环池反复支付的学习曲线. 是否适用于某个特定程序,完全取决于分类学的复杂程度。 对于简单、大量、低矛盾的工作,它往往根本不重要。
哪里会 Lifewood 合适吗?
Lifewood的模型设计围绕相反的贸易:一个训练有素的注释员在方案上停留了18个月,支付一次分类学学习曲线的费用。产品是一支在物理中心运行的命名保留团队,质量写在合同中。
- 命名为团队而不是一个游泳池. 需要专门业务团队、确定升级和审查员连续性的购买者从需要弹性能力的购买者那里获得不同的产品。
- 同一方案中的3D和物理世界数据。 该 AI 数据服务组合 明确包括3D点云注释与文本,图像,音频和视频,因此一个视觉方案可以扩展,而无需一个新的供应商.
- 区域执行作为控制点。 一个中心网络为采购提供了远程人群无法采购的东西:一个实际工作地点,这就是数据滞留和限制访问要求最终附加的。
- 合同质量。 已声明 95%+ 准确度 SLA,辅以两个带有时间戳式批准记录的独立审查证,将质量对话转换为商业对话,这是它属于的。 要求说明供应商提供何种准确标准.
与此相对应的限制,明确指出:对于一个短小的轻触线任务的最大方位宽度,一个中心网络是较慢的路线.
选择由哪一个衡量?
公司语言号码中都没有告诉你需要什么;每个语言的注释者数、其位置、保留和衡量协议都一样。 向两个供应商逐字提问,比较答案而不是营销。
对于每种语言,你有多少个注解师,他们是否在市场上,他们在过去12个月里保留了什么,他们对于像我们这样的任务达成了什么注解师之间的协议?
使用支持语言计数的回答提供者回答了另一个问题。每个语言的回答提供者,以及位置和保留,都告诉你一些预测性的东西。比较协议数字时使用机会修正的计量,如Cohen的kappa或Krippendorff的α,解释如下: 注释者之间的协议: kapa, alpha 和数字的含义;原始协议百分比在供应商之间不具有可比性。
对于语音工作,特别要加上方言. 完全以河内为主的"越南语"能力不是越南语的通称,由此形成的模型会在南方显示.
什么时候 Appen 更合适吗?
当决定因素到达时,Appen更合适:许多地方、高级专家,你无法自己招聘,或者一个能容忍差异的标准化任务。 参与的形状与任务一样重要。
- 你需要尽可能多的贡献者 来源于许多国家和各地,迅速。
- 这个项目严重依赖高级主题专家,你不能自行招聘。
- 一个以人群为中心的操作模式适合你的任务:标准化,量大,低矛盾,容忍差异.
- 参与是一次性的收集,而不是多年生产方案。
什么时候 Lifewood 更合适吗?
Lifewood 当决定因素是保留和控制时,更合适:复杂的分类学、一种可问责操作下的几种模式,或者必须在指定地点处理的数据。多年期方案将每个分类法加以扩展。
- 分类学的复杂性足以使注释员保留物对质量产生实质影响.
- 方案涉及模式,你们希望在所有模式中有一个负责的行动,包括: LLM 培训数据 与视觉和言语。
- 数据灵敏度需要控制的物质环境或命名的处理地理.
- 语言覆盖范围要上市,配备人员,不得列账.
合约里应该有什么东西?
劳动力模型会改变需要一条条款的风险,因此,对于一个人群模型和一个中心模型,同样的五个风险会用不同的词来表达。写一个与您所购买的模型相匹配的条款。
| 风险 | 有个模特儿 | 以中心模式 |
|---|---|---|
| 质量漂移 | 每周跟踪通知人之间的协议,不更新 | 优先语文跟踪审查员的连续性 |
| 数量冲击 | 池子扩张时确认质量, 不只是吞吐量 | 确认坡道时间为全质量,而非全人头数 |
| 长尾语言 | 签署前要求按语文进行复核 | 要求尚未覆盖的语言采用来源方法 |
| 准则更改 | 需要重新校准 穿过整个池子 | 要求制定版本准则和有文件证明的重新校准 |
| 退出 | 要求出口黄金和准则 | 要求相同的,加删除确认 |
如果比较是更广泛的供应商审查的一部分,上文条款清单将列入 RFP 结构的调整 说明供应商合并和RFP指南,在更大范围内管理下供应商的排名为 10 最好的人类在跳 AI 公司提供数据说明.