简短回答： 注释引文与所发的注释不相上下,而且比较它们就是方案最终如何与最昂贵的廉价供应商进行。 QA 包括、重订规则、最低承诺、平台收费、设置、专家劳工级别、安全溢价和周转——然后比较每个接受单位的费用,而不是每个标签的收费。
核心要点
- 数据注释商每条标的,每张图像,每帧或每小时引用,所以一个电子表格,将原始价格排行,会产生错误的排名.
- 每套接受单位的成本是项目总成本除以通过商定接受标准的单位,这是包括复工的唯一价格.
- 在比较价格之前必须商定接受标准和一套经客户核准的黄金,否则每个供应商都根据自己接受的定义来衡量。
- 未经任何审核代表数据而发布的精确企业价格是红旗,因为它对对象密度,模糊度和输入质量的假设进行了定价.
- 提案缩小了范围;决定决定的是一个具有相同样本、准则、金片和交付窗口的正常化飞行员。
为什么注释供应商的报价与所发的报价不相可比?
注释销售商在同一标题下定价不同的东西,因此最低标题数字很少对应最低的总成本.
在比较前如何正常化注释引用?
在评价小组中任何人看到价格之前,请每个供应商提供同样的9项物品,并根据单一的任务定义重复每一引述。
| 引文项目 | 何必这么重要 | 采购应当要求什么 |
|---|---|---|
| 计费单位 | 每个对象、图像、帧或小时的供应商报价 | 一个共同单位,或一个明确的转换模式 |
| QA 包括? | 廉价的首发标签可能排除审查 | 精确审查员百分比和裁定程序 |
| 重修( L) | 错误可以创建第二个隐藏的发票 | 接受定义并包括重修卷 |
| 最小数量 | 低费率可能需要大量承付款 | 最低支出和未使用能力条件 |
| 平台费用 | 服务价格可能排除工具 | 许可证、储存和整合费 |
| 设置和培训 | 复杂的准则需要校准 | 一次性入职和变更申请费 |
| 专家劳工 | 专家费用大幅变动 | 按技能等级分列的费率 |
| 警卫 | 限制设施增加费用 | 任何安全或数据滞留费 |
| 转身 | 紧急比额表需要额外补偿人员 | 标准与快速的SLA,单独定价 |
在价格被评价小组看到之前这样做,如果可以的话。一旦有人看到数字低,正常化就感觉像移动门柱而不是像测量一样。同样的九个项目构成一个小区的定价部分。 说明供应商RFP.
每个接受单位的费用是多少,为什么这很重要?
每个接受单位的成本是项目总成本除以通过商定接受标准的单位,比较供应商是衡量标准,因为每个尝试的标签的价格忽略了重做。
每套接受单位的成本,是指支付给供应商的总额,包括复工,收费和设置,除以达到客户定义的接受标准的交付单位数量. 假设供应商A每尝试标签收费减少20%,并产生大量重修。 一旦被拒绝的单位、审查员的时间和模型团队延迟,表面上的节省就会消失。
Cost per accepted unit = Total project cost ÷ Units passing agreed acceptance criteria
Effective throughput = Items delivered × First-pass acceptance rate ÷ Cycle time
有两个事情必须是真的,这个衡量标准才能奏效,两者都值得坚持:
- 在比较价格之前,商定接受标准。 否则,每个供应商都根据自己对被接受的定义来衡量,这就是你试图解决的问题。 要求说明供应商提供何种准确标准 涵盖如何写出接受定义。
- 重修是用你的黄金来测量的,不是卖家的 一个卖家的内部 QA 仅由客户批准的黄金组量定你的 黄金套、审计抽样和共识 无法替换的 QA 方法。
一套黄金是被客户标注和批准的物品样本,作为衡量供应商准确性和重修工作的参考答案。 重修也按期支付,在六周内返回的一批学员推迟了训练,而这种延迟的费用通常超过标签的费用。
为什么一个供应商在引用你的数据之前就应该检查你的数据?
一份未看到数据就发布的引文对对象密度、模糊度和输入质量给出了假设,当该假设证明错误时,买方会为此支付费用。 要么是供应商回来订货,要么是供应商吸收差价和质量下降来适应价格。
TELUS Digital公司公布的关于选择数据注释公司的指南建议选择一个在它审查您的数据之前不引用价格的机构,因为价格会因服务或数据类型而有很大差异。 在企业采购中,一个隐形数据引用是一个带有小数点的猜测。
可信引用是基于代表性的样本数据、实际指南和可以检查的描述性生产假设。询问价格取决于哪些假设,如果每个假设都是错误的,价格会怎样。
你怎么评分注卖家的标注?
与建议书到来前商定的加权标准相对应的记分正常报价,且质量和接受度都最大。 下面的加权是企业买方的起点;根据风险状况调整这些报价,但在看到建议书之前商定。
| 标准 | 建议重量 | 强力的提供者会显示什么 |
|---|---|---|
| 质量和接受程度 | 30% | 测量 QA、裁决程序、书面重写政策 |
| 单位经济学 | 20% | 透明正常价格,不公开收费 |
| 规模和吞吐量 | 15% | 高峰期经证明的坡道计划和审查员能力 |
| 模式适合 | 10% | 用于您确切任务类型的工具和训练有素的团队 |
| 语文和专门知识 | 10% | 按要求命名的本地讲者或域专家 |
| 安全和治理 | 10% | 匹配您要求的控件, 以及范围说明 |
| 商业灵活性 | 5% | 合理最低限度、变更条款、退出条款 |
在评分前应用一条取消资格规则: 质量为零,接受率无论总分多少,都不符合资格。 签字后,无法通过支付更多的款项来固定这一维度。 AI 数据验证 供应商交付的批次是使质量评分成为衡量而不是索赔的一种方法。
注释中红旗是什么?
略去可计费单位、验收规则或支付重修费用的一方的引文,表明价格取决于供应商不愿说明的某事。
- 准确的企业价格的到来,没有经过任何对代表性数据的审查.
- 引文没有将什么算作一个可计费单位。
- QA 或重修被描述为"包含",没有可衡量的接受规则.
- 单位费率低取决于您没有模拟的最低承诺。
- 提供者不能将一般论者、专家和专家劳动定价分开。
- 平台、储存、整合或培训费用仅在选定后才出现。
- 供应商无法解释准则改变时定价如何改变。
- 质量问题每个问题都得到一个百分数和无分母的回答。
如何运行一个飞行员,使供应商可比?
向每个短名单供应商提供相同的试点,并根据每个接受单位的成本、每类质量和对模糊项目的行为进行评分。
给每个入围的提供者:
- 同样的代表性样本,包括你最难的边缘案例和至少一种困难的语言
- 同一准则,同版本
- 同样的验收标准和金币
- 同一个传送窗口
接下来,每个接受单位的评分成本,每级质量,真正模糊的事物的行为升级,以及登机时提问的质量。 最后的信号被低估了:一周内对你的肿瘤学提出六个精确问题的供应商是不会在6月份默默猜测的供应商。
试运行时间足够长,可以曝光代表性边缘案例,并在初始学习曲线后测量吞吐量,通常意味着几周而不是几天。 试运行时间短,完全由供应商的最佳注释员来衡量供应商的最佳注释员。在试运行后,如何取得结果,将在指南中说明。 将说明从试点到生产.
怎么样 Lifewood 价格和保证注释的质量?
Lifewood 其公开提议是确定的质量目标,附带商业后果。 Lifewood成本,即将重修工作从隐藏的第二张发票转到供应商义务。
公布的术语是: 95%+ 准确率 SLA, 双层人检视, 并自动核对一致性, 并重修低门槛批次, 以 Lifewood 的成本。 对于一个正常报价的买主来说, 这是最重要的术语。
广度论的争论涉及总成本而不是单价. 100+ 语言 减少组装和管理单独的语言供应商的需要。覆盖整个Lifewood的文本、图像、音频、视频和3D点云的工作。 AI 数据服务 减少供应商分散和同一本体学两种解释之间的调节费用。 40+ 跨省服务中心 30+ 国家 提供分配生产的选择和没有第二种供应商关系的区域加工要求的选择。
如果专业供应商的试点在这项工作上显示出更能被接受的单位经济学,那么它仍可能赢得具体的工作流程。 这是运行良好的比较的正确结果,值得设计这一过程,以便实现。