把数据发给标注供应商之前，我该如何准备？

业内各家采购方指南反复得出同一个诊断。 iMerit 的采购方指南 把质量指标写得含糊、以及不提供样本数据，列为日后让你付出代价的 RFP 错误，因为没有样本，供应商无法准确估计复杂度与成本。 CloudPano 的评估指南 把依赖供应商的演示数据、而不是用你自己真实数据集做测试，称为最常见的评估错误。两者的共同模式是：项目的定价、配人与范围界定，所依据的数据比最终到来的数据更干净、更简单、更统一。

然后生产数据来了。它有三种日期格式。10% 的音频是电话音质，而不是录音棚音质。那份「英语」数据集有三分之一是语码转换的。规范假定会填写的字段，有一半是空的。这些都不稀奇，但每一项在启动之后才发现，都要付出一次重新谈判、一次规范重写或一场质量争议的代价。而在启动之前发现，每一项只花一句话写进简报。准备工作，就是把这些发现挪到合同便宜的那一侧。

任务定义是一页纸的说明：模型将用这些标签做什么、标注者看到什么、产出什么，以及两三个错误答案的示例。 目的很重要：知道一个边界框是给安全系统用的标注者，画出来的框和给照片标签功能用的不一样。

• 一份有代表性的样本。 足以用来定价和试点即可，多数任务通常是 300 到 1,000 条。
• 格式与数据结构文档。 文件类型、编码、字段含义，以及每条样本一个稳定的唯一标识符，好让标注结果能够无需猜测地回接到你的系统。如果你的数据需要重构才能被标注，请明确提出来；这与语料清洗和去重的工作相邻。
• 书面形式的隐私立场。 这份数据集包含哪些个人数据、你已经清除了什么、还剩下什么以及依据是什么，再加上任何驻留或处理限制。这件事无法外包。
• 一份规范草案。 不是一份打磨完成的文件——交接时的「终稿」规范是个危险信号——而是一份带有实例与反例的真正初稿。
• 一个提问渠道和一位决策人。 这是清单上杠杆率最高的一项。标注每天都会暴露歧义，而一位能在一个工作日内回答边缘案例问题的指定人员，能让试点持续推进。Sigma.ai 的供应商甄选指引从镜像的角度提出了同一点：好的供应商会在试点期间提出聪明的问题，而一个一个问题都不提的供应商是危险信号。一个无法回答问题的采购方，则是其中代价最高的一种。

有代表性的样本，是指能够再现整条生产管线变化范围的数据子集，其中不仅包含典型样本，也包含困难样本。 人的直觉是把自己最好的数据发出去。那样的样本会为一个并不存在的项目产出准确的报价和成功的试点。真正能保护你的样本，是在生产环境中所有会变化的维度上分层抽取的：

• 时间。 要跨多个时间段抽取，而不是只取上周。格式、产品与用户行为都会漂移。
• 来源。 每一个为真实管线供料的渠道、设备类型、地区或业务单元，并大致按其比例。
• 难度。 刻意纳入困难长尾：模糊的图像、重叠的说话人、含混的工单、稀有类别。如果生产数据中有 5% 是困难样本，就让它在样本中占到 15 到 20%，这样供应商才会据此定价和排期。系统性地找出这条长尾本身是一门功夫，下文有专门讨论： 长尾与边缘案例挖掘.
• 语言与语区。 做多语种工作时，要按语区抽样，而不是按语言。一份只取自西班牙的「西班牙语」样本，会让一个 60% 来自拉美的数据集报价失真。关于多语种的范围界定，参见 管理多语种数据收集.

有代表性的样本会让报价更高、试点更慢，而这两点都是真的——这恰恰是重点所在。

还有一个值得向最强的采购方学习的习惯：在发送任何东西之前，先在内部自己标注 30 到 50 条样本。没有什么比你自己团队对答案产生分歧，更能迅速暴露一个含糊的任务定义。它同时也给了你一个金标准集的雏形， 金标准集是一组带有已知正确标签的样本，后续的质量衡量就以它为基准打分，如下文所述： 金标准集、审核抽样与共识.

• 决定哪些个人数据会被传出去。 姓名、面孔、声音、账号，以及用户可以随意输入内容的自由文本字段。对大量标注工作而言，在交接前做假名化或脱敏既更安全也更省事，因为标注者很少需要真实客户姓名才能标注意图。如果任务确实需要个人数据，例如说话人验证或与人脸相关的工作，那么同意书与目的说明必须覆盖第三方进行的标注，而处理限制应当写进合同，而不是写在邮件里。
• 让数据的敏感程度与供应商的交付模式相匹配。 开放众包平台与受控交付中心是两种不同的安全方案，下文对此有拆解： 敏感数据的安全标注：受控中心与众包工作。准备阶段正是你决定自己的数据需要哪一种的时候，连同任何数据驻留规则。
• 把你能低成本完成的机械清洗做掉。 去除完全重复的副本、删掉损坏与零字节文件、统一编码，并确认每一个样本都能正常打开。这些都不需要标注供应商来做，否则全部会按标注费率计费返还给你，而重复样本还会悄悄扭曲你的报价和最终的质量统计。
• 需要判断的清洗工作先别动。 不要凭眼睛预先筛掉「让人困惑」的样本。这些困惑样本正是关于你的数据、你的规范和你的任务的信息，把它们移除只会产出上文所说的那种图省事的样本。

标注规范是书面的技术说明，它告诉标注者如何应用每个标签，包括定义、实例以及处理歧义情况的规则。 在任何标注者接触数据之前就全部写完的规范只是一个假设。它一定会在某些地方出错，而这些地方只有接触真实样本才会显露出来，这也正是为什么 写出标注者真正会遵循的标注规范 把初稿当作初稿本身来对待，即一个有待在试点中被修订的假设。带着一份封存的「终稿」到场，意味着试点反馈无处可去。

交接时草案必须包含的内容：

• 带定义的标签集，以及容易混淆的标签之间的明确边界，因为分歧正是出现在边界上。
• 实例与反例，每个标签至少三条，取自你的真实样本，并附一句说明理由。实例比论述更管用，所以把实例放在前面。
• 一条歧义规则：标注者在真正拿不准时该怎么做（打标记、使用「不确定」标签，或向上升级），好让不确定性变成数据，而不是无声的猜测。
• 用数字表示的质量门槛：你将据以衡量这项工作的准确率标准，其定义要细到可以审核。没有分母也没有方法的「99% 准确率」不是标准，下文对此有论述： 需要从注释供应商那里获得什么准确性标准。写明指标、抽样方法与裁定流程。

草案不应试图凭想象预先回答每一种边缘情况。要留出余地，并把一到两轮规范修订排进试点预算。值得合作的供应商正是期待这样的节奏。

入场流程包括：一页纸的任务定义、一份共同审阅的分层样本、一次格式与标识符检查、一次对照客户约束条件的隐私与驻留审查，以及一次在规范草案下运行的试点，其中金标准样本取自客户自己在内部标注过的实例。试点产出的问题日志会成为第一次修订，之后才会确定批量定价。Lifewood 在 30+ 个国家运营 40+ 个交付中心、覆盖 100+ 种语言，并通过其 AI 数据服务，而且同一套入场流程要按语种各做一遍，因为能代表一个市场的样本很少能代表所有市场。

这不是我们一家的癖好，它与上文引用的采购方指引一致。iMerit 建议采购方提供样本数据，好让各家提案可比；CloudPano 把用你真实数据做试点列为唯一不可跳过的评估步骤；Sigma.ai 则把供应商在试点期间提出的问题视为质量信号。无论你选择哪家服务商，一家没见过有代表性样本就给出确定单价的供应商，是在为某人的数据定价，只不过未必是你的。关于服务商比较，参见这份排名： 用于数据标注的最佳人机协同 AI 公司.

• 第 1 周：界定与抽样。 写出一页纸的任务定义。按时间、来源、难度与语区分层抽取样本。在内部标注 30 到 50 条样本，并记录每一次分歧。
• 第 1 周：做机械清洗。 去重、剔除损坏文件、统一编码、附上稳定 ID。不要手工筛掉困难样本。
• 第 2 周：确定隐私立场。 把标注不需要的部分清除或假名化，为保留下来的部分写明依据，并把驻留与处理限制写下来。
• 第 2 周：起草规范。 标签、边界、取自你自己样本的实例、一条歧义规则，以及一个可衡量的质量门槛。
• 发送之前：先把渠道定下来。 指定那位负责回答标注者提问的人，并承诺一个响应时限。
• 交接时：把分歧也一并交出去。 你自己团队争论过的那些样本，是整个数据包中最有价值的。把它们标记出来发过去，不要藏起来。