简短回答： 规模上的内容节制是一个分级系统,而不是排队。自动化分类人员处理明显的多数,经过训练的人处理分类人员无法自信解决的问题,而专家处理最难和最敏感的案件。 每一门槛值的位置(精确与回顾的业务决定,而不是技术性决定),如何解决政策模糊性并反馈,如何保持每个语言和市场的覆盖面,上诉如何运作,以及审查者的福祉如何得到保护——这是质量稳定的主要决定因素,因为适度的质量轨道审查者保留得比较密切。
每个平台都达到了一个程度,即温和不再是一项任务,而成为一个行动:数量超出人文阅读,必须持续由数百人运用数十种语言的政策,监管关注,消除过多和去少之间的长期紧张关系。 本指南涵盖如何设计、衡量和配备人手的温和管道,以及管理管道的伙伴需要什么。
核心要点
- 内容节制是一个四层管道:自动过滤,人文通论审查,专家审查,以及将新案件变成先例的政策层次.
- 自动化门槛是精确与召回的权衡,应由企业主按政策类别确定,而不是作为未申报的违约而留置。
- 主持人的分歧几乎总是一个模棱两可的政策的迹象,而不是糟糕的主持人,并且用科恩的卡帕(kappa)来衡量每个类别.
- 审校减员是质量下降的主要指标,因为离职审校要与他们一起作出累积的政策判断。
- 吸引力和翻转率是现有质量信号中最强的,翻转只有在更新导致错误决定的准则时才有用.
分层内容节制系统如何运作?
一个分层系统将每个内容都引导到最便宜的层次,可以正确决定,升级任何低层无法以自信解决的东西.
| 级别 | 处理 | 决定: | 目标 |
|---|---|---|---|
| 0——自动化 | 信心十足的病例 已知的烂摊子 明显的垃圾邮件 | 分类符和匹配符 | 大部分数量 |
| 1——人文审查. | 所有低于信心门槛的东西 | 训练有素的通才主持人 | 以速度一致的政策应用 |
| 2——专家评审. | 法律、安全关键、高知名度、文化复杂 | 高级或专家审查员 | 正确度超过吞吐量 |
| 3——政策 | 无先例的小案件 | 政策所有人 | 成为准则的先例 |
两个属性使这个系统成为系统,而不是升级梯子。 3 裁决必须回到准则上——一个新案件得到解决,而未写下来,下星期将由其他人以不同方式解决。 0 门槛值必须具有可捕性,因为正确的门槛值随着威胁环境、季节和市场的变化而变化。
由谁确定自动化阈值?
门槛是政策、信任和安全所有人作出的商业决定,而不是留给工程队的技术设置。
精度 标记内容中实际上属于侵权的部分; 记得 自动阈值编码了它们之间的权衡,技术小组不应单独作出权衡:高度精确意味着错失清除次数减少,有害内容减少,而高召回意味着有害内容减少,错误清除次数增加。 没有一种选择两者的设置,正确的点因政策类别而异:
- 儿童安全、可信的暴力 ——召回加权,行动得到人类的肯定.
- 垃圾邮件,低伤害的烦恼 ——精准加权;超量搬运是用户经验成本,伤害有限.
- 仇恨和骚扰 ——高度依赖环境,这就是为什么这一类人最需要人性审查的原因.
- 错误信息 高度依赖上下文和管辖权;往往属于最大的一级。2 司机。 。 。
设置这些分类, 写下推理, 并重温它们的时间表。 未声明的阈值是默认作出的政策决定 。
为什么主持人在相同内容上意见不一?.
主持人的分歧几乎总是政策上的失败,而不是主持人的失败——不管审查员受过多少良好培训,含糊不清的规则都会产生不一致的决定。
标注员间一致性, 通常用 Cohen 的 kappa 来衡量, 是由机会调整后的比例, 独立审查员作出同样的决定。 衡量标准是政策类别,而不是总体: 协议程度低的类别定义模糊, 培训数量少, 无法就一条模棱两可的规则达成一致。
- 裁决规则有实际的例子,包括两边的几乎遗漏的例子——边界案例比清楚的案例教得更多。
- 无法确定性的书面升级路径。 没有一条, 主持人猜, 猜, 和数据中的决定看起来完全相同 。
- 政策版本。 质量只能根据特定版本来衡量,政策变化则重新确定基线。 这是其中一个原因。 标注员间一致性 需要自己的衡量纪律 任何注释任务, 不只是节制。
- 由主持人在目前可以搜索的先例库,而不是一次分发的文件.
语言和文化的覆盖对于节制来说何以重要?
内容是威胁、侮辱还是笑话取决于语言、区域、社区和当前背景,因此,温和是文化上最有特色的注释工作之一。
所需经费:
- 每种语言的市场内本地语使用者,人数数可以核实,而不是一个支持的语言数。
- 一种语言对品种的覆盖,包括区域语和出现和迅速变化的编码术语。
- 本地背景简介,因为有害的内容经常提到本地政治,事件或数字,而市场以外的审查者不会认为这些是重要的.
- 绝不为温和的决定而翻译——翻译完全从登记册中划出决定的内涵。
实际后果:覆盖面差距首先出现在较小语言的市场,它们似乎沉默不语——低行动率,看起来像是健康社区,实际上没有读到内容。 多种语文数据收集 企业规模在温和度之外 遇到同样的覆盖问题 固定不变: 核实的母语人头数,而不是幻灯片上的语言数。
为何审查者的福祉影响节制质量?
审校福利是一种质量控制,而不是一个与行动相邻的软话题,因为持续接触令人困扰的材料会影响人们,自然减员会破坏质量.
管理不了接触的方案都经历大量减员,每次离开都要经过累积的政策判断,重新开始学习曲线。
- 接触限制和旋转远离最严的队列.
- 模糊、灰度和预览控制,审查人员控制材料的呈现方式。
- 真正获得心理支持,资源充足且不带偏见。
- 现实的吞吐量目标——对模棱两可的案件强行加快速度的目标,既导致更糟糕的决定,又导致更快的耗尽。
- 职业道路走出最困难的排队,所以经验丰富的判断保留在操作内部,而不是从中迷失.
直接问任何未来合伙人, 并询问减员数字。 问题不满意的供应商正在告诉你答案。
如何衡量节制行动?
适度操作应以6个衡量标准衡量,按政策类别和语言进行报告,因为汇总掩盖了失败之处。
| 指标 | 告诉你什么 |
|---|---|
| 按类别分列的精确性和召回性 | 阈值是否为您想要的 |
| 评审员间协议(kappa) | 政策是否明确 |
| 上诉率和翻案率 | 是否在审查后作出决定——现有最强的质量信号 |
| 按严重程度分列的采取行动的时间 | 等级是否在负载下工作 |
| 覆盖范围: 队列深度按语言分列 | 内容未审查之处 |
| 审校减员 | 下一季度质量下降的主要指标 |
上诉的推翻率意味着最初的裁决是错误的;上诉量大,但几乎零的推翻率通常意味着上诉没有受到独立的审查。两者都是可以起诉的,而且都没有出现在吞吐量报告中。
是什么使得上诉程序可信?
可信的申诉程序得到独立审查,给出具体理由,并反馈到政策准则中,而不仅仅是个别决定。
- 独立审查——不是同一个审查者,理想的是不是同一个级别.
- 用户可以采取行动的具体程度说明理由。
- 推翻是指导准则的源泉,推翻改变一个决定,而其他一切却都未教系统。
- 及时性,对于时间敏感的内容来说,时间性是大部分的价值.
上诉程序是若干管理制度的一项要求,也是质量工具,无论条例是否要求。
内容温和的合作伙伴应该要求什么?
一个温和的伙伴应能够应要求提供经核实的人口统计、协议数字、翻转率和福利数据,而不仅仅是一个吞吐量数字。
- 市场内各语言的母语人头数,有位置.
- 可比方案提供的每个政策类别的协议数字。
- 上诉和推翻率,以及推翻如何反馈到政策中。
- 详细审查福利方案,加上自然减员数字。
- 升格路径 对于不确定和新案件。
- 政策版本和先例-文献实践,类似于涵盖的学科 9 AI注释服务的选择标准.
- 快速容量——在一夜之间翻倍的危机事件期间会发生什么.
- 所审查内容的安全、居住和访问控制,与对下列内容的管制相同: 敏感数据的安全注释 更广义地说。
红旗:未经协议数字而引用的吞吐量;语文覆盖面作为辅助语文计数;没有自然减员数据;福利仅被描述为雇员援助电话号码;没有上诉程序;政策是部落知识而不是版本文件。
怎么样 Lifewood 是否采取节制措施?
Lifewood 围绕拥有的中心的管理下的劳动力队伍而不是开放的人群,为全球平台提供可扩展的 " 即时 " 内容节制,这是对节制的要求,因为政策判断是几个月来积累的,每次离开都会失去。
覆盖范围 100+ 语言 和 40+ 跨省服务中心 30+ 国家,与 56,000+ 登记缴款人,将审查者列入市场,以便做出取决于当地背景、登记和时事的决定。所有中心还使访问控制和数据居住权可以解决给一个负责的当事方,而对于不能离开管辖范围的内容来说,这个问题很重要。 两份独立审查证 附有时间戳式批准记录的,同样 AI 数据验证 纪律 Lifewood 适用于其注释工作,对照 95%+ 标注员间一致性门槛。购买者将这个模型与替代品进行比较,可以看到它是如何堆积起来的 前10名 内容调节公司 和在更广泛的审查中审查 人类的注解是怎样运作的.