简短回答： 有效 AI 培训数据收集首先要有一个精确的模型目标和一个有文件记载的关于合法来源、代表性覆盖面、一致标签、隐私和安全、质量控制和持续监测的计划,更多的数据并不自动更好,有用的数据集与预定任务相关,可以追溯到其来源,并适合模型运行的人和条件。
核心要点
- 在收集任何培训数据之前,确定该模式必须支持的决定或行为。
- 仅收集您可以合法使用、记录、安全和向监管者或客户解释的数据。
- 设计相关的多样性而不是原始样本大小,因为一个大型数据集仍然可能不具代表性.
- 将注释指南,审校校和审计样本作为数据集本身的一部分.
- 在整个数据集生命周期中,保持数据集文档,版本历史,访问控制以及问题校正过程.
AI培训数据收集工作是什么?
AI培训数据收集是获取、准备、贴标签和记录用于开发或评价机器学习系统的信息的过程。 数据可以是文本,图像,音频,视频,传感器录音,交易记录或结构化记录,可以来自同意的参与者,第一当事方系统,许可来源,公共数据集,模拟或精心控制的合成生成.
AI 培训数据收集 是一种端到端的数据来源、标签和记录过程,以便培训或评价一个模型。 数据集卡( 数据表) 是一个结构化的文档,记录了数据集的动机、组成、收集过程和建议的用途。 数据来源 是一个可收回的记录,说明每个数据项的来源和对其做了什么。
收藏不是一次性下载,它包括决定数据代表什么、缺少什么、标签如何界定、质量如何检查、数据是否可用于所述目的。 NIST的AI风险管理框架将数据收集、清理、元数据和数据集特征视为使AI系统合法和适合目的所需的工作的一部分;见 NIST对AI演员任务的描述。将“培训数据”改为“培训数据” AI培训数据是什么,是什么使它好.
在收集数据之前,你应该做点什么决定?
在收集任何东西之前, 请写一个简短的数据要求文件来修正任务、 用户、 现实世界输入、 不可接受的错误以及必须显示的数据。 首先要防止收集容易获得的而不是系统真正需要的通常失败 。
文件应回答这些问题:
- 模式将履行什么任务,它将影响什么决定?
- 谁会使用模型,在哪些环境或市场?
- 它将得到哪些投入?
- 哪些错误是不可接受的,如何衡量成功?
- 必须说明哪些数据类别、语言、设备、照明、口音、用户组或边缘大小写?
- 可能涉及哪些个人、保密、版权或受管制的信息?
该 NIST AI RMF 1.0 向组织提供建议,在它们依赖AI系统之前,先确定背景,要求,假设和风险容忍度,同样的学科也适用于提供数据.
数据收集的七个核心考虑因素是什么?
七个核心考虑是目的和范围、来源和权利、代表性、质量和标签、隐私和安全、偏见和伤害以及有变化控制的文件。 每个问题都需要具体的最佳做法和证据,然后才能展示出来。
| 审议情况 | 最佳做法 | 保留的证据 |
|---|---|---|
| 宗旨和范围 | 将每个收集领域与确定的培训或评价需要联系起来。 | 使用案例、数据规格、接受标准以及排除用途。 |
| 来源和权利 | 确认许可、许可范围、同意、合同条款和摄入前的再利用限制。 | 原始登记、许可证/同意记录、来源参考、到期或退出规则。 |
| 代表权 | 样本显示模型将面临的条件:语言、相关和合法的人口统计、设备类型、地理图、情景和边缘案例。 | 涵盖范围矩阵、差距分析和每项取样决定的理由。 |
| 质量和标签 | 使用清晰的注释说明,校准的注释符,对高风险物品进行双倍检查,并设定缺陷过程. | 注释指南,培训记录,间审结果,校正日志. |
| 隐私和安全 | 尽量减少个人数据,限制访问,保护过境和休息期间的数据,并界定保留/删除期。 | 数据映射,访问日志,隐私评估,安全控制,以及删除证据. |
| 偏见和伤害 | 测试相关群体和设置的表达不足,有害标签,代理变量,以及性能差距. | 风险登记册、分组测试计划、审查决定和缓解记录。 |
| 文件和更改控制 | 版本数据集并记录其如何收集,转换,过滤,分拆. | 数据集卡/数据表,行距记录,版本历史,以及发行批准. |
1. 来源数据合法和透明
"公开可获取"并非自动表示"为任何AI目的许可". 使用数据前先检查版权,数据库权利,合同或平台条款,隐私法,同意措辞和部门特定规则. 涉及个人数据的,要明确合法依据,尽量减少收集,并落实适用的个人权利. 直接提供数据的地方 同意和公平支付数据提供者 设计应从一开始就采用。
电话 UK 信息专员办公室指出,收集和预先处理个人数据,以便 AI 组织在利用个人信息培训或开发之前,应确定适当的法律依据; AI。参见 ICO 治理和问责制指导.
2. 界定现实世界的代表权
数据集可能很大,但依然不具代表性。对于语音,考虑语言、方言、口音、麦克风、噪音和语音风格。对于计算机视觉,考虑照明、天气、相机位置、地理、物体类型和隔离。 对于语言任务,考虑登记、写作系统、域名和系统将服务的用户群。 测量数据集的多样性.
不需要明确的目的和保障措施,不要添加敏感属性。 而不是文件, 哪些方面与模型性能相关, 以及为什么。 表示是一个设计和风险管理决定, 不是收集“ 更加多样化” 数据的通用指令 。
3. 将注释视为受控制生产过程
标签通常是培训数据集中最有价值的部分,也是隐藏不一致的最可能之处。将模糊的指令转换成可观察的规则和实例。培训注释员、运行校准回合、酌情衡量协议,并为不明案件保持升级路径。
对于高影响使用案例,使用独立的质量检查和抽样审计,并记录标签为何被更改。历史有助于判断以后的模型故障是来自模型、源数据还是标签政策。 交付前分层质量控制 显示这些支票的堆栈。
4. 将隐私和安全纳入工作流程
将收集工作减少到最低程度;尽可能将直接识别资料与工作数据分开;按角色限制访问;并适用安全转移、储存、保留和删除控制。 对于敏感项目,考虑去识别,修改,安全飞地或保护隐私的学习,但不假定任何技术都会使风险消失.
ICO 指导警告: AI 使安全和数据最小化义务更具挑战性,并建议绘制整个系统的个人信息使用情况图。 AI 寿命周期。 ICO数据最小化指导.
5. 将培训、验证和测试数据分开
在模型开发之前先决定分化策略。 验证和测试集应反映模型将面临的条件,但必须防止其受污染。 轨迹重复、近似重复、相关记录和重复参与者可能会在分解中泄露,产生令人误解的乐观结果。
对于基于时间或地理分组的数据,随机分割可能还不够。使用一个反映部署的分割:例如,保持一个未来时间段、设备类型、一个区域或一组参与者。
6. 漂移和修正计划
数据质量不固定,产品变化,新设备,新语言,季节性条件和用户行为的变化,会使数据集随着时间的推移变得不那么具有代表性,创建一个记录生产错误,有争议的标签,退出请求和新发现的覆盖漏洞的过程. 然后决定这个问题是否需要数据校正,新数据集版本,模型更新或改变预期用途.
7. 记录数据集,以便日后了解
很有影响力的报纸 数据集数据表 良好的文献记录使数据集更容易评估、安全地再利用和在出现问题时进行审计。
实用的数据收集工作流程是什么样子?
实用工作流程有七个步骤:定义任务和风险水平,写出数据规格,完整的权利和隐私检查,运行一个飞行员,可追溯性收集,应用质量控制,以及发布一个版本数据集. 每一步都产生一个记录,下一步依赖.
- 确定任务和风险水平。 拟订可衡量的性能、安全和覆盖要求。
- 创建数据规格 。 设定源类型,字段,量目标,排除,抽样计划,标签分类和质量阈值.
- 完成权利和隐私检查。 确认来源许可、同意或合法依据、数据转让条件、安全需要和保留规则。
- 跑个小飞行员 测试指令,同意流,设备,边缘大小写,标签一致性和成本在缩放前.
- 收集并贴上可追踪标签。 指定一个独特的记录ID并保存源,变和注释历史.
- 进行质量控制。 采用自动检查,复核抽样,重复检测,覆盖监测和缺陷矫正等方法.
- 发布一个版本数据集 。 冻结释放,记录其内容和限制,批准其用于确定用途,并监测释放后的问题。
在开始步骤1之前,创建一页的数据规格,涵盖任务、来源、权利、覆盖矩阵、标签规则、质量阈值、访问控制和发布标准。 管理下的多语种数据收集服务 构建这项工作的结构。
如何测量数据质量?
没有单一的数据质量分数。 使用与任务相关的一小套措施, 如完整性、有效性、准确性、一致性、覆盖面、新鲜度和可追踪性, 并在开始收集前为每个目标设定目标 。
| 质量层面 | 示例措施 |
|---|---|
| 完整性 | 所显示的所需字段、标签或情景的百分比。 |
| 有效性 | 符合格式、范围、计划或捕捉规则的百分比。 |
| 准确率 | 与可信审查样本或地面真相相比,错误率。 |
| 一致性 | 注释者之间或相关记录之间达成的协议。 |
| 覆盖范围 | 对照计划的语言、设备、地理、情景和边缘矩阵取得进展。 |
| 新鲜度 | 记录的年龄分布和自上次相关收藏以来的时间。 |
| 可追踪性 | 有可收回来源、同意/许可证状况、转化历史和版本的记录的百分比。 |
高注准确分数并不能弥补缺少的现实世界条件、权利不明确或样本不合适。 AI 数据验证 可以在数据集发布前确认结果。
您如何记录和管理一个数据集?
维护每张发行的数据集卡或数据表,记录数据集的来历、标签和用途。治理意味着,随着数据集的变化,卡片保持了时态。
最小领域是:
- 数据集名称、所有者、版本、发布日期和核准用途;
- 任务、目标人口或环境,以及已知的局限性;
- 来源、收集日期、许可、许可证、同意或合法依据记录以及限制;
- 构成和覆盖范围,包括已知的差距;
- 说明分类、说明、审查程序和质量结果;
- 转换、过滤、去识别和分拆方法;
- 准入规则、保留期、删除过程和事件联系;以及
- 更改日志、评价结果和释放或撤回的理由。
电话 NIST AI RMF 游戏本强调,文档支持重复性和一致性,包括收集、使用、管理和披露个人敏感数据集信息;见 NIST的测量指南. 对于基因系统,NIST 基因AI简介(NIST AI 600-1) 扩大框架,使其具有这些模式特有的风险。
这对AEO和GEO有什么帮助?
发布明确的指南,数据集概览或数据收集政策有助于回答引擎验证. 使用直接回答,提问导向的标题,定义术语,日期版本信息,与索赔关系密切的源链接和简明的FAQ.
添加适当的文章和BradecrumbList结构化数据,并且只用于页面中回答的真实问题。结构化数据帮助机器解释内容,但并不能保证搜索结果或AI引用。 该指南具有教育性,不是法律咨询,因为隐私、知识产权和跨国界转移要求因法域而异。