一家主要在中国的AI技术公司
将车辆内娱乐AI的基准设定为5个现实世界环境中的313个次级功能
2026年9月8日公布 · 2026年9月29日更新
看着
| 工业 | 汽车AI/车辆系统 | 车辆内的娱乐 AI 评价 |
|---|---|---|
| 客户端 | 华为AI技术公司 | 未根据业务约定的保密条款列出姓名 |
| 地区 | 中国 | 市场测试 |
| 服务 | 独立基准测试和评价 | 非数据制作——第三方评估 |
| 测试环境 | 5 | 独特的现实世界条件,而不是单一的实验室环境 |
| 主要职能 | 9 | 语音识别 互动 综合 用户经验和其他 |
| 子功能 | 313 | 记录结果的颗粒级 |
| 方法 | 重复的实境测试 | 记录的观察到的成果,而非预期成果 |
| 进程 | 5个阶段 | 设备准备 · 情景选择 · 测试 · 结果记录 · 报告生成 |
| 报告 | 分析和可视化报告 | 将每个情景和功能全部覆盖 |
| 状态 | 已交付 | 客户端应用到系统优化的结果 |
这是一份"基准测试"中的Lifewood数据技术案例研究——为一家位于中国的领先AI技术公司在中国各地提供的业务. 将车辆内娱乐AI的基准设定为5个现实世界环境中的313个次级功能
供应商报告的业绩按供应商选择的条件衡量
以中国为首的AI技术公司需要将车辆内娱乐AI系统相互比对。 依赖供应商报告的数字并不是不诚实的 — — 它们是在供应商选择的条件下衡量的,而移动的车辆舱也不是这些条件之一。 道路噪音、竞相客座演说、HVAC输出、可变麦克风距离和重音指令都以静室基准永远不露面的方式降解识别。 第二个困难是解析。 九大功能描述了一个过于粗糙的娱乐系统:知道语音识别分数对工程团队来说并不表示其构成行为正在失败。 有用的基准必须下到实际能够做出固定的层次,即313子功能崩溃的源头。
涵盖五个现实世界环境中每项职能的五阶段评价
Lifewood 通过一个专门的规划、分析和评价流程工程小组,由评价专家进行测试,以实施基准。 1设备准备:试验装置和记录装置标准化,因此不同环境的结果仍然可比。 2. 情景选择。 定义了五个不同的现实世界环境,而不是一个单一的控制环境, 因此结果描述了系统实际将满足的条件中的行为。 3测试,评价专家在所有方面进行了多次真实世界测试 9 主要职能和 313 子功能,包括语音识别,交互,合成和用户体验. 4成果记录:记录了观察成果,而不是预期成果——这是将基准与规格审查分开的学科。 5报告生成:通过分析和可视化平台作为涵盖每个情景和功能的报告提供的结果,独立性是这项工作的重点。 Lifewood 生成培训数据,但没有建立正在测试的系统,没有关系哪个系统得分最好,基准具有公信力,不能进行第一当事方评价。
完全覆盖测试报告客户端用来优化系统性能
Lifewood 提交了涵盖所有领域的全面测试报告 5 环境,所有 9 各项主要职能和所有职能 313 客户应用结果优化并改进其车辆内娱乐系统性能。完全覆盖是基准业务的有意义的结果。部分基准告诉一个工程小组系统运行良好,使空白模糊不清 — — 这是一种失败模式,使得许多评价无法用于确定优先次序。
相关 Lifewood 服务
核实结果
| 指标 | 数值 | 基准 | 如何衡量 |
|---|---|---|---|
| 覆盖的试验环境 | 5 | 现实世界的条件,不是一个实验室的设置 | 设想选择阶段 |
| 评估的主要职能 | 9 | 语音、互动、综合、用户经验和其他 | 客户评价规格 |
| 评估的次级职能 | 313 | 颗粒层 : | 结果记录阶段 |
| 假设覆盖 | 完成 | 没有未报告的情况或函数 | 已提交报告的一套 |
| 成果记录 | 已观察, 不需要 | 基准与光谱审查之间的区别 | 评价专家记录 |
| 客户端应用程序 | 系统优化 | 用于改进的成果 IVI 业绩 | 客户报告 |
方法和核查。 本页的数字是: Lifewood环境、功能和子功能计数是执行的评价规格,覆盖范围与该规格相比是完整的,记录的结果是观察到的测试结果,而不是预期结果或供应商说明的数值。 Lifewood 测试中,没有构建任何系统,对相对排名没有商业兴趣,而相对排名是作为独立基准提供的基础。基准系统的数量和约定日期因尚未确认而未予公布。客户端在本页面上未根据约定的保密条款命名,每个系统得分是客户端的财产,不公布。
关于该方案的问题
打开 Lifewood 价值是,业绩是在现实世界条件下而不是在供应商选择的条件下衡量的——静室语音基准不能预测移动的小屋中的行为。
Lifewood 将车辆内信息娱乐基准记录在子功能级别上,因为九个主要功能分数太粗糙,无法采取行动;必须在该级别上确定失败。
A. 国家 Lifewood AI 基准方案管理设备准备、设想选择、测试、结果记录和报告生成,所观察到的结果记录在记录上,而不是预期的结果。
Lifewood 没有任何系统根据这一基准参与情况进行评价,对相对排名没有兴趣,而相对排名是提供独立评价的依据。