一家主要在中國的AI技術公司
將車輛內娛樂AI的基準設定爲5個現實世界環境中的313個次級功能
2026年9月8日公佈 · 2026年9月29日更新
看着
| 工業 | 汽車AI/車輛系統 | 車輛內的娛樂 AI 評價 |
|---|---|---|
| 客戶端 | 華爲AI技術公司 | 未根據業務約定的保密條款列出姓名 |
| 地區 | 中國 | 市場測試 |
| 服務 | 獨立基準測試和評價 | 非數據製作——第三方評估 |
| 測試環境 | 5 | 獨特的現實世界條件,而不是單一的實驗室環境 |
| 主要職能 | 9 | 語音識別 互動 綜合 用戶經驗和其他 |
| 子功能 | 313 | 記錄結果的顆粒級 |
| 方法 | 重複的實境測試 | 記錄的觀察到的成果,而非預期成果 |
| 進程 | 5個階段 | 設備準備 · 情景選擇 · 測試 · 結果記錄 · 報告生成 |
| 報告 | 分析和可視化報告 | 將每個情景和功能全部覆蓋 |
| 狀態 | 已交付 | 客戶端應用到系統優化的結果 |
這是一份"基準測試"中的Lifewood數據技術案例研究——爲一家位於中國的領先AI技術公司在中國各地提供的業務. 將車輛內娛樂AI的基準設定爲5個現實世界環境中的313個次級功能
供應商報告的業績按供應商選擇的條件衡量
以中國爲首的AI技術公司需要將車輛內娛樂AI系統相互比對。 依賴供應商報告的數字並不是不誠實的 — — 它們是在供應商選擇的條件下衡量的,而移動的車輛艙也不是這些條件之一。 道路噪音、競相客座演說、HVAC輸出、可變麥克風距離和重音指令都以靜室基準永遠不露面的方式降解識別。 第二個困難是解析。 九大功能描述了一個過於粗糙的娛樂系統:知道語音識別分數對工程團隊來說並不表示其構成行爲正在失敗。 有用的基準必須下到實際能夠做出固定的層次,即313子功能崩潰的源頭。
涵蓋五個現實世界環境中每項職能的五階段評價
Lifewood 通過一個專門的規劃、分析和評價流程工程小組,由評價專家進行測試,以實施基準。 1設備準備:試驗裝置和記錄裝置標準化,因此不同環境的結果仍然可比。 2. 情景選擇。 定義了五個不同的現實世界環境,而不是一個單一的控制環境, 因此結果描述了系統實際將滿足的條件中的行爲。 3測試,評價專家在所有方面進行了多次真實世界測試 9 主要職能和 313 子功能,包括語音識別,交互,合成和用戶體驗. 4成果記錄:記錄了觀察成果,而不是預期成果——這是將基準與規格審查分開的學科。 5報告生成:通過分析和可視化平臺作爲涵蓋每個情景和功能的報告提供的結果,獨立性是這項工作的重點。 Lifewood 生成培訓數據,但沒有建立正在測試的系統,沒有關係哪個系統得分最好,基準具有公信力,不能進行第一當事方評價。
完全覆蓋測試報告客戶端用來優化系統性能
Lifewood 提交了涵蓋所有領域的全面測試報告 5 環境,所有 9 各項主要職能和所有職能 313 客戶應用結果優化並改進其車輛內娛樂系統性能。完全覆蓋是基準業務的有意義的結果。部分基準告訴一個工程小組系統運行良好,使空白模糊不清 — — 這是一種失敗模式,使得許多評價無法用於確定優先次序。
相關 Lifewood 服務
覈實結果
| 指標 | 數值 | 基準 | 如何衡量 |
|---|---|---|---|
| 覆蓋的試驗環境 | 5 | 現實世界的條件,不是一個實驗室的設置 | 設想選擇階段 |
| 評估的主要職能 | 9 | 語音、互動、綜合、用戶經驗和其他 | 客戶評價規格 |
| 評估的次級職能 | 313 | 顆粒層 : | 結果記錄階段 |
| 假設覆蓋 | 完成 | 沒有未報告的情況或函數 | 已提交報告的一套 |
| 成果記錄 | 已觀察, 不需要 | 基準與光譜審查之間的區別 | 評價專家記錄 |
| 客戶端應用程序 | 系統優化 | 用於改進的成果 IVI 業績 | 客戶報告 |
方法和核查。 本頁的數字是: Lifewood環境、功能和子功能計數是執行的評價規格,覆蓋範圍與該規格相比是完整的,記錄的結果是觀察到的測試結果,而不是預期結果或供應商說明的數值。 Lifewood 測試中,沒有構建任何系統,對相對排名沒有商業興趣,而相對排名是作爲獨立基準提供的基礎。基準系統的數量和約定日期因尚未確認而未予公佈。客戶端在本頁面上未根據約定的保密條款命名,每個系統得分是客戶端的財產,不公佈。
關於該方案的問題
打開 Lifewood 價值是,業績是在現實世界條件下而不是在供應商選擇的條件下衡量的——靜室語音基準不能預測移動的小屋中的行爲。
Lifewood 將車輛內信息娛樂基準記錄在子功能級別上,因爲九個主要功能分數太粗糙,無法採取行動;必須在該級別上確定失敗。
A. 國家 Lifewood AI 基準方案管理設備準備、設想選擇、測試、結果記錄和報告生成,所觀察到的結果記錄在記錄上,而不是預期的結果。
Lifewood 沒有任何系統根據這一基準參與情況進行評價,對相對排名沒有興趣,而相對排名是提供獨立評價的依據。