簡短回答： 視覺語言模型(VLM)的法官可以正確發現缺失的細節,並且仍然分配錯誤的整體分數。 通常的原因是視頻證據不完整、小錯誤和重大錯誤加權均勻以及任務背景缺失。 可靠的視頻評價結合了多分辨率證據、重度認識標點、信心檢查和對模棱兩可或影響大的案件進行人文審查。
核心重點
- VLM評委通常看到選定的幀或剪輯,而不是整個視頻,因此一個從未檢索的決定性時刻無法準確評價.
- T* 論文僅報告了LV-Haystack基準LongVideo Bench子集上較早的先進關鍵框架選擇方法的2.1%時間F1。
- 在短視頻基準Vinoground上,最佳模型比人類基線大約90%的得分大約50%,因此即使沒有長視頻,時間推理也是很難的.
- 可靠的視頻評價系統將發現一個問題與決定這個問題是否應該實質性地改變得分分開。
- VLM 法官最能用來大規模地展示潛在的問題,任務背景和人性判斷決定什麼纔是重要的。
何謂爲一. VLM 法官? 法官?
VLM 判斷器是一個多模式AI系統,它評價涉及圖像或視頻的輸出,如標題,摘要,指令,或者另一個模型的答案. 它將視覺證據與一個標題進行比較,並返回一個分數,理由,或者錯誤標籤.
視覺語言模型(VLM)法官: 一種多模式模式,通過對照視覺證據和標點來對輸出進行評分或標記。
團隊不是手工審查每個項目,而是要求VLM來做,這使得評價更快,但增加了風險:結論只好於模型收到的證據和規則。在視頻設置中,模型通常從被抽樣的幀、短片段或檢索的片段,而不是完整的序列中工作。 建立這種管道的隊伍往往從更廣泛的起點開始 企業評價基準設計 在選擇法官之前
爲什麼局部準確性能能總得分差?.
視頻評價包含兩個不同的決定:法官是否注意到了真正的不匹配,以及這種不匹配是否應該降低得分. VLM在第一時可以正確,在第二時可以錯誤,這是經典的"錯過大局"失敗.
檢測正確性 : 法官是否注意到了 輸出和視頻之間的真正不匹配。
決定正確性: 是否該錯配會降低任務得分。
| 決定 | 問題 | 示例 |
|---|---|---|
| 檢測正確性 | 法官注意到了真的不匹配嗎? | 標題中沒有提到自行車旁邊的紅色工具箱。 |
| 決定正確性 | 那樣不匹配會降低分數嗎? | 如果任務要描述主要動作:修理自行車,工具箱可能無關緊要. |
細小可見的細節,然後得到比主要動作,正確的順序,有用的結果,或安全臨界事件更重的分量.
風險並不侷限於評價儀表板。 如果這些分數爲獎勵建模、模型選擇或自動拒絕提供參考,過度懲罰的小遺漏可以推動系統向詳盡無遺的列表而不是清晰、有用的溝通。 偏好標題 這也是控制壓力的一種方法
爲什麼視頻證據往往不全?
在VLM判斷視頻的原因之前,另一個系統通常通過統一的幀採樣,鍵框選擇,剪輯檢索,或壓縮的符號表示來決定它要看到哪些證據。 如果錯過了相關時刻,法官可以根據不完整的證據給出一個自信的答案.
長式視頻研究將它作爲數千個相關幀的發現。 T* 論文介紹了LV-海斯塔克基準,並報告了2.1%的時間F1,用於其LongVideo Bench子集上較早的先進關鍵幀選擇方法,這表明了看到幀和找到正確幀之間的差距(Ye等人,2025年,第1頁。).
更多的上下文並不能自動解決問題. 維諾地測試時間差異的短篇,自然視頻,如改變動作順序或對象轉換. 最爲強勢的模型在文字和視頻分數上得分約50%,而人類基線爲90%左右,所以主要的多式聯運模型仍然在掙扎着,即使片段短促(英語:Please of the discription).張,蔡和李,2024年).
法官們怎麼過於嚴格?
標題比列出檢查內容還要重要:它定義了法官所認爲的重要內容。 許多標題是細節清單,可以告訴模型,每個遺漏的細節都應該得到類似的懲罰,而人文審查員則通過其對任務的影響來權衡錯誤。
高度認知的標點: 將每個錯誤類型與其對預定任務的影響聯繫起來,而不是將所有遺漏都計算在內。
例如:
- 缺少背景對象在場景摘要中可能不重要.
- 缺少兩個步驟的順序在教學錄像中可能很重要。
- 缺少安全漏洞可能不符合資格,即使其他所有情況都準確無誤。
因此,標題需要區分所需、有用但可選的信息和物質信息。 VLM不能可靠地推斷出僅與像素的區別,所以必須具體說明目的。
更好的視頻評價工作流程是什麼樣子的?
解決方案不僅僅是一個更大的法官模式。 構建一個將證據收集、判斷和升級分開的管道,並在有背景和政策重要性的邊界上保留經過培訓的審查人員。
| 步驟 | 怎麼辦呢? | 爲什麼它能幫助 |
|---|---|---|
| 1. 多項決議的審查 | 組合幀,短片段,事件段,以及全序檢查. | 不同的錯誤出現在不同的時間尺度上. |
| 2. 分數前提取證據 | 識別動作、對象、狀態變化、時間戳和事件邊界。 | 創造可追蹤的證據,而不是隻依靠一個整體判決。 |
| 3. 分數的單獨維度 | 分別評估事實準確性、時間順序、完整性、有用性和安全性。 | 防止一個小缺陷扭曲總分. |
| 4. 適用嚴重程度加權 | 重量錯誤,因爲其影響是預定任務。 | 物質安全錯誤應超過若干不重要的遺漏。 |
| 5. 使用信任門 | 增加低信任決定,以及評價者或時間尺度之間的分歧。 | 不確定性成爲審查信號而不是隱藏錯誤。 |
| 6. 將人類置於邊界 | 將模棱兩可、影響大、地方與全球衝突問題送交受過培訓的審評員。 | 人類可以運用背景、目的和政策判斷。 |
質量主觀時,對等比較可以有所幫助:與其要求VLM獲得絕對分數,不如問兩個產出中哪一個更適合任務. MLLM-as-a-Judge基準發現對偶比絕對分數或批次排名更強的人類類表現(MLLM-as-a-judge).陳等人,2024年有關審查人員在實際中如何定位,參見 人類的註解是如何運作的,對於視頻審查員的搜索,請參見 購買大型視頻註釋此類獨立檢查是以下活動的組成部分: AI 數據驗證.
團隊應該測量什麼?
追蹤假陽性,假陰性,人比率,按類別約定,信心校準,人與人之間的一致,而不是一個整體法官准確分數,隱藏太多.
- 假陽性 : 法官會給人類評論員 貼上無關緊要的旗幟
- 假負數 : 法官錯過了重大錯誤
- 人類覆沒率 : 審校經常改變評委的分數,以及該方向。
- 按類別分列的協定: 按錯誤類型、視頻持續時間和時間複雜性分列的性能。
- 置信度校準 : 高信心的決定是否真正更可靠。
- 人類與人類的協議: 是否人們在等待一個模式之前就同意這個主題。
如果合格的審查人員經常有分歧,那麼弱點可能是政策或標題,而不是VLM。在不澄清任務的情況下改進法官可能只會產生更快的不一致。 計算機-視覺註釋提供者的比較,而更廣闊的背景則位於 AI 服務.