简短回答： 视觉语言模型(VLM)的法官可以正确发现缺失的细节,并且仍然分配错误的整体分数。 通常的原因是视频证据不完整、小错误和重大错误加权均匀以及任务背景缺失。 可靠的视频评价结合了多分辨率证据、重度认识标点、信心检查和对模棱两可或影响大的案件进行人文审查。
核心要点
- VLM评委通常看到选定的帧或剪辑,而不是整个视频,因此一个从未检索的决定性时刻无法准确评价.
- T* 论文仅报告了LV-Haystack基准LongVideo Bench子集上较早的先进关键框架选择方法的2.1%时间F1。
- 在短视频基准Vinoground上,最佳模型比人类基线大约90%的得分大约50%,因此即使没有长视频,时间推理也是很难的.
- 可靠的视频评价系统将发现一个问题与决定这个问题是否应该实质性地改变得分分开。
- VLM 法官最能用来大规模地展示潜在的问题,任务背景和人性判断决定什么才是重要的。
何谓为一. VLM 法官? 法官?
VLM 判断器是一个多模式AI系统,它评价涉及图像或视频的输出,如标题,摘要,指令,或者另一个模型的答案. 它将视觉证据与一个标题进行比较,并返回一个分数,理由,或者错误标签.
视觉语言模型(VLM)法官: 一种多模式模式,通过对照视觉证据和标点来对输出进行评分或标记。
团队不是手工审查每个项目,而是要求VLM来做,这使得评价更快,但增加了风险:结论只好于模型收到的证据和规则。在视频设置中,模型通常从被抽样的帧、短片段或检索的片段,而不是完整的序列中工作。 建立这种管道的队伍往往从更广泛的起点开始 企业评价基准设计 在选择法官之前
为什么局部准确性能能总得分差?.
视频评价包含两个不同的决定:法官是否注意到了真正的不匹配,以及这种不匹配是否应该降低得分. VLM在第一时可以正确,在第二时可以错误,这是经典的"错过大局"失败.
检测正确性 : 法官是否注意到了 输出和视频之间的真正不匹配。
决定正确性: 是否该错配会降低任务得分。
| 决定 | 问题 | 示例 |
|---|---|---|
| 检测正确性 | 法官注意到了真的不匹配吗? | 标题中没有提到自行车旁边的红色工具箱。 |
| 决定正确性 | 那样不匹配会降低分数吗? | 如果任务要描述主要动作:修理自行车,工具箱可能无关紧要. |
细小可见的细节,然后得到比主要动作,正确的顺序,有用的结果,或安全临界事件更重的分量.
风险并不局限于评价仪表板。 如果这些分数为奖励建模、模型选择或自动拒绝提供参考,过度惩罚的小遗漏可以推动系统向详尽无遗的列表而不是清晰、有用的沟通。 偏好标题 这也是控制压力的一种方法
为什么视频证据往往不全?
在VLM判断视频的原因之前,另一个系统通常通过统一的帧采样,键框选择,剪辑检索,或压缩的符号表示来决定它要看到哪些证据。 如果错过了相关时刻,法官可以根据不完整的证据给出一个自信的答案.
长式视频研究将它作为数千个相关帧的发现。 T* 论文介绍了LV-海斯塔克基准,并报告了2.1%的时间F1,用于其LongVideo Bench子集上较早的先进关键帧选择方法,这表明了看到帧和找到正确帧之间的差距(Ye等人,2025年,第1页。).
更多的上下文并不能自动解决问题. 维诺地测试时间差异的短篇,自然视频,如改变动作顺序或对象转换. 最为强势的模型在文字和视频分数上得分约50%,而人类基线为90%左右,所以主要的多式联运模型仍然在挣扎着,即使片段短促(英语:Please of the discription).张,蔡和李,2024年).
法官们怎么过于严格?
标题比列出检查内容还要重要:它定义了法官所认为的重要内容。 许多标题是细节清单,可以告诉模型,每个遗漏的细节都应该得到类似的惩罚,而人文审查员则通过其对任务的影响来权衡错误。
高度认知的标点: 将每个错误类型与其对预定任务的影响联系起来,而不是将所有遗漏都计算在内。
例如:
- 缺少背景对象在场景摘要中可能不重要.
- 缺少两个步骤的顺序在教学录像中可能很重要。
- 缺少安全漏洞可能不符合资格,即使其他所有情况都准确无误。
因此,标题需要区分所需、有用但可选的信息和物质信息。 VLM不能可靠地推断出仅与像素的区别,所以必须具体说明目的。
更好的视频评价工作流程是什么样子的?
解决方案不仅仅是一个更大的法官模式。 构建一个将证据收集、判断和升级分开的管道,并在有背景和政策重要性的边界上保留经过培训的审查人员。
| 步骤 | 怎么办呢? | 为什么它能帮助 |
|---|---|---|
| 1. 多项决议的审查 | 组合帧,短片段,事件段,以及全序检查. | 不同的错误出现在不同的时间尺度上. |
| 2. 分数前提取证据 | 识别动作、对象、状态变化、时间戳和事件边界。 | 创造可追踪的证据,而不是只依靠一个整体判决。 |
| 3. 分数的单独维度 | 分别评估事实准确性、时间顺序、完整性、有用性和安全性。 | 防止一个小缺陷扭曲总分. |
| 4. 适用严重程度加权 | 重量错误,因为其影响是预定任务。 | 物质安全错误应超过若干不重要的遗漏。 |
| 5. 使用信任门 | 增加低信任决定,以及评价者或时间尺度之间的分歧。 | 不确定性成为审查信号而不是隐藏错误。 |
| 6. 将人类置于边界 | 将模棱两可、影响大、地方与全球冲突问题送交受过培训的审评员。 | 人类可以运用背景、目的和政策判断。 |
质量主观时,对等比较可以有所帮助:与其要求VLM获得绝对分数,不如问两个产出中哪一个更适合任务. MLLM-as-a-Judge基准发现对偶比绝对分数或批次排名更强的人类类表现(MLLM-as-a-judge).陈等人,2024年有关审查人员在实际中如何定位,参见 人类的注解是如何运作的,对于视频审查员的搜索,请参见 购买大型视频注释此类独立检查是以下活动的组成部分: AI 数据验证.
团队应该测量什么?
追踪假阳性,假阴性,人比率,按类别约定,信心校准,人与人之间的一致,而不是一个整体法官准确分数,隐藏太多.
- 假阳性 : 法官会给人类评论员 贴上无关紧要的旗帜
- 假负数 : 法官错过了重大错误
- 人类覆没率 : 审校经常改变评委的分数,以及该方向。
- 按类别分列的协定: 按错误类型、视频持续时间和时间复杂性分列的性能。
- 置信度校准 : 高信心的决定是否真正更可靠。
- 人类与人类的协议: 是否人们在等待一个模式之前就同意这个主题。
如果合格的审查人员经常有分歧,那么弱点可能是政策或标题,而不是VLM。在不澄清任务的情况下改进法官可能只会产生更快的不一致。 计算机-视觉注释提供者的比较,而更广阔的背景则位于 AI 服务.