難度大升級的多任務長視頻理解評測基準 MLVU 來了！由智源聯(lián)合北郵、北大和浙大等多所高校推出。究竟有多難呢？最終排名第一的 GPT-4o 單選正確率還不足 65%。
而且研究發(fā)現(xiàn)，大部分模型的性能都會隨著視頻時長增加顯著下降。
研究進一步證明，提升上下文窗口，提升圖像理解能力，以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。
目前相關論文及數(shù)據(jù)集已公開，具體細節(jié)下面一起看看吧~
MLVU 的構建過程
當前流行的 Video Benchmark 主要針對短視頻設計，大部分視頻的長度都在 1 分鐘以內。
且現(xiàn)有評測基準往往專注在特定領域的視頻（例如電影、第一視角）和特定的視頻評測任務（例如 Captioning，Temporal Perception，Action Understanding）。
此外，現(xiàn)有部分長視頻理解評測任務往往只和局部幀有關，或者針對經(jīng)典電影進行問答，這導致 MLLMs 可以直接憑借 text prompt 正確回答而無需對視頻進行分析。
針對以上不足，新基準 MLVU 從以下 3 個層面進行構建：
時長和來源更豐富
MLVU 的視頻時長覆蓋了 3 分鐘到超過 2 小時，平均視頻時長 12 分鐘，極大擴展了當前流行的 Video Benchmark 的時長范圍。
另外，MLVU 的大部分任務標注過程中進行了片段-問題對應標注。
例如，Video Summarization 任務分段標注了視頻的前 3 分鐘，前 6 分鐘……
這意味著，MLLMs 可以靈活地在 MLVU 上選擇測試不同時長情況下的長視頻理解能力。
同時，MLVU 收集了包括電影、電視劇、紀錄片、卡通動畫片、監(jiān)控視頻、第一視角視頻和游戲視頻等多個類型的長視頻，覆蓋了長視頻理解的多個領域范圍。
任務類別更全面
團隊針對長視頻理解設計了 9 類不同的任務，并進一步將任務分為三類：全面理解、單細節(jié)理解、多細節(jié)理解。
全面理解任務：要求 MLLMs 理解和利用視頻的全局信息來解決問題
單細節(jié)理解任務：要求 MLLMs 根據(jù)問題定位長視頻中的某一細節(jié)，并利用該細節(jié)來解決問題
多細節(jié)理解任務：要去 MLLMs 定位和理解長視頻中的多個相關片段來完成和解決問題
此外，還包括了單項選擇題和開放生成式問題，全面考察 MLLMs 在不同場景下的長視頻理解能力。
以下為 9 大任務的示例：
問題設置與答案標注更合理
為了突出新舊基準變化，直接以情節(jié)問答（Plot Question Answering）任務為例。
假如以電影、電視的角色作為問題線索來對 MLLMs 進行提問，舊基準的常見問題有兩種。
一是挑“經(jīng)典”下手，這導致 MLLMs 在沒有對視頻進行分析的情況下，直接使用了自有知識回答問題。
另一部分試圖避免這個問題，但由于長視頻的復雜性，僅僅利用代詞和描述性語句來指代情節(jié)細節(jié)非常困難。
他們的問題非常寬泛或者需要在問題中額外指定具體的時間片段而不是讓 MLLMs 自己根據(jù)題目尋找對應細節(jié)。
MLVU 通過精細的人工標注克服了這些問題。
在所有的情節(jié)問答任務中，MLVU 均使用“具有詳細細節(jié)的代詞”來指代情節(jié)中的人物、事件或背景，避免了問題泄露帶來的潛在影響，MLLMs 需要根據(jù)問題提供的線索識別和定位相關片段才能進一步解決問題。
此外，MLVU 的 Plot QA 問題具備豐富的多樣性，增強了評測的合理性和可靠性。
模型在 MLVU 上的表現(xiàn)
團隊在 MLVU 上對 20 個流行的 MLLM 進行了評測，包括開源模型和閉源模型。
實驗結果表明，盡管 GPT-4o 在所有任務中均取得了第 1 名，但它的單選平均準確率只有 64.6%。
且所有模型都在需要細粒度理解能力的任務上（單細節(jié)、多細節(jié)理解任務）表現(xiàn)糟糕。
此外，大部分模型的性能都會隨著視頻時長增加顯著下降。
另一明顯結論是，開源模型和閉源模型之間存在較大的差距。
開源模型中單項選擇題性能最強的 InternVL-1.5 單選平均準確度僅有 50.4%；開放生成式題目最強的 LLaMA-Vid 得分僅有 4.22，均遠遠落后于 GPT-4o 的 64.6% 和 5.80。
不過研究發(fā)現(xiàn)，提升上下文窗口，提升 MLLM 的圖像理解能力，以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。
這揭示了未來 MLLMs 在提升長視頻理解能力的重要改進方向。
論文：
https://arxiv.org/abs/2406.04264
項目鏈接：
https://github.com/JUNJIE99/MLVU
本文來自微信公眾號：量子位（ID：QbitAI），作者：關注前沿科技
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。