【新智元導(dǎo)讀】馬里蘭大學(xué)發(fā)布首個(gè)專為 VLM 設(shè)計(jì)的基準(zhǔn)測(cè)試 HallusionBench，全面測(cè)試 GPT-4V 視覺錯(cuò)誤和語(yǔ)言幻覺。
GPT-4 被吹的神乎其神，作為具備視覺能力的 GPT-4 版本 ——GPT-4V，也被大眾寄于了厚望。
但如果告訴你，初中生都知道的勾股定理，只適用于直角三角形。
然而 GPT-4V 卻自信將其用于鈍角三角形中計(jì)算斜邊長(zhǎng)度。
還有更離譜的，GPT-4V 直接犯了致命的安全錯(cuò)誤，竟然認(rèn)為紅燈可以行駛。
這到底是怎么回事呢？
馬里蘭大學(xué)的研究團(tuán)隊(duì)在探索過程中發(fā)現(xiàn)了這些問題，并在此基礎(chǔ)上提出了兩種主要的錯(cuò)誤類型：語(yǔ)言幻覺和視覺錯(cuò)覺，以此來(lái)闡釋這些錯(cuò)誤的原因。
論文鏈接：https://arxiv.org/ abs / 2310.14566
項(xiàng)目主頁(yè)：https://github.com/ tianyi-lab / HallusionBench
研究人員依據(jù)上述分析，創(chuàng)建了一個(gè)名為 HallusionBench 的圖像-語(yǔ)境推理基準(zhǔn)測(cè)試，旨在深入探討圖像與語(yǔ)境推理的復(fù)雜性。
基于他們的對(duì)于視覺能力的測(cè)試，GPT4V 在回答視覺問題組的錯(cuò)誤率高達(dá)近 90%。
研究者們還對(duì)新發(fā)布的 GPT-4V (ision) 和 LLaVA-1.5 進(jìn)行了詳細(xì)的研究，深入分析了它們?cè)谝曈X理解方面的能力。
HallusionBench 是第一個(gè)專為 VLM 設(shè)計(jì)的基準(zhǔn)測(cè)試，主要關(guān)注視覺錯(cuò)覺和知識(shí)幻覺。這個(gè)測(cè)試包括約 200 組視覺問答，其中近一半是由人工專家創(chuàng)作的。
目前數(shù)據(jù)已經(jīng)開源，并且還在更新中。
涉及的圖片類型多樣，包括原始的錯(cuò)覺圖片、圖表、地圖、海報(bào)、視頻及手動(dòng)制作或修改的圖片，涵蓋數(shù)學(xué)、計(jì)數(shù)、文化、動(dòng)漫、體育和地理等多個(gè)領(lǐng)域。
論文中，作者初步闡述了 HallusionBench 中的兩種視覺問題分類：視覺依賴型（Visual Dependent）和視覺補(bǔ)充型（Visual Supplement），并討論了實(shí)驗(yàn)對(duì)照組的設(shè)計(jì)方法。
隨后，他們分析了可能導(dǎo)致答案錯(cuò)誤的兩大主要原因：視覺錯(cuò)覺（Visual Illusion）和語(yǔ)言幻覺（Language Hallucination）。
在文末，作者通過不同的子類別詳細(xì)展示了各主要類別中的失敗案例，并進(jìn)行了深入的分析。
關(guān)鍵點(diǎn)：
1. 「語(yǔ)言幻覺」：在 GPT-4V 和 LLaVA-1.5 中會(huì)誤導(dǎo) 90% 的樣本推理。視覺與語(yǔ)言之間的微妙平衡至關(guān)重要！
2. 「視覺錯(cuò)覺」：LVLMs 中的視覺模塊容易受到復(fù)雜視覺上下文的影響，語(yǔ)言模型的錯(cuò)誤被夸大。
3. 簡(jiǎn)單的圖像修改就能欺騙 GPT-4V 和 LLaVA-1.5，暴露了對(duì)更強(qiáng)大的圖像分析能力的需求。
4. GPT-4V 在推理多個(gè)圖像之間的時(shí)間關(guān)系方面存在困難。
5. LLaVA-1.5 有時(shí)會(huì)在常識(shí)查詢上犯錯(cuò)，需要改進(jìn)其語(yǔ)言模型先驗(yàn)。
視覺問題類型
視覺依賴型問題 (Visual Dependent)：
這類問題的答案完全依賴于視覺內(nèi)容，缺乏圖像信息時(shí)無(wú)法確切回答。
這些問題通常關(guān)聯(lián)到圖像本身或其顯示的內(nèi)容。例如，在沒有圖像的情況下，無(wú)法準(zhǔn)確回答諸如「圖中右側(cè)的橙色圓圈是否與左側(cè)的同樣大?。俊怪惖膯栴}。
視覺補(bǔ)充型問題 (Visual Supplement)：
這些問題即使在沒有視覺內(nèi)容的情況下也能得到回答。在這種類型的問題中，視覺元素僅提供附加信息。
比如，即便沒有圖片輔助，GPT-4V 仍能回答「新墨西哥州是否比德克薩斯州大？」等問題。
測(cè)試的核心在于判斷 GPT-4V 和 LLaVA-1.5 能否利用圖像內(nèi)容來(lái)作答，而不是僅憑它們的參數(shù)化記憶。
錯(cuò)誤分類
作者對(duì)錯(cuò)誤回答進(jìn)行了分析，并將其原因分為兩大類：
視覺錯(cuò)誤 (Language Hallucination)：
這類錯(cuò)誤產(chǎn)生于對(duì)輸入圖像的錯(cuò)誤視覺識(shí)別和解釋。模型未能從圖像中提取準(zhǔn)確信息或?qū)ζ溥M(jìn)行正確推斷。
語(yǔ)言幻覺 (Visual Illusion)：
模型基于其參數(shù)化知識(shí)庫(kù)，對(duì)問題輸入和圖像背景作出不恰當(dāng)?shù)南热霝橹鞯募僭O(shè)。模型應(yīng)當(dāng)針對(duì)問題的具體環(huán)境作出反應(yīng)，而不是忽略問題本身或?qū)D像作出錯(cuò)誤解讀。
范例
從圖 1 所展示的經(jīng)典視覺錯(cuò)覺案例中可見，GPT-4V 在識(shí)別各種錯(cuò)覺圖像及其名稱上顯示出比 LLaVA-1.5 更豐富的知識(shí)儲(chǔ)備。
然而，在回答經(jīng)過編輯處理的圖像相關(guān)問題時(shí)，GPT-4V 未能提供精確答案。
這種現(xiàn)象可能源于 GPT-4V 更多地依賴于其參數(shù)化存儲(chǔ)的知識(shí)，而不是實(shí)際對(duì)圖像進(jìn)行分析。
與此相反，無(wú)論是處理原始圖像還是編輯后的圖像，LLaVA-1.5 的表現(xiàn)都相對(duì)較差，這反映出 LLaVA-1.5 在視覺識(shí)別方面的能力較為有限。
觀察圖 2 提供的樣本，可以發(fā)現(xiàn) GPT-4V 和 LLaVA-1.5 均未能正確識(shí)別平行線、正三角形、多邊形及其他數(shù)學(xué)定理。
這一現(xiàn)象揭示了，對(duì) GPT-4V 而言，在處理幾何和數(shù)學(xué)問題方面仍面臨較大挑戰(zhàn)。
在圖 3 的展示中，作者指出了幾則海報(bào)，展示的是一些知名的地方美食，但這些美食的地理特征遭到了改動(dòng)。
面對(duì)這樣的場(chǎng)景，GPT-4V 和 LLaVA-1.5 都未能充分考慮上下文信息，忽略了圖像內(nèi)容，繼續(xù)根據(jù)文本中提及的知名產(chǎn)地來(lái)回答相關(guān)問題。
在圖 4 的案例中，作者進(jìn)一步探討了對(duì)多張圖片序列的處理能力。
圖片的順序排列和倒序排列在語(yǔ)義上常表現(xiàn)出對(duì)立的意義，例如「出現(xiàn)與消失」和「后退與前進(jìn)」。
研究比較表明，盡管這些圖片序列描繪了不同的動(dòng)態(tài)，GPT-4V 依然未能區(qū)分這些圖片的順序和逆序排列。
這一發(fā)現(xiàn)指出，在視頻序列推理方面，GPT-4V 仍需大幅度的優(yōu)化和提高。
圖 5 展示了一個(gè)案例，其中在缺乏圖像背景信息的情境下，GPT-4V 提供了一個(gè)斷定性的回答。
相對(duì)地，LLaVA-1.5，由于對(duì)文本的理解不足，提出了一個(gè)技術(shù)上無(wú)誤但與問題無(wú)關(guān)的答回答。
當(dāng)以修改后的 π 值作為視覺輸入，兩個(gè)模型均未能從圖像中正確識(shí)別和解釋這個(gè)值。
圖 6 中的情形顯示，當(dāng)缺少視覺輸入時(shí)，GPT-4V 和 LLaVA-1.5 都能準(zhǔn)確且斷定地作出回答。
然而，在表格作為視覺輸入的情況下，GPT-4V 嘗試依據(jù)視覺信息解答，卻誤取了錯(cuò)誤數(shù)據(jù)。
例如，GPT-4V 錯(cuò)誤地答道「中國(guó)贏得了 36 枚金牌」，盡管圖表實(shí)際顯示的是美國(guó)獲得了這些金牌。
相比之下，LLaVA-1.5 更依賴于其參數(shù)化記憶，在分別處理問題和表格時(shí)表現(xiàn)不同。
在圖 7 的場(chǎng)景中，即使沒有視覺輔助，GPT-4V 和 LLaVA-1.5 都作出了斷定性的答復(fù)，其中 GPT-4V 的答案更為準(zhǔn)確和精確。
當(dāng)引入圖表作為視覺輸入，GPT-4V 能精準(zhǔn)地根據(jù)圖表中的數(shù)據(jù)給出答案，而 LLaVA-1.5 則依賴于其參數(shù)化知識(shí)進(jìn)行回答。
但是，一旦圖表被翻轉(zhuǎn)，GPT-4V 對(duì)答案的預(yù)測(cè)發(fā)生了根本性變化。這個(gè)錯(cuò)誤可以被解釋為由視覺錯(cuò)覺引起的。
根據(jù)圖 8，在缺乏圖像支持的情形下，GPT-4V 和 LLaVA-1.5 均提供了確定的回答，但正確答案僅由 GPT-4V 給出。
由此可以推斷，GPT-4V 在知識(shí)層面上優(yōu)于 LLaVA-1.5。
然而，當(dāng)?shù)貓D的視覺呈現(xiàn)發(fā)生改變時(shí)，兩種模型由于其強(qiáng)大的參數(shù)記憶能力，均未能正確推斷出四個(gè)州的相對(duì)位置。
總結(jié)
近年來(lái)，隨著大規(guī)模語(yǔ)言模型和多模態(tài)研究的快速發(fā)展，人工智能領(lǐng)域經(jīng)歷了重大的變革。
自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺（CV）的結(jié)合，不僅促成了大型視覺語(yǔ)言模型（LVLM）的誕生，而且顯著提高了圖像推理任務(wù)的性能。
但是，LVLM 仍面臨著一些挑戰(zhàn)，如語(yǔ)言幻覺和視覺錯(cuò)覺等問題。
本研究通過推出 HallusionBench，旨在為 VLM 提供一個(gè)基準(zhǔn)測(cè)試，特別是在那些容易因語(yǔ)言幻覺或視覺錯(cuò)覺而失敗的復(fù)雜情況下。
我們對(duì) GPT-4V 和 LLaVA-1.5 的不同示例和失敗案例進(jìn)行了深入探討，包括：
1. 在 HallusionBench 中，GPT-4V 和 LLaVA-1.5 在處理含有先驗(yàn)知識(shí)的問題時(shí)，往往會(huì)受到語(yǔ)言幻覺的影響。這些模型更傾向于依賴先驗(yàn)知識(shí)，導(dǎo)致在我們的分析的例子中，超過 90% 的答案是錯(cuò)誤的。因此，模型需要在參數(shù)化記憶和輸入文本圖片之間找到一個(gè)平衡點(diǎn)。
2. 即便是在 GPT-4V 和 LLaVA-1.5 缺乏參數(shù)化記憶或先驗(yàn)知識(shí)的情況下，它們?nèi)匀蝗菀资艿揭曈X錯(cuò)覺的影響。這些模型常常在處理幾何圖形、數(shù)學(xué)圖像、視頻（多圖像場(chǎng)景）、復(fù)雜圖表等問題時(shí)給出錯(cuò)誤答案。目前，視覺語(yǔ)言模型在視覺處理方面的能力還很有限。
3. GPT-4V 和 LLaVA-1.5 在 HallusionBench 中容易被一些基本的圖像操作所誤導(dǎo)，如圖像翻轉(zhuǎn)、顛倒順序、遮擋、物體編輯以及顏色的修改等。目前的視覺語(yǔ)言模型尚未能有效處理這些圖像操作。
4. 雖然 GPT-4V 支持處理多圖，但在分析涉及時(shí)間線索的多圖像問題時(shí)，它未能展現(xiàn)出有效的時(shí)間推理能力，在 HallusionBench 中表現(xiàn)欠佳。
5. 在 HallusionBench 的測(cè)試中，LLaVA-1.5 由于知識(shí)庫(kù)相對(duì)較少，有時(shí)會(huì)犯下一些基本的錯(cuò)誤。
作者表示，他們的數(shù)據(jù)集已經(jīng)開源，并正在繼續(xù)擴(kuò)展數(shù)據(jù)庫(kù)。最新的數(shù)據(jù)會(huì)在 Github （https://github.com/ tianyi-lab / HallusionBench）上不斷更新。
這項(xiàng)研究為未來(lái)更加強(qiáng)大、平衡和精準(zhǔn)的 LVLM 奠定了基礎(chǔ)，并期待通過這些詳細(xì)的案例研究，為未來(lái)研究提供一些可能方向。
參考資料：
https://arxiv.org/abs/2310.14566
本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。