IT之家 6 月 25 日消息，最新發(fā)表在 arXiv 的研究論文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在內的大部分主流多模態(tài) AI 模型，處理用戶的多模態(tài)輸入（例如一起輸入圖片和文本內容）之后，輸出結果并不安全。
這項研究標題為《跨模態(tài)安全調整》（Cross-Modality Safety Alignment），提出了一個全新的“安全輸入但不安全輸出”（SIUO），涉及道德、危險行為、自殘、侵犯隱私、信息誤讀、宗教信仰、歧視和刻板印象、爭議性話題以及非法活動和犯罪等 9 個安全領域。
研究人員說，大型視覺語言模型（LVLM）在接收多模態(tài)輸入時很難識別 SIUO 類型的安全問題，在提供安全響應方面也遇到困難。
在接受測試的 15 個 LVLM 中，只有 GPT-4v（53.29%）、GPT-4o（50.9%）和 Gemini 1.5（52.1%）的得分高于 50%。
研究人員表示為了解決這個問題，需要開發(fā) LVLM，以便將所有模式的見解結合起來，形成對情景的統(tǒng)一理解。它們還需要能夠掌握和應用現(xiàn)實世界的知識，如文化敏感性、道德考慮因素和安全隱患等。
研究人員還指出，LVLMs 需要能夠通過對圖像和文本信息的綜合推理，理解用戶的意圖，即使文本中沒有明確說明。
IT之家附上參考地址
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。