IT之家 10 月 20 日消息，斯坦福大學(xué)日前發(fā)布了 AI 基礎(chǔ)模型“透明度指標(biāo)”，其中顯示指標(biāo)最高的是 Meta 的 Lama 2，但相關(guān)“透明度”也只有 54%，因此研究人員認(rèn)為，市面上幾乎所有 AI 模型，都“缺乏透明度”。
據(jù)悉，這一研究是由 HAI 基礎(chǔ)模型研究中心（CRFM）的負(fù)責(zé)人 Rishi Bommasani 所主導(dǎo)，調(diào)查了海外最流行的 10 款基礎(chǔ)模型：
Meta 的 Llama 2、
BigScience 的 BloomZ、
OpenAI 的 GPT-4、
Stability AI 的 Stable Diffusion、
Anthropic PBC 的 Claude、
谷歌的 PaLM 2、
Cohere 的 Command、
AI21 Labs 的 Jurassic-2、
Inflection AI 的 Inflection、
亞馬遜的 Titan。
Rishi Bommasani 認(rèn)為，“缺乏透明度”一直是 AI 行業(yè)所面臨的問題，在具體模型“透明度指標(biāo)”方面，IT之家發(fā)現(xiàn)，相關(guān)評(píng)估內(nèi)容主要圍繞“模型訓(xùn)練數(shù)據(jù)集版權(quán)”、“訓(xùn)練模型所用的運(yùn)算資源”、“模型生成內(nèi)容的可信度”、“模型自身能力”、“模型被誘導(dǎo)生成有害內(nèi)容的風(fēng)險(xiǎn)”、“使用模型的用戶隱私性”等展開，共計(jì) 100 項(xiàng)。
最終調(diào)查情況顯示，Meta 的 Lama 2 以 54% 的透明度居冠，而 OpenAI 的 GPT-4 透明度只有 48%，谷歌的 PaLM 2 則以 40% 排名第五。
在具體指標(biāo)中，十大模型得分表現(xiàn)均“最好”的是“模型基本信息”（Model Basics），這一評(píng)估內(nèi)容主要包含“模型訓(xùn)練上是否準(zhǔn)確介紹了模型的模式、規(guī)模、架構(gòu)”，平均透明度為 63%。表現(xiàn)最差的則是影響（Impact），主要評(píng)估基礎(chǔ)模型是否會(huì)“調(diào)取用戶信息進(jìn)行評(píng)估”，平均透明度只有 11%。
CRFM 主任 Percy Liang 表示，商業(yè)基礎(chǔ)模型的“透明度”對(duì)于推動(dòng) AI 立法，及相關(guān)產(chǎn)業(yè)、學(xué)術(shù)界而言，非常重要。
Rishi Bommasani 則表示，較低的模型透明度讓企業(yè)更難知道它們能否安全地依賴相關(guān)模型，也難以令研究人員依靠這些模型來做研究。
Rishi Bommasani 最終認(rèn)為，上述十大基礎(chǔ)模型在透明度方面都“不及格”，雖然 Meta 的 Llama 2 得分最高，但并不能滿足外界需求，“模型透明度最少要達(dá)到 82%，才能被外界認(rèn)可”。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。