IT之家 10 月 13 日消息，蘋果公司現(xiàn)已為旗下多模態(tài)大模型 MM 推出 1.5 版本，該版本模型基于前代 MM1 的架構(gòu)，繼續(xù)延續(xù)數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練原則，重點(diǎn)研究在不同訓(xùn)練周期中混合不同類型數(shù)據(jù)對(duì)模型性能的影響。
目前相關(guān)模型文檔已發(fā)布于 Hugging Face 上，IT之家附論文地址如下（點(diǎn)此訪問）。
該版本模型提供 10 億-300 億多種參數(shù)規(guī)模，擁有圖像識(shí)別和自然語言推理能力。蘋果公司研發(fā)人員在新版本中改進(jìn)了數(shù)據(jù)混合策略，顯著提升了模型在多文本圖像理解、視覺引用與定位（Grounding）以及多圖像推理方面的能力。
參考論文，團(tuán)隊(duì)在 MM1.5 的持續(xù)預(yù)訓(xùn)練階段引入了高質(zhì)量的 OCR 數(shù)據(jù)和合成圖像描述，顯著提升了模型對(duì)包含大量文本的圖像的理解能力。
此外，研究人員在監(jiān)督式微調(diào)階段分析了不同數(shù)據(jù)類型對(duì)模型表現(xiàn)的影響，優(yōu)化了視覺指令微調(diào)數(shù)據(jù)的混合方式，從而為模型實(shí)現(xiàn)了更高的效率，團(tuán)隊(duì)表示，即便是小規(guī)模的模型（10、30 億參數(shù)版本）也能表現(xiàn)出色。
值得關(guān)注的是，蘋果公司本次還推出了專門用于視頻理解的 MM1.5-Video 模型和專門處理移動(dòng)設(shè)備用戶界面（UI）理解的 MM1.5-UI 模型，其中 MM1.5-UI 模型未來有望作為 iOS 幕后的“蘋果牌”AI，其能夠處理各種視覺引用與定位任務(wù)、總結(jié)屏幕上的功能，或者通過與用戶的對(duì)話進(jìn)行交互。
盡管 MM1.5 模型在多項(xiàng)基準(zhǔn)測(cè)試中取得了優(yōu)秀表現(xiàn)，蘋果團(tuán)隊(duì)仍計(jì)劃通過進(jìn)一步融合文本、圖像和用戶交互數(shù)據(jù)，設(shè)計(jì)更復(fù)雜的架構(gòu)，來提升模型對(duì)移動(dòng)設(shè)備 UI 的理解能力，加強(qiáng)“蘋果牌”AI 的實(shí)力。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。