IT之家 3 月 3 日消息，耶魯大學聯(lián)合劍橋大學、達特茅斯學院研究人員，共同推出一款名為 MindLLM 的醫(yī)療行業(yè) AI 工具，該工具能夠將腦部功能性磁共振成像（fMRI）數(shù)據轉化為文字，在多個基準測試中，表現(xiàn)優(yōu)于業(yè)界 UMBRAE、BrainChat、UniBrain 等技術。
據介紹，MindLLM 由 fMRI 編碼器和大型語言模型組成，能夠分析 fMRI 掃描中的立體像素（Voxels）來解讀腦部活動。其 fMRI 編碼器采用了神經科學注意力機制，能夠適應不同輸入信號的形狀，從而實現(xiàn)多種分析任務。
研究團隊還為相應工具引入了腦部指令調優(yōu)（BIT）方法，增強了模型從 fMRI 信號中提取多種語義信息的能力，使其能夠執(zhí)行圖像描述、問答推理等多種解碼任務。
測試結果顯示，在文字解碼、跨個體泛化和新任務適應性等基準測試中，MindLLM 相對業(yè)界模型至高提高了 12.0%、16.4% 和 25.0%，證明其在適應新受試者和處理未知語言推理方面均優(yōu)于傳統(tǒng)模型。
不過，研究人員提到目前該模型僅能分析靜態(tài)圖像信號，未來如果進一步改進，有望發(fā)展成實時 fMRI 解碼器，并廣泛應用于神經控制、腦機接口和認知神經科學等領域，對神經假肢修復感知能力、精神狀態(tài)監(jiān)控以及腦機交互等應用帶來積極影響。
目前，相應論文已發(fā)布在 ArXiv 上，IT之家附論文地址（點此訪問）。
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。