IT之家 3 月 2 日消息,據(jù)復(fù)旦大學(xué)官方公眾號(hào),在復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室 (FudanNLP) 師生的努力下,基于多模態(tài)大模型“復(fù)旦?眸思”(MouSi) 為視障者量身打造的“聽見世界”App 上線。
這套系統(tǒng)僅需一枚攝像頭、一對(duì)耳機(jī),就能將畫面轉(zhuǎn)化為語(yǔ)言,且支持描繪場(chǎng)景、提示風(fēng)險(xiǎn)等功能?!奥犚娛澜纭盇pp 可為視障者日常生活需求設(shè)計(jì)三種模式。
街道行走:該模式下,“眸思”能夠細(xì)致掃描道路情況,提示潛在風(fēng)險(xiǎn)。
自由問(wèn)答:可幫助視障者走進(jìn)博物館、藝術(shù)館、公園,捕捉四周景象每個(gè)細(xì)節(jié),可用聲音構(gòu)建豐富的生活場(chǎng)景,官方演示圖顯示,該 App 還可實(shí)現(xiàn)轉(zhuǎn)述電視畫面內(nèi)容等功能。
尋物:該模式為視障者提供日常物件的尋覓功能,官方稱其為“可靠管家”。
據(jù)悉,預(yù)計(jì)今年 3 月,“聽見世界”App 將完成第一輪測(cè)試,并在中國(guó)一、二線城市和地區(qū)同步開啟試點(diǎn),根據(jù)算力部署情況進(jìn)行推廣。
IT之家注:復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室(FudanNLP)此前開發(fā)了 MOSS 大模型,2023 年 4 月宣布正式開源,成為國(guó)內(nèi)首個(gè)插件增強(qiáng)的開源對(duì)話語(yǔ)言模型。半年時(shí)間后,多模態(tài)模型“眸思”問(wèn)世。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。