設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

助視障者“看見”世界,復(fù)旦大學(xué)團(tuán)隊(duì)研發(fā)“眸思”大模型、“聽見世界”App

2024/3/2 19:27:45 來(lái)源:IT之家 作者:清源 責(zé)編:清源
感謝IT之家網(wǎng)友 lemon_meta、烏蠅哥的左手 的線索投遞!

IT之家 3 月 2 日消息,據(jù)復(fù)旦大學(xué)官方公眾號(hào),在復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室 (FudanNLP) 師生的努力下,基于多模態(tài)大模型“復(fù)旦?眸思”(MouSi) 為視障者量身打造的“聽見世界”App 上線。

這套系統(tǒng)僅需一枚攝像頭、一對(duì)耳機(jī),就能將畫面轉(zhuǎn)化為語(yǔ)言,且支持描繪場(chǎng)景、提示風(fēng)險(xiǎn)等功能?!奥犚娛澜纭盇pp 可為視障者日常生活需求設(shè)計(jì)三種模式。

  • 街道行走:該模式下,“眸思”能夠細(xì)致掃描道路情況,提示潛在風(fēng)險(xiǎn)。

  • 自由問(wèn)答:可幫助視障者走進(jìn)博物館、藝術(shù)館、公園,捕捉四周景象每個(gè)細(xì)節(jié),可用聲音構(gòu)建豐富的生活場(chǎng)景,官方演示圖顯示,該 App 還可實(shí)現(xiàn)轉(zhuǎn)述電視畫面內(nèi)容等功能

  • 尋物:該模式為視障者提供日常物件的尋覓功能,官方稱其為“可靠管家”。

▲ 圖源復(fù)旦大學(xué),下同

據(jù)悉,預(yù)計(jì)今年 3 月,“聽見世界”App 將完成第一輪測(cè)試,并在中國(guó)一、二線城市和地區(qū)同步開啟試點(diǎn),根據(jù)算力部署情況進(jìn)行推廣。

IT之家注:復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室(FudanNLP)此前開發(fā)了 MOSS 大模型,2023 年 4 月宣布正式開源,成為國(guó)內(nèi)首個(gè)插件增強(qiáng)的開源對(duì)話語(yǔ)言模型。半年時(shí)間后,多模態(tài)模型“眸思”問(wèn)世。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:復(fù)旦大學(xué),大模型

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知