設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

GPT-4 剛發(fā)布就有手機(jī) App 接入,上傳照片視頻一鍵解讀,還當(dāng)起了美版知乎的問答 bot

量子位 2023/3/20 11:45:09 責(zé)編:夢澤

GPT-4 剛發(fā)布,就已經(jīng)有手機(jī)應(yīng)用接入了!

只需要上傳圖像,再用語音提出需求,GPT-4 就能幫助視障人士“看清”眼前的世界。

隨時(shí)隨地,實(shí)時(shí)解讀,就像聊天對話一樣自然。

例如想要換裝,卻不知道手里的衣服是什么顏色:

只需要拍照上傳給 GPT-4,它很快就能將衣服紋理描述出來,材質(zhì)、顏色和形狀一清二楚:

翻譯 by 有道

在此之前,視障人士除了用手觸摸以外,辨別物體往往需要依靠身邊的人或是志愿者的幫助。

有網(wǎng)友看到后贊嘆:這是目前見過最令人驚嘆的 GPT-4 應(yīng)用之一!

所以,加入了圖像理解功能的 GPT-4,究竟展現(xiàn)出了哪些能力?

基于 GPT-4 讀圖能力打造

這個(gè)基于 GPT-4 的新功能名叫 Virtual Volunteer,來自應(yīng)用 Be My Eyes

目前來看,包括問路、導(dǎo)航、讀取菜單、搜索等功能,接入 GPT-4 的 Virtual Volunteer 都能很好地幫用戶完成。

例如問路。

只需要拍一張所在地點(diǎn)的照片,再通過語音詢問 GPT-4 如何到達(dá)指定地點(diǎn),它就會輸出一條完整路線圖,“讀”給用戶聽:

翻譯 by 有道

又例如讀圖翻譯。

只需要給 GPT-4 看眼物品描述、甚至只是物體形狀,它就能搜索并輸出這個(gè)產(chǎn)品的功能、具體說明和使用方法。

翻譯 by 有道

再例如公眾場合導(dǎo)航。

想去健身房、卻無法掌握空閑的器材位置,只需要拍攝所在場景照片,GPT-4 就能指引你走到無人的器材面前。

翻譯 by 有道

當(dāng)然,還有點(diǎn)菜、使用自動(dòng)販賣機(jī)買飲料、搜索某種植物的名字、給出時(shí)裝建議……

只要將需求告訴 GPT-4,它就能幫助視障人士解決對應(yīng)的問題。

不過,目前這一功能還在測試中,蘋果商店可以加入等待列表,至于安卓版也快來了。

搭載它的應(yīng)用 Be My Eyes,是一個(gè)為盲人開發(fā)的公益應(yīng)用。

它最早是一個(gè) 2012 年成立的互助社區(qū),并于 2015 年上線 iOS 版本應(yīng)用,隨后又上線了安卓版應(yīng)用。

這個(gè)應(yīng)用分為志愿者和盲人兩個(gè)群體,志愿者會接受盲人傳過來的照片或視頻,通過語音溝通(打電話)幫助他們解決困難,目前已經(jīng)有接近 45w + 視障人士和 630w + 志愿者使用。

如果成為一名志愿者,則只需要保持在線,確保隨時(shí)可以接聽到視障人士的電話。

如果是視障人士使用,則可以在需要幫助時(shí)撥打志愿者電話,或是尋求一些專業(yè)人士的幫助:

現(xiàn)在加入 Virtual Volunteer 之后,盲人也可以呼叫“虛擬志愿者”GPT-4 的幫助,不用擔(dān)心深夜無人應(yīng)答的問題。

官方還玩了個(gè)諧音梗,AI → Eyes,“讓 AI 成為你的眼睛”:

還當(dāng)起美版知乎問答 bot

當(dāng)然,除了 Be My Eyes 應(yīng)用以外,不少其他 App 也在爭先恐后接入 GPT-4。

例如,在美版知乎 Quora 出的 Poe 上,現(xiàn)在已經(jīng)可以和 GPT-4 聊天(限免一句話):

又像 AI 律師軟件 DoNotPay,同樣已經(jīng)接入了 GPT-4,并計(jì)劃用它來推出“一鍵訴訟”服務(wù)。

基于這個(gè)服務(wù),你看不順眼的電話詐騙,一鍵就能舉報(bào)投訴。

如果接到電話詐騙,只需要點(diǎn)擊一個(gè)按鈕,對應(yīng)的電話內(nèi)容就會被全程錄音,并生成 1000 字的訴訟內(nèi)容,索賠 1500 美元的金額。(不過目前還只有美國地區(qū)適用)

值得一提的是,DoNotPay 的 CEO Joshua Browder 表示,他們之前也用 GPT-3.5 做過類似的功能,但效果不太行,GPT-4 則已經(jīng)能很好地 hold 住這一要求。

甚至已經(jīng)有網(wǎng)友嘗試用 GPT-4 來搞藥物發(fā)現(xiàn)了……

除了上述應(yīng)用和功能以外,還有網(wǎng)友察覺到了 GPT-4 開發(fā)小游戲的前景。

新的 GPT-4 似乎在編程靠譜度上也有所提升,無論是在 60 秒內(nèi)做一個(gè)打乒乓球小游戲:

還是 20 分鐘之內(nèi)搞出一個(gè)完整的貪吃蛇:

都可以說是游刃有余,提出更改需求也可以及時(shí)完成,編寫的簡單程序中基本上沒有遇到需要修改的 bug。

你還想到了什么 GPT-4 好玩的應(yīng)用場景嗎?

參考鏈接:

  • [1]https://twitter.com/BeMyEyes/status/1635690254689599488

  • [2]https://twitter.com/skirano/status/1635736107949195278

  • [3]https://twitter.com/ammaar/status/1635754631228952576

  • [4]https://www.bemyeyes.com/download

  • [5]https://twitter.com/jbrowder1/status/1635720431091974157

本文來自微信公眾號:量子位 (ID:QbitAI),作者:蕭簫

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:GPT4

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知