設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

OPPO AI 中心產(chǎn)品總監(jiān)張峻:多模態(tài)和個(gè)性化是將要深耕的方向

2024/10/21 10:50:54 來(lái)源:IT之家 作者:馬卡 責(zé)編:馬卡

2024 年 10 月 17 日,OPPO 在開(kāi)發(fā)者大會(huì)上正式發(fā)布了 ColorOS 15。ColorOS 15 以“超輕快、更自在”為核心主題,重點(diǎn)提升了流暢、AI、設(shè)計(jì)、易用性等方面。據(jù)悉,ColorOS 15 將首次搭載于 OPPO Find X8 和一加 13 新品,并計(jì)劃于 11 月開(kāi)始為老機(jī)型提供正式版升級(jí)。

當(dāng)天下午,OPPO ColorOS 設(shè)計(jì)總監(jiān)陳希和 OPPO AI 中心產(chǎn)品總監(jiān)張峻接受了媒體采訪,和大家聊了聊關(guān)于 ColorOS 15 和 AI 的問(wèn)題。

在對(duì)話中,OPPO AI 中心產(chǎn)品總監(jiān)張峻分享了明年 AI 發(fā)展的主要方向,表示 OPPO 會(huì)在 AI 方面帶來(lái)更多的驚喜。多模態(tài)和個(gè)性化是將要深耕的方向,同時(shí)端云協(xié)同將是重點(diǎn)架構(gòu)。

“我們相信,在這些領(lǐng)域持續(xù)投入后,一定能為用戶帶來(lái)更加與眾不同的體驗(yàn)?!睆埦M(jìn)一步說(shuō)明,未來(lái)會(huì)將計(jì)算資源緊密結(jié)合的部分盡量放在端側(cè),從而提升安全性、實(shí)時(shí)性和用戶體驗(yàn)。

在討論重度應(yīng)用流暢性優(yōu)化時(shí),OPPO ColorOS 設(shè)計(jì)總監(jiān)陳?;卮穑到y(tǒng)級(jí)流暢性已經(jīng)達(dá)到了相對(duì)高的標(biāo)準(zhǔn),接下來(lái)重點(diǎn)解決的是應(yīng)用內(nèi)的流暢性。

陳希表示,對(duì)于操作系統(tǒng)來(lái)說(shuō),要在長(zhǎng)尾場(chǎng)景和日常精細(xì)化體驗(yàn)上進(jìn)一步優(yōu)化,這就進(jìn)入了“微觀競(jìng)爭(zhēng)”的階段。比如,如何在各種長(zhǎng)尾場(chǎng)景中保持體驗(yàn)的一致性和流暢性,這是未來(lái)競(jìng)爭(zhēng)的維度之一。其次,從系統(tǒng)流暢到應(yīng)用內(nèi)的流暢,需要從芯片層到系統(tǒng)層進(jìn)行深入地優(yōu)化。應(yīng)用消耗系統(tǒng)資源,因此我們通過(guò)底層芯片資源的調(diào)度優(yōu)化來(lái)提高應(yīng)用的表現(xiàn)力,比如潮汐引擎。

據(jù)IT之家報(bào)道,ColorOS 15 進(jìn)行了從底層到用戶界面的全面優(yōu)化,推出了流暢雙引擎 —— 極光引擎和潮汐引擎。極光引擎引入了行業(yè)內(nèi)首個(gè)并行繪制框架,使得動(dòng)畫(huà)效果更加連貫流暢。潮汐引擎則通過(guò)芯片級(jí)別的性能優(yōu)化,實(shí)現(xiàn)了流暢性和續(xù)航能力的雙重提升。

關(guān)于潮汐引擎的技術(shù)優(yōu)勢(shì)是否可供其他廠商使用,陳希表示,潮汐引擎現(xiàn)在已經(jīng)適用于雙平臺(tái),不論是高通還是聯(lián)發(fā)科。未來(lái)這種技術(shù)一定會(huì)成為行業(yè)的標(biāo)配,因?yàn)楦?jìng)爭(zhēng)已經(jīng)到了這個(gè)階段??赡芪覀兘裉祛I(lǐng)先,明天別人就會(huì)復(fù)刻,所以在速度和質(zhì)量上保持領(lǐng)先才是關(guān)鍵。

在此次 OPPO 開(kāi)發(fā)者大會(huì)上,OPPO 還提出了 AIOS 發(fā)展的三個(gè)階段:從第一階段的系統(tǒng)應(yīng)用 AI 化(AI for System),到第二階段的系統(tǒng) AI 化(System for AI),再到第三階段的 AI 即系統(tǒng)(AI as System)。

基于上述理念,ColorOS 15 引入了高效的系統(tǒng)級(jí) AI,包括全新的“超級(jí)小布助手”,它支持一鍵問(wèn)屏、一拍即問(wèn)、一圈即搜、圖片問(wèn)答和文檔問(wèn)答等多種交互方式。此外,系統(tǒng)級(jí) AI 的感知和調(diào)度能力,ColorOS 15 實(shí)現(xiàn)了自有應(yīng)用與三方應(yīng)用間的生態(tài)握手,包括英語(yǔ)陪練、求職面試、旅游攻略、美食點(diǎn)評(píng)等。

談及這個(gè)話題,張峻表示,OS 是 AI 手機(jī)的重要組成部分,AIOS 有三個(gè)階段:應(yīng)用 AI 化、系統(tǒng) AI 化、AI 即系統(tǒng)。AI 已經(jīng)不再是單點(diǎn)功能,而是深度整合的系統(tǒng)級(jí)體驗(yàn)。例如我們推出的“一鍵問(wèn)屏”功能,它需要多模態(tài)交互的融合 —— 不僅要“看”,還要“聽(tīng)”,然后根據(jù)用戶的語(yǔ)音和視覺(jué)反饋?zhàn)龀龇磻?yīng)。這背后需要 AI 平臺(tái)資源的調(diào)度和整合,體現(xiàn)了系統(tǒng)級(jí)的 AI 化。

OS 對(duì)于 AI 手機(jī)的硬件也會(huì)有一定的要求,因?yàn)檫@樣的多模態(tài)交互,需要更多的感知能力,以及對(duì)端側(cè)計(jì)算能力提出了新的硬件需求。所以硬件上,無(wú)論是傳感器的布局還是芯片平臺(tái),都會(huì)進(jìn)行相應(yīng)的升級(jí),以支持系統(tǒng)級(jí)的 AI 功能。

今年來(lái),AI 重構(gòu)系統(tǒng)成為了手機(jī)廠商的宣傳重點(diǎn),但 AI 重構(gòu)系統(tǒng)的差異化與門(mén)檻又在哪里?

針對(duì)這個(gè)問(wèn)題,張峻表示,OPPO 通過(guò) SenseNow 框架實(shí)現(xiàn)了“邊看邊說(shuō)”的功能。表面上看這只是一個(gè)細(xì)微的體驗(yàn)提升,但背后的技術(shù)路徑完全不同。傳統(tǒng) AI 交互通常是單一的 —— 要么“看”,要么“說(shuō)”,但我們的一鍵問(wèn)屏功能可以做到邊看邊說(shuō),實(shí)現(xiàn)同步多模態(tài)的交互。這意味著用戶在瀏覽內(nèi)容時(shí),可以立即詢問(wèn)或發(fā)出指令,AI 可以實(shí)時(shí)響應(yīng),而不再需要用戶在不同模態(tài)之間來(lái)回切換操作。

實(shí)現(xiàn)這一點(diǎn)的背后有著復(fù)雜的分流決策和信息融合理解技術(shù)。系統(tǒng)需要同時(shí)處理多種輸入源,如視覺(jué)信息和語(yǔ)音指令,然后對(duì)這些輸入進(jìn)行協(xié)同處理。我們的目標(biāo)是讓 AI 助理像真人助理一樣,能夠“邊看、邊說(shuō)、邊做”,這種無(wú)縫的體驗(yàn)背后涉及相當(dāng)高的技術(shù)門(mén)檻。

IT之家了解到,在此次開(kāi)發(fā)者大會(huì)上,OPPO 推出了全新的 SenseNow 智慧框架,實(shí)現(xiàn)多模態(tài)直覺(jué)交互體驗(yàn)。該框架集成了自主研發(fā)的語(yǔ)音多級(jí)喚醒和個(gè)性化識(shí)別技術(shù),使語(yǔ)音喚醒和識(shí)別準(zhǔn)確率達(dá)到 97% 以上。多模態(tài)理解技術(shù)讓 AI 具備看的能力,支持 1000 多種主體識(shí)別,并實(shí)現(xiàn)圖文混合檢索。生成式語(yǔ)音合成框架讓 AI 能夠模擬真人語(yǔ)氣和節(jié)奏,支持超過(guò) 20 種個(gè)性化音色。SenseNow 智慧框架還融合不同類(lèi)型的信息源,理解復(fù)雜意圖,完成跨應(yīng)用操作。

陳希補(bǔ)充表示,OPPO 提出了一個(gè) AI 理念,叫做“直覺(jué)、整合、專(zhuān)屬、安全”四個(gè)核心要素。其中,“直覺(jué)”和“整合”是今天我們特別強(qiáng)調(diào)的。直覺(jué)是指系統(tǒng)越來(lái)越像人類(lèi),能夠具備類(lèi)似人的感知能力,讓交互變得自然和擬人化。整合是指,將各個(gè)模態(tài)的信息和交互整合到一起,而不是簡(jiǎn)單地一個(gè)模態(tài)完成后切換到另一個(gè)模態(tài)。例如在今天的發(fā)布會(huì)上展示的“一鍵問(wèn)屏”,這功能看似用戶只是說(shuō)了一句話,但背后 AI 系統(tǒng)需要進(jìn)行很多隱含的前提理解和推理,以完成用戶的意圖。

這其中的整合就是我們強(qiáng)調(diào)的核心難點(diǎn)之一。機(jī)器不像人類(lèi)那樣自然而然地理解場(chǎng)景和意圖,它需要經(jīng)過(guò)大量的條件界定和判斷。而我們做了許多投入,使得這些多模態(tài)交互和整合能夠最終展現(xiàn)在用戶面前,這也是 AI 重構(gòu)系統(tǒng)的一個(gè)重要部分。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

軟媒旗下網(wǎng)站: IT之家 最會(huì)買(mǎi) - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買(mǎi) 要知