前段時(shí)間，高通舉行了 2023 年驍龍峰會(huì)。本次峰會(huì)最受關(guān)注的看點(diǎn)莫過于面向 PC 打造的最強(qiáng)計(jì)算處理器驍龍 X Elite 平臺(tái)，以及第三代驍龍 8 移動(dòng)平臺(tái)的發(fā)布。他們都是集終端側(cè)智能、頂級(jí)性能和能效于一體的強(qiáng)大產(chǎn)品。
和以往驍龍旗艦平臺(tái)發(fā)布后大家集中討論性能、討論功耗等不同，今年的驍龍 X Elite 平臺(tái)和第三代驍龍 8 移動(dòng)平臺(tái)發(fā)布后，大家將更多討論的焦點(diǎn)集中在了 AI 上，事實(shí)上，這兩款產(chǎn)品都是專為 AI 打造、由 AI 賦能的強(qiáng)大平臺(tái)，第三代驍龍 8 移動(dòng)平臺(tái)更是將 AI 注入整個(gè)平臺(tái)系統(tǒng)，并開啟生成式 AI 的新時(shí)代。
眾所周知，AI 對(duì)于人們生產(chǎn)、生活的影響正在肉眼可見地持續(xù)擴(kuò)大和加深，這其中尤以生成式 AI 的火爆和快速應(yīng)用為關(guān)鍵節(jié)點(diǎn)。它的發(fā)展進(jìn)一步完善了人機(jī)交互的方式，特別是終端側(cè)生成式 AI 對(duì)于打造強(qiáng)大、快速、個(gè)性化、高效、安全和高度優(yōu)化的體驗(yàn)至關(guān)重要，而這些變革性的體驗(yàn)，都將由 AI 賦能的芯片在底層驅(qū)動(dòng)。
而這一切對(duì)于高通來說，并非一蹴而就，而是多年深耕后水到渠成的結(jié)果。
多年深耕演變，AI 已成驍龍平臺(tái)關(guān)鍵基礎(chǔ)能力
關(guān)注高通的朋友們相信都會(huì)發(fā)現(xiàn)，過去這些年，高通一直在強(qiáng)調(diào)驍龍移動(dòng)平臺(tái)的 AI 能力，同時(shí) AI 在驍龍移動(dòng)平臺(tái)中扮演的角色也越來越重要，越來越多元。
但無論技術(shù)如何進(jìn)化，應(yīng)用如何豐富，總體來說他們一直堅(jiān)持的方向就是：將具有強(qiáng)大算力的人工智能技術(shù)應(yīng)用到終端上，推進(jìn)終端側(cè) AI 的發(fā)展。
比如早在 2007 年，高通就啟動(dòng)了首個(gè)人工智能項(xiàng)目，那個(gè)時(shí)候，其實(shí)還是功能機(jī)的天下。經(jīng)過近 10 年的積累以及成果取得，高通在 2015 年驍龍 820 處理器上正式融入了第一代人工智能引擎 Zeroth，在 CPU 上實(shí)現(xiàn)運(yùn)行神經(jīng)網(wǎng)絡(luò)。
當(dāng)時(shí)的 AI 應(yīng)用主要還是實(shí)現(xiàn)一些初級(jí)的功能，比如根據(jù)用戶拍攝的照片進(jìn)行智能化分類，識(shí)別出實(shí)物和汽車的圖像，分別存儲(chǔ)在兩個(gè)不同的文件夾，方便用戶更好地管理拍攝的照片等。
2016 年，高通發(fā)布了驍龍神經(jīng)處理引擎 SDK，而在 2017 年初，第二代人工智能引擎也隨著驍龍 835 的發(fā)布而問世。這一人工智能芯片推出后，智能手機(jī)開始進(jìn)入智能相冊管理和人臉識(shí)別的時(shí)代，特別是人臉識(shí)別的應(yīng)用，讓 AI 在智能終端上的存在感邁上了新臺(tái)階。
2018 年，隨著驍龍 845 移動(dòng)平臺(tái)發(fā)布，高通第三代人工智能引擎 AI Engine 問世，這一代人工智能引擎中，高通開始引入 CPU、GPU 和 DSP 的異構(gòu)并行計(jì)算，AI 算力性能方面相比上一代提升了 3 倍，這讓智能手機(jī)也能擁有強(qiáng)大頂級(jí)的 AI 算力支持。
2019 年，AI Engine 隨著驍龍 855 移動(dòng)平臺(tái)來到第四代，能夠?qū)崿F(xiàn)每秒超過 7 萬億次運(yùn)算，讓 AI 在智能手機(jī)上有了更多元的應(yīng)用，比如當(dāng)時(shí)高通和網(wǎng)易合作利用 AI Engine 在部分驍龍移動(dòng)平臺(tái)上加速有道實(shí)景 AR 翻譯功能，還有他們和騰訊合作借助驍龍神經(jīng)處理 SDK 來進(jìn)行終端側(cè)的實(shí)際應(yīng)用，比如手機(jī) QQ 的“高能舞室”功能等等。
2020 年驍龍 865 移動(dòng)平臺(tái)中搭載了第五代 AI Engine，AI 性能相比上一代提升了 2 倍多，達(dá)到 15TOPS。強(qiáng)大的算力加持下 AI 在智能終端上的應(yīng)用也擴(kuò)展到了游戲、拍照、交互等領(lǐng)域。比如在影像領(lǐng)域，第五代 AI Engine 通過強(qiáng)大的 AI 能力作用于 Spectra 480 ISP ，對(duì)圖像數(shù)字信息進(jìn)行去除噪點(diǎn)、高光抑制、暗光補(bǔ)償?shù)缺姸鄡?yōu)化處理，讓當(dāng)時(shí)眾多手旗艦手機(jī)的拍照表現(xiàn)，尤其是動(dòng)態(tài)范圍表現(xiàn)有了質(zhì)的提升。
接下來在驍龍 888 移動(dòng)平臺(tái)中第六代 AI Engine 在性能上持續(xù)進(jìn)化，也推動(dòng)智能終端在影像、游戲等方面的體驗(yàn)越來越出色。比如高通曾和 Snapchat 合作，利用 AI 模型增效工具包，量化他們的一系列 AI 鏡頭模型，以提高人臉識(shí)別的準(zhǔn)確性和性能，還有可以在視頻中實(shí)現(xiàn)人像摳圖等等。
2021 年驍龍 8 Gen 1 移動(dòng)平臺(tái)的第七代 AI Engine 實(shí)現(xiàn)了性能能效的雙翻倍，同時(shí)重點(diǎn)為終端攝像頭帶來了更智慧的感知能力，比如攝像頭人臉檢測更出色的自動(dòng)對(duì)焦、自動(dòng)曝光和自動(dòng)白平衡（3A）與細(xì)節(jié)，還有當(dāng)終端感應(yīng)到有人在隔著用戶肩膀偷看手機(jī)，終端就會(huì)自動(dòng)鎖屏。同時(shí)在驍龍 8 Gen 1 中高通還將 AI 技術(shù)融入到 Spectra ISP、以及調(diào)制解調(diào)器和射頻系統(tǒng)中，實(shí)現(xiàn)了實(shí)時(shí)人臉識(shí)別、 AI 天線調(diào)諧技術(shù)等能力。
而上一代驍龍 8 Gen 2 平臺(tái)更是 AI 無處不在，無論是影像、音頻、連接還是游戲等方面的體驗(yàn)，都有 AI 的深度參與，同時(shí)“認(rèn)知 AI”成為高通致力于推進(jìn)的新方向、新階段，讓 AI 能夠從上下文、時(shí)間軸的維度去理解人類的認(rèn)知情感，這無疑是具有里程碑性質(zhì)的。
通過對(duì)驍龍平臺(tái)上 AI 技術(shù)和應(yīng)用演進(jìn)的回顧可以發(fā)現(xiàn)，AI 在終端體驗(yàn)中的作用的確越來越關(guān)鍵和多元，從過去只偶爾出現(xiàn)在影像、情景感知等邊角的角色，逐漸發(fā)展到貫穿整個(gè)芯片所有關(guān)鍵領(lǐng)域，如今已然成為最關(guān)鍵基礎(chǔ)能力。
第三代驍龍 8 及驍龍 X Elite 宣告，移動(dòng)芯片的 AI 時(shí)代已經(jīng)到來
過去我們談“終端體驗(yàn)”，大部分人的視線還是聚焦在 CPU 性能，視野更廣一些，很多人還會(huì)關(guān)注 GPU、ISP、音頻、5G、Wi-Fi 等能力，這些的確構(gòu)成了我們更為全面的終端體驗(yàn)。之前高通提出的集連接、AI、影像、音頻、游戲、安全六大支柱體驗(yàn)于一芯的理念，為驍龍移動(dòng)平臺(tái)帶來了全方位、幾乎沒有破綻和短板的移動(dòng)體驗(yàn)，這其中不可忽視的地方在于，六大支柱體驗(yàn)的背后，有一個(gè)關(guān)鍵的底層驅(qū)動(dòng)力，就是 AI。
而這次 2023 驍龍峰會(huì)讓我們看到，AI 正從底層的驅(qū)動(dòng)力變成需要關(guān)注的焦點(diǎn)。在驍龍 8 Gen 3（第三代驍龍 8）和驍龍 X Elite 平臺(tái)上，高通將他們在終端側(cè) AI 方面的技術(shù)領(lǐng)先性和領(lǐng)導(dǎo)力徹底貫注到兩大芯片平臺(tái)上，讓 AI 真正成為全方位變革終端體驗(yàn)的“明星”。
比如在第三代驍龍 8 移動(dòng)平臺(tái)上，AI Engine（高通 AI 引擎）發(fā)展到了第九代，并做了積極的革新，高通將過去的 Hexagon 張量加速器升級(jí)為 Hexagon NPU，從而可以協(xié)調(diào)整個(gè)平臺(tái)。同時(shí) Hexagon NPU 本身也升級(jí)了新的微架構(gòu)，整體性能提升 98％，能效提升了 40％。
同時(shí)驍龍 8 Gen 3 中高通在 Hexagon NPU 矢量單元和內(nèi)存之間增加了直連通道，大大增強(qiáng)了 AI 運(yùn)算的處理效率。同時(shí)傳感器中樞也得到了升級(jí)，擁有內(nèi)存、兩個(gè)微型 NPU、Spectra DSP、雙 ISP 等不同模塊，可以隨時(shí)隨地提供高效的 AI 運(yùn)算和處理。
在這些強(qiáng)大的升級(jí)加持下，驍龍 8 Gen 3 可以支持包括 Meta Llama 2 在內(nèi)的多種生成式 AI 大模型，并已經(jīng)能實(shí)現(xiàn)運(yùn)行參數(shù)超過 100 億的大模型，每秒可執(zhí)行多達(dá) 20 Token。通過在終端側(cè)運(yùn)行這些強(qiáng)大的大型模型，用戶無需再完全依賴云端。
今年早些時(shí)候，高通全球首次利用 Stable Diffusion 進(jìn)行圖像生成的終端側(cè)部署技術(shù)演示，該演示完全在終端側(cè)運(yùn)行，用時(shí)不超過 15 秒。而通過第三代驍龍 8 運(yùn)行這一模型僅需約 0.5 秒，強(qiáng)大的 AI 提升由此可見一斑。
在影像方面，驍龍 8 Gen 3 集成了三個(gè)感知 ISP，在強(qiáng)大的 AI 能力加持下，如今可以支持多達(dá) 12 層的語義分割，可以更精準(zhǔn)地識(shí)別物體和場景。
同時(shí)它還支持視頻場景下的物體智能消除，超級(jí)夜景功能也不再局限于拍照，更可用于錄像，這兩種能力沒有強(qiáng)勁的 AI 支撐是很難實(shí)現(xiàn)的。
就連 5G 也融入了 AI 的能力。驍龍 8 Gen 3 集成了全球首個(gè)毫米波硬件（QTM565）與 Sub-6 硬件相融合的調(diào)制解調(diào)器驍龍 X75，同時(shí)也擁有首個(gè)專用硬件張量加速器，高通 5G AI 處理器第二代將 AI 性能提高 2.5 倍，這樣便可以更智能地選擇最佳頻率，以實(shí)現(xiàn)最佳連接。
而全新驍龍 X Elite 計(jì)算平臺(tái)，則搭載了異構(gòu)的高通 AI 引擎，通過 NPU、CPU 和 GPU 能夠整體實(shí)現(xiàn) 75TOPS 的算力，相比 6 年前，其 AI 性能提高了 100 倍。
這其中，全新驍龍 X Elite 計(jì)算平臺(tái)搭載的 Hexagon NPU 算力可以達(dá)到 45 TOPS，在筆記本上運(yùn)行 70 億參數(shù)的 Llama 2 模型時(shí)，能夠提供快速且準(zhǔn)確的響應(yīng)，處理速度則達(dá)到了 30 Tokens / s。
不僅如此，它還能完全在終端上運(yùn)行超過 130 億參數(shù)的生成式模型，無需云端資源。這樣，生成式 AI 就能幫你起草完整的電子郵件、轉(zhuǎn)錄會(huì)議記錄，或者借助文本生成和圖像生成工具快速進(jìn)行研討等?；诮衲陞?shù)運(yùn)行發(fā)展情況，相信未來的商用機(jī)上市時(shí)，能力有可能進(jìn)一步更新。
這些事過去還智能在數(shù)據(jù)中心里實(shí)現(xiàn)，現(xiàn)在憑借驍龍 X Elite 計(jì)算平臺(tái)，同樣的事就可以在 PC 本地端進(jìn)行。這正是基于高通多年的異構(gòu)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)，讓其成為現(xiàn)代 AI PC 的完美解決方案。
可見無論是第三代驍龍 8 還是全新的驍龍 X Elite 計(jì)算平臺(tái)，他們都是專為 AI 設(shè)計(jì)的、甚至可以說由 AI 定義的芯片平臺(tái)，并且在 AI 的定義下，他們的連接、影像、音頻、游戲、安全等支柱體驗(yàn)都得到了令人欣喜的增強(qiáng)。
移動(dòng)芯片平臺(tái)的“AI 時(shí)代”，已經(jīng)到來。
AI 時(shí)代落地的最后一公里
當(dāng)然，僅僅是芯片平臺(tái)本身邁入“AI 時(shí)代”還不夠，對(duì)于廣大用戶來說，這些 AI 能力必須轉(zhuǎn)化為實(shí)際落地的產(chǎn)品和應(yīng)用，我們才算真正進(jìn)入 AI 時(shí)代。而這些則離不開高通和開發(fā)者們在軟件、工具層面的緊密合作，乃至與生態(tài)合作伙伴們的密切配合。
比如針對(duì)第三代驍龍 8 平臺(tái)移動(dòng)端生成式 AI 能力的落地，高通擁有專門面向邊緣側(cè) AI 的領(lǐng)先軟件棧產(chǎn)品，高通 AI 軟件棧，能夠支持從軟件層面進(jìn)行模型優(yōu)化。通過高通 AI 軟件棧中算法、模型開發(fā)、 AI 模型增效工具包、編譯器、AI 引擎 Direct 等一系列工具，開發(fā)者們可以將他們想要實(shí)現(xiàn)的 AI 功能和體驗(yàn)輕松引入終端。
而在終端以及應(yīng)用層面，高通也與合作伙伴們有深入的合作。例如作為終端廠商的小米很早就明確了“AI 全面賦能”的戰(zhàn)略，在 AI 模型上，小米選擇將他們的大模型重點(diǎn)放在端側(cè)計(jì)算上做優(yōu)化，在本次驍龍峰會(huì)上，他們展示了自研的 60 億參數(shù)大模型（6B 大模型）在驍龍 8 Gen 3 平臺(tái)上流暢運(yùn)行。根據(jù)小米的介紹，他們運(yùn)行于一個(gè)特殊的 NPU 之上，對(duì) 1000 tokens 的指令，只需 2.2 秒疾速生成首詞，這就是小米和高通深度合作取得的成果。
除了終端硬件廠商，高通也在與軟件廠商們合作推動(dòng)生成式 AI 應(yīng)用的落地，比如他們和國內(nèi)的慧鯉科技，面向第三代驍龍 8 開發(fā)了一個(gè)神經(jīng)網(wǎng)絡(luò)，能夠重構(gòu)照片缺失的部分，即“照片擴(kuò)充”，它能支持用戶對(duì)照片進(jìn)行縮放，讓照片看起來具有廣角效果，即使并非用廣角鏡頭拍攝。
而對(duì)于驍龍 X Elite 計(jì)算平臺(tái)，在 PC 領(lǐng)域高通最重要的合作者莫過于微軟了，他們一直在和微軟工程團(tuán)隊(duì)合作優(yōu)化全新平臺(tái)的特性，微軟表示，絕大多數(shù)頂級(jí)應(yīng)用都將以超快速度和能效在搭載驍龍 X Elite 計(jì)算平臺(tái)的 Windows PC 上原生運(yùn)行或通過無縫仿真運(yùn)行，特別是微軟自身的生產(chǎn)力應(yīng)用，包括 Word, Excel, Powerpoint, Edge, Teams, OneDrive, OneNote 和 Outlook 都是原生的。
對(duì)于 Windows 11，微軟改進(jìn)了 Windows Studio Effects、宣布推出 AI Library，在更新中為 Copilot 和 Paint 等收件箱應(yīng)用程序中引入生成式 AI，還與諸如 Camo、Luminar Neo、WhatsApp 等進(jìn)行合作，共同優(yōu)化 Windows 平臺(tái)的生成式 AI 應(yīng)用體驗(yàn)，而這些大家也都將在驍龍 X Elite 計(jì)算平臺(tái)驅(qū)動(dòng)的 Windows PC 上得以體驗(yàn)。
此外面向開發(fā)者們，高通還和微軟合作，推出了 Windows Dev Kit 2023。這個(gè)工具包包含了面向驍龍平臺(tái)開發(fā) Windows 應(yīng)用程序所需的一切，全都匯集在一臺(tái)設(shè)備中，包括一些出色的開發(fā)者工具，例如 Visual Studio 和 Unity runtime 引擎，它們被原生移植到 Arm 平臺(tái)。還有 ONNX Runtime 與相關(guān)執(zhí)行提供程序。這些都將助力開發(fā)人員制作具有強(qiáng)大 AI 功能的原生應(yīng)用。
結(jié)語
最后，相信在高通及其合作伙伴們的努力下，不僅僅是移動(dòng)芯片平臺(tái)走向 AI 時(shí)代，更重要的是我們移動(dòng)生活的方方面面，也都將因?yàn)榕c AI 的交融而變得更加美好。
特別是眼下，各行各業(yè)數(shù)智化轉(zhuǎn)型的進(jìn)程正在全速推進(jìn)，而站在多項(xiàng)關(guān)鍵技術(shù)和行業(yè)趨勢交匯點(diǎn)上的高通，必將厚積薄發(fā)，和全行業(yè)一起推動(dòng) AI 的融合發(fā)展與創(chuàng)新，改變我們體驗(yàn)世界的方式，讓數(shù)智化的未來加快成為現(xiàn)實(shí)。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。