AI 模型所需算力每 100 天就要翻一倍，遠(yuǎn)超摩爾定律的 18-24 個(gè)月，智能計(jì)算能破局這種算力困境嗎？
人工智能就是一個(gè)「拼財(cái)力」的行業(yè)，如果沒有高性能計(jì)算設(shè)備，別說開發(fā)基礎(chǔ)模型，就連微調(diào)模型都做不到。
但如果只靠拼硬件，單靠當(dāng)前計(jì)算性能的發(fā)展速度，遲早有一天無法滿足日益膨脹的需求，所以還需要配套的軟件來協(xié)調(diào)統(tǒng)籌計(jì)算能力，這時(shí)候就需要用到「智能計(jì)算」技術(shù)。
最近，來自之江實(shí)驗(yàn)室、中國(guó)工程院、國(guó)防科技大學(xué)、浙江大學(xué)等多達(dá)十二個(gè)國(guó)內(nèi)外研究機(jī)構(gòu)共同發(fā)表了一篇論文，首次對(duì)智能計(jì)算領(lǐng)域進(jìn)行了全面的調(diào)研，涵蓋了理論基礎(chǔ)、智能與計(jì)算的技術(shù)融合、重要應(yīng)用、挑戰(zhàn)和未來前景。
這也是第一篇正式提出智能計(jì)算的定義及其統(tǒng)一理論框架的評(píng)論文章，全文結(jié)構(gòu)如下。
AI 開啟大規(guī)模算力時(shí)代
人類社會(huì)正在從信息社會(huì)進(jìn)入智能社會(huì)，計(jì)算已經(jīng)成為規(guī)范和推動(dòng)社會(huì)發(fā)展的關(guān)鍵因素。在萬物互聯(lián)的數(shù)字文明新時(shí)代，傳統(tǒng)的數(shù)據(jù)計(jì)算遠(yuǎn)遠(yuǎn)不能滿足人類對(duì)更高智能水平的日益增長(zhǎng)的需求。
人們對(duì)智能計(jì)算的興趣日益濃厚，加上計(jì)算科學(xué)的發(fā)展，對(duì)物理世界的智能感知，以及對(duì)人類意識(shí)認(rèn)知機(jī)制的理解，共同提升了計(jì)算的智能水平，加速了知識(shí)的發(fā)現(xiàn)和創(chuàng)造。
近年來，計(jì)算和信息技術(shù)快速發(fā)展，由于深度學(xué)習(xí)的空前普及和成功，人工智能（AI）已被確立為人類探索機(jī)器智能的前沿領(lǐng)域，并在此基礎(chǔ)上取得了一系列突破性的研究成果，包括：
Yann LeCun 提出的卷積神經(jīng)網(wǎng)絡(luò)（CNN）；Yoshua Bengio 在深度學(xué)習(xí)的因果推理領(lǐng)域的貢獻(xiàn)；Geoffrey Hinton，人工智能的先驅(qū)之一，在 2006 年提出了深度置信網(wǎng)絡(luò)（Deep Brief Network）模型和反向傳播優(yōu)化算法。
J?urgen Schmidhuber 提出了廣為使用的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶（LSTM），并成功用于處理序列數(shù)據(jù)，如語音、視頻和時(shí)序數(shù)據(jù)。
2016 年 3 月，DeepMind 推出的人工智能圍棋程序 AlphaGo 與世界頂級(jí)人類圍棋大師李世石展開對(duì)戰(zhàn)，引起了全世界前所未有的關(guān)注，這場(chǎng)劃時(shí)代的人機(jī)大戰(zhàn)以人工智能的壓倒性勝利而告終，并成為將人工智能的浪潮推向一個(gè)全新的高度的催化劑。
人工智能的另一個(gè)重要推動(dòng)者是大型預(yù)訓(xùn)練模型的出現(xiàn)，這些模型已經(jīng)開始廣泛用于自然語言和圖像處理，在遷移學(xué)習(xí)的幫助下處理各種各樣的應(yīng)用。
例如，GPT-3 已經(jīng)證明，一個(gè)具有高度結(jié)構(gòu)復(fù)雜性和大量參數(shù)的大型模型可以提高深度學(xué)習(xí)的性能，在 GPT-3 的啟發(fā)下，涌現(xiàn)了大量的大規(guī)模深度學(xué)習(xí)模型。
智能和計(jì)算
計(jì)算能力是支撐智能計(jì)算的重要因素之一。
鑒于信息社會(huì)中天文數(shù)字般的數(shù)據(jù)源、異構(gòu)的硬件配置和不斷變化的計(jì)算需求，智能計(jì)算主要通過垂直和水平架構(gòu)來滿足智能任務(wù)的計(jì)算能力要求。
垂直架構(gòu)（vertical architectures）的特點(diǎn)是同質(zhì)化的計(jì)算基礎(chǔ)設(shè)施，主要通過應(yīng)用智能方法提高資源利用效率來提升計(jì)算能力。
相比之下，水平架構(gòu)（horizontal architecture）協(xié)調(diào)和安排異構(gòu)和廣域（wide-area）計(jì)算資源以最大限度地提高協(xié)作計(jì)算的效率。
例如，2020 年 4 月，為了應(yīng)對(duì)全球 COVID-19 研究的計(jì)算需求，F(xiàn)olding@home 在三周內(nèi)聯(lián)合 40 萬名計(jì)算志愿者實(shí)現(xiàn)了 2.5Exaflops 的計(jì)算量，比世界上任何一臺(tái)超級(jí)計(jì)算機(jī)的計(jì)算能力都要強(qiáng)。
盡管在智能和計(jì)算方面已經(jīng)取得了巨大的成功，但這兩個(gè)領(lǐng)域仍然面臨著一些難題。
智能的挑戰(zhàn)
使用深度學(xué)習(xí)的人工智能目前在可解釋性、通用性、可進(jìn)化性和自主性方面仍沒有解決。
目前的大多數(shù)人工智能技術(shù)與人類智能相比，只能發(fā)揮微弱的作用，而且只在特定的領(lǐng)域或任務(wù)中發(fā)揮作用，實(shí)現(xiàn)強(qiáng)大且通用的人工智能仍有很長(zhǎng)的路要走。
最后，從基于數(shù)據(jù)的智能升級(jí)到更多樣化的智能形式，包括感知智能、認(rèn)知智能、自主智能和人機(jī)融合智能等，也存在重大的理論和技術(shù)挑戰(zhàn)。
計(jì)算的挑戰(zhàn)
數(shù)字化浪潮帶來了前所未有的應(yīng)用、連接、終端和用戶的增長(zhǎng)，以及產(chǎn)生的數(shù)據(jù)量，都需要巨大的計(jì)算能力。
例如，人工智能所需的計(jì)算能力每 100 天翻一番，也就是說，預(yù)計(jì)在未來五年內(nèi)將增加超過 100 萬倍。
隨著摩爾定律逐漸失效，要跟上如此快速增長(zhǎng)的計(jì)算能力要求變得很有挑戰(zhàn)性。
智能社會(huì)中的大規(guī)模任務(wù)的處理依賴于各種具體計(jì)算資源的有效組合，傳統(tǒng)的硬件模式不能很好地適應(yīng)智能算法，極大限制了軟件的發(fā)展。
何為智能計(jì)算？
時(shí)至今日，仍然沒有一個(gè)被廣泛接受的智能計(jì)算定義。
一些研究人員將智能計(jì)算視為人工智能和計(jì)算技術(shù)的結(jié)合，但這種觀點(diǎn)將智能計(jì)算的定義限制在人工智能領(lǐng)域內(nèi)，同時(shí)忽略了人工智能固有的局限性以及人類、機(jī)器和事物之間三元互動(dòng)的重要作用。
另一個(gè)學(xué)派將智能計(jì)算（intelligent computing）視為計(jì)算智能（computational intelligence），模仿人類或生物智能來實(shí)現(xiàn)解決特定問題的最優(yōu)算法，并將智能計(jì)算主要視為一種算法創(chuàng)新。
在這篇論文中，研究人員從解決復(fù)雜的科學(xué)和社會(huì)問題的角度提出了智能計(jì)算的新定義，同時(shí)考慮到世界的三個(gè)基本空間，即人類社會(huì)空間、物理空間和信息空間的日益緊密融合。
Intelligent Computing 的定義
智能計(jì)算是指在支持世界互聯(lián)的數(shù)字文明時(shí)代，包含了新的計(jì)算理論方法、架構(gòu)系統(tǒng)和技術(shù)能力的領(lǐng)域。智能計(jì)算根據(jù)具體的實(shí)際需要，以最小的成本完成計(jì)算任務(wù)，匹配足夠的計(jì)算能力，調(diào)用最好的算法，并能獲得最佳的結(jié)果。
智能計(jì)算的新定義是針對(duì)人類社會(huì)、物理世界和信息空間三者融合中快速增長(zhǎng)的計(jì)算需求而提出的。智能計(jì)算以人為本，追求高計(jì)算能力、高能效、高智能、高安全。
其目標(biāo)是提供普遍、高效、安全、自主、可靠和透明的計(jì)算服務(wù)，以支持大規(guī)模復(fù)雜的計(jì)算任務(wù)。 圖 1 顯示了智能計(jì)算的總體理論框架，它體現(xiàn)了支持人類-物理-信息整合的各種計(jì)算范例。
首先，智能計(jì)算既不是現(xiàn)有計(jì)算機(jī)、云計(jì)算、邊緣計(jì)算以及其他計(jì)算技術(shù)（如神經(jīng)形態(tài)計(jì)算、光電計(jì)算和量子計(jì)算）的替代品，也并非是簡(jiǎn)單整合。相反，它是一種計(jì)算形式，通過根據(jù)任務(wù)要求系統(tǒng)地、全面地優(yōu)化現(xiàn)有的計(jì)算方法和資源來解決實(shí)際問題。
相比之下，現(xiàn)有的主要計(jì)算學(xué)科，如超級(jí)計(jì)算、云計(jì)算和邊緣計(jì)算，屬于不同的領(lǐng)域：超級(jí)計(jì)算旨在實(shí)現(xiàn)高計(jì)算能力，云計(jì)算強(qiáng)調(diào)跨平臺(tái) / 設(shè)備的便利，而邊緣計(jì)算則追求服務(wù)質(zhì)量和傳輸效率。
智能計(jì)算動(dòng)態(tài)地協(xié)調(diào)邊緣計(jì)算、云計(jì)算和超級(jí)計(jì)算領(lǐng)域之間的數(shù)據(jù)存儲(chǔ)、通信和計(jì)算，構(gòu)建了各種跨領(lǐng)域的智能計(jì)算系統(tǒng)，支持端到端的云協(xié)作、云間協(xié)作和超級(jí)計(jì)算互聯(lián)。
智能計(jì)算應(yīng)當(dāng)充分利用現(xiàn)有的計(jì)算技術(shù)，更重要的是促進(jìn)新的智能計(jì)算理論、架構(gòu)、算法和系統(tǒng)的形成。
其次，智能計(jì)算概念的提出是為了解決未來人類-物理-信息空間融合發(fā)展中的問題。
隨著大數(shù)據(jù)時(shí)代信息技術(shù)應(yīng)用的發(fā)展，物理空間、數(shù)字空間和人類社會(huì)之間的界限已經(jīng)變得越來越模糊。
人類世界已經(jīng)演變成一個(gè)新的空間，其特點(diǎn)是人類、機(jī)器和事物的緊密融合，社會(huì)系統(tǒng)、信息系統(tǒng)和物理環(huán)境構(gòu)成了一個(gè)動(dòng)態(tài)耦合的大系統(tǒng)，在這個(gè)系統(tǒng)中，人、機(jī)器和事物以高度復(fù)雜的方式整合和互動(dòng)，這促進(jìn)了未來新計(jì)算技術(shù)和應(yīng)用場(chǎng)景的發(fā)展和創(chuàng)新。
參考資料：
https://spj.science.org/doi/10.34133/icomputing.0006
本文來自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。