IT之家 12 月 30 日消息，一個(gè)名為 EXO Labs 的組織今日在社交媒體上發(fā)布了一段視頻，展示了一臺(tái)運(yùn)行 Windows 98 系統(tǒng)的 26 年高齡的奔騰 II 電腦（128MB 內(nèi)存）成功運(yùn)行大型語言模型（LLM）的情形。隨后，EXO Labs 在其博客上發(fā)表了一篇詳細(xì)文章，進(jìn)一步闡述了這個(gè)項(xiàng)目的細(xì)節(jié)，以及其“普及人工智能”的愿景。
IT之家注意到，視頻中一臺(tái) 350MHz 的 Elonex 奔騰 II 電腦啟動(dòng) Windows 98 后，EXO Labs 運(yùn)行了基于 Andrej Karpathy 的 Llama2.c 開發(fā)的定制純 C 推理引擎，并讓 LLM 生成了一個(gè)關(guān)于“Sleepy Joe”的故事。令人驚訝的是，整個(gè)過程運(yùn)行流暢，故事生成速度也相當(dāng)可觀。
EXO Labs 由牛津大學(xué)的研究人員和工程師組成，于今年 9 月正式對(duì)外亮相，其使命是“普及人工智能”。該組織認(rèn)為，少數(shù)大型企業(yè)控制人工智能會(huì)對(duì)文化、真相以及社會(huì)其他基本方面造成負(fù)面影響。因此，EXO Labs 希望“構(gòu)建開放的基礎(chǔ)設(shè)施，以訓(xùn)練前沿模型，并使任何人都能在任何地方運(yùn)行它們”，從而讓普通人也能在幾乎任何設(shè)備上訓(xùn)練和運(yùn)行 AI 模型。此次在 Windows 98 上運(yùn)行 LLM 的壯舉，正是對(duì)這一理念的有力證明。
根據(jù) EXO Labs 的博客文章，他們從 eBay 上購(gòu)得了一臺(tái)老式 Windows 98 電腦。然而，將數(shù)據(jù)傳輸?shù)竭@臺(tái)老機(jī)器上卻是一個(gè)挑戰(zhàn)，他們最終通過其以太網(wǎng)端口使用“古老的 FTP”完成了文件傳輸。
更大的挑戰(zhàn)在于為 Windows 98 編譯現(xiàn)代代碼，幸運(yùn)的是他們找到了 Andrej Karpathy 的 llama2.c，這是一個(gè)“用 700 行純 C 代碼即可在 Llama 2 架構(gòu)的模型上運(yùn)行推理”的工具。借助這一資源以及老式的 Borland C++ 5.02 IDE 和編譯器（以及一些小的調(diào)整），EXO Labs 成功將代碼編譯成可在 Windows 98 上運(yùn)行的可執(zhí)行文件。他們還在 GitHub 上公開了最終代碼。
EXO Labs 的 Alex Cheema 特別感謝了 Andrej Karpathy 的代碼，并對(duì)其性能贊嘆不已，稱其在使用基于 Llama 架構(gòu)的 26 萬參數(shù) LLM 時(shí)，在 Windows 98 上實(shí)現(xiàn)了“每秒 35.9 個(gè) token”的生成速度。值得一提的是，Karpathy 曾任特斯拉人工智能主管，也是 OpenAI 的創(chuàng)始團(tuán)隊(duì)成員之一。
雖然 26 萬參數(shù)的 LLM 規(guī)模較小，但在這臺(tái)古老的 350MHz 單核電腦上運(yùn)行速度相當(dāng)不錯(cuò)。根據(jù) EXO Labs 的博客，使用 1500 萬參數(shù)的 LLM 時(shí)，生成速度略高于每秒 1 個(gè) token。而使用 Llama 3.2 10 億參數(shù)模型時(shí)，速度則非常緩慢，僅為每秒 0.0093 個(gè) token。
EXO Labs 的目標(biāo)遠(yuǎn)不止于在 Windows 98 機(jī)器上運(yùn)行 LLM。他們?cè)诓┛臀恼轮羞M(jìn)一步闡述了其對(duì)未來的展望，并希望通過 BitNet 實(shí)現(xiàn)人工智能的普及。
據(jù)介紹，“BitNet 是一種使用三元權(quán)重的 transformer 架構(gòu)”，使用這種架構(gòu)，一個(gè) 70 億參數(shù)的模型只需要 1.38GB 的存儲(chǔ)空間。這對(duì)于一臺(tái) 26 年前的奔騰 II 來說可能仍然有些吃力，但對(duì)于現(xiàn)代硬件甚至十年前的設(shè)備來說，都非常輕量級(jí)的。
EXO Labs 還強(qiáng)調(diào)，BitNet 是“CPU 優(yōu)先”的，避免了對(duì)昂貴 GPU 的依賴。此外，據(jù)稱這種類型的模型比全精度模型效率高 50%，并且可以在單個(gè) CPU 上以人類閱讀速度（約每秒 5 到 7 個(gè) token）運(yùn)行一個(gè) 1000 億參數(shù)的模型。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。