【新智元導讀】Meta 內(nèi)部上演了最戲劇性的一幕，算力短缺紛爭不斷，LLaMA 核心作者超半數(shù)已經(jīng)離職。甚至，連大模型開發(fā)團隊進行了三輪重組，Meta 全力趕超谷歌微軟的路還有多遠？
過去 6 個月，ChatGPT 的爆火，徹底讓 Meta 坐不住了。
從 2 月開始開源大模型系列 LLaMA 的發(fā)布，到 Llama 2 升級、再到編碼模型 Code Llama，Meta 可謂是賭上所有去 ALL IN AI。
在開源社區(qū)，Llama 系列模型的免費研究和商用，直接點燃了平替模型裂變的火種。
可是，Meta 在風光的同時，AI 團隊正面臨著離職潮。
The Information 獨家報道，因內(nèi)部算力之爭，LLaMA 和 OPT 項目的團隊成員，大半已經(jīng)辭職。
甚至，Meta 直接棄掉他們正研發(fā)能與 PaLM 匹敵的模型，將 Meta AI 的兩個實驗室團隊重組，以專注研發(fā) Llama 2。
Meta 大部分研究人員的離職，恰恰暴露了，算力短缺是布局生成式 AI 的核心難題。
LLaMA 論文 14 位作者，一半離職
在外界看來，科技巨頭擁有比大多數(shù)公司更多的計算資源。一些公司包括 Meta 在內(nèi)，在招聘 AI 研究人員時，一致強調(diào)自己是「GPU RICH」。
但事實上，自己心知肚明，Meta 的計算資源供應(yīng)方面也存在限制。由此，算力紛爭便在內(nèi)部團隊開啟，讓許多人棄 Meta 而去。
具體來講，今年 2 月發(fā)布的初代 LLaMA 模型中的 14 位作者，已經(jīng)超過一半的人全部離職。有的轉(zhuǎn)向 AI 初創(chuàng)公司，有的加入了科技巨頭。
論文地址：https://arxiv.org/pdf/2302.13971.pdf
離開 Meta 的研究科學家和工程師包括原 LLaMA 論文的作者之一 Timothée Lacroix、Guillaume Lample 和 Marie-Anne Lachaux。
他們現(xiàn)在在法國初創(chuàng)公司 Mistral AI 工作，該公司由 Lacroix 和 Lample 于 6 月共同創(chuàng)辦。
還有其中的一位作者 ——Meta AI 的研究總監(jiān) Armand Joulin 已經(jīng)在 5 月離開了 Meta，目前已加入蘋果。
Meta 人工智能研究實驗室「基礎(chǔ) AI 研究」的負責人 Joelle Pineau 在接受采訪時表示：
留住和吸引優(yōu)秀人才可能是我花費時間最多的地方，因為沒有優(yōu)秀的研究人員，我什么都做不了。
Meta 正在面臨的離職潮，恰恰凸顯了大型科技公司在應(yīng)對人工智能人才需求激增的挑戰(zhàn)。大模型浪潮當前，各大科技公司唯恐落后，急于將 AI 接入自家產(chǎn)品和服務(wù)。
Riviera Partners 的高管 Kyle Langworthy 稱，「求賢若渴」的公司們，都排著隊想挖角 Meta 的人工智能研究人員。
2 月份的時候，繼 LLaMA 的發(fā)布點燃社區(qū)熱情后，小扎曾連夜對外官宣了公司的大動作：成立頂級產(chǎn)品團隊，專注 AIGC。
簡言之，小扎將 Meta 未來的核心重點放在，生成式人工智能，以試圖追趕谷歌、微軟、OpenAI 等競爭對手。
而曾經(jīng)在 2021 年 All In 的「元宇宙」，也被放在了次要的位置。
緊接著，Meta 時不時地發(fā)布并開源了在人工智能領(lǐng)域的最新研究，包括通用視覺模型 SAM「分割一切」、多模態(tài) AI 模型 ImageBind、Llama2、Code Llama 等等。
這些研究一經(jīng)發(fā)布，都在開源社區(qū)引起了很大的反響，得到一致好評。
而現(xiàn)在，隨著有經(jīng)驗的研究人員流失，Meta 在追趕競爭對手的路上多了一重阻礙。
那么，具體是怎么回事，讓這些高級研究人員憤而離去？
LLaMA 和 OPT 的算力之爭
2013 年，Yann LeCun 入職 Meta 后，擔任 AI 研究主管時成立了人工智能研究實驗室 Meta AI（原 FAIR）。
除了在加利福尼亞州門洛帕克和紐約設(shè)立主要實驗室（LeCun 的所在地），Meta AI 還在蒙特利爾（Pineau 的所在地）、巴黎、倫敦和西雅圖設(shè)有分部。
Meta AI 實驗室的成立，主要致力于 AI 的研究，將人工智能應(yīng)用在翻譯、MRI 掃描等各種場景。但是，ChatGPT 橫空出世之后，公司的高管們對 AI 更深層次融入產(chǎn)品的要求，變得更加急切。
其實，在 ChatGPT 發(fā)布之前，Meta 也一直在開發(fā)自己的 LLM。
2022 年 5 月，Meta AI 的一個北美團隊對外公布，并開源了大模型 OPT-175B。Meta 聲稱，這個模型的能耗要比 GPT-3 低，盡管這兩個模型在訓練期間學習的內(nèi)容，在數(shù)量上是一樣的。
幾個月后，該團隊開始著手開發(fā)第二個更大的模型，旨在與谷歌的 PaLM 競爭。
與此同時，另一個位于巴黎的 Meta AI 團隊，已經(jīng)開始著手開發(fā)一個單獨的大型語言模型，也就是 LLaMA。
知情人士表示，這個模型比 OPT 要小。研究團隊認為較小的模型在推理時會高效。
隨之問題就來了，分別來自北美和巴黎兩個實驗室的團隊，開啟了獲取算力資源之爭，進而加劇了內(nèi)部團隊的紛爭。
尤其是，LLaMA 團隊感覺自己被忽視了，自己的模型小，但獲得的計算資源比北美的 OPT 團隊少的多。
「基礎(chǔ) AI 研究」的負責人 Joelle Pineau 表示：
關(guān)于在 Meta 如何分配計算資源的決策，是由來自業(yè)務(wù)不同部門的領(lǐng)導人組成的小組，大致每月做出一次。
最終分配多少，分配給誰，取決于組織優(yōu)先事項，以及項目距離發(fā)布還有多遠來決定。
如果 Meta AI 的員工就分配發(fā)生爭議，就會提交到上級，也就是 Pineau 這一層去處理。
在采訪中，Pineau 承認在 LLaMA 和 OPT 團隊之間在算力分配上有些緊張，并補充道，「我們試圖找到一條路，聽取每個人的發(fā)聲，即使無法去滿足每個人的需求?！?/p>
對某些研究人員來說，這感覺像是一場競賽。Meta AI 的一些高管也在質(zhì)疑，為什么兩個團隊都做著相似的項目，但又互相競爭有限的資源。
2 月巨變
兩個團隊之間的緊張關(guān)系，到今年 2 月達到了高潮。恰在這個月，為了追趕競爭對手，Meta AI 首次將 LLaMA 作為開源模型發(fā)布，授權(quán)用于研究目的。
其實，在發(fā)布的前一周，Meta AI 的聯(lián)合主管兼巴黎分部負責人 Antoine Bordes 就離開了 Meta，而對外的離職原因是?作時間與加州?樣讓自己精疲力盡。
現(xiàn)在，Bordes 已經(jīng)加入了人工智能公司 Helsing。
知情人士表示，他的離職進一步，讓 LLaMA 團隊與北美的高管隔離開來。另外，Pineau 也承認了 Bordes 的離職為團隊「帶來了一些不確定性」。
這不僅僅是 LLaMA 團隊研究士氣受挫的問題，與此同時，OPT 團隊在過去幾個月里，一直也在面臨人員流失的問題。
據(jù)稱，OPT 團隊正在研發(fā)的更大型的模型，直接被 Meta 放棄。也不難理解，OPT 的人員流失，和這個決定有著直接的關(guān)系。
根據(jù)研究作者 Linkedin 個人資料，19 位 OPT 論文的作者中，也有一半人已離職 Meta。
論文地址：https://arxiv.org/pdf/2205.01068.pdf
「基礎(chǔ) AI 研究」的負責人 Pineau 無奈地表示，「當所有團隊都想在這個時候升級模型，那時你要么選擇其中一個，要么就讓他們合作。」
團隊重組，定位不清
在這一切發(fā)生的同時，Meta AI 也被公司的頻繁地變動搞得焦頭爛額。
自從去年 11 月開始，小扎進行了數(shù)次全公司范圍的裁員。其中，Meta AI 也沒能幸免。
今年 2 月，Meta AI 領(lǐng)導人決定將相互競爭 LLaMA 和 OPT 團隊的一些成員聚集起來，正式成立「生成式 AI」團隊，（由前蘋果高管 Ahmad Al-Dahle 負責），同時也從 Meta AI 抽調(diào)了大量人員。
其實，我們在 Llama 2 論文中，可以看到不少 LLaMA 和 OPT 作者的身影。比如 OPT 的團隊中，Moya Chen、Todor Mihaylov、Punit Singh Koura 加入「生成式 AI」團隊。
初代 LLaMA 團隊中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez 加入「生成式 AI」團隊。
有趣的是，在 Llama 2 的致謝中，提到的 4 位最先發(fā)起這項研究的團隊，其中三位已經(jīng)離職，目前僅有 Edouard Grave 還在。
盡管備受贊譽的開源模型 LLaMA 取得了不小的成功，但隨著 Meta 對人工智能研究態(tài)度的不斷變化，研究人員之間的緊張關(guān)系仍在醞釀。
傳統(tǒng)上來講，Meta AI 擁有一種由研究人員主導的自下而上的文化，從而使團隊能夠?qū)Ｗ⒂?AI 領(lǐng)域，并取得突破性的進展。
但隨著小扎越來越傾向于將 AI 融入 Meta 的應(yīng)用程序之中，Meta AI 的關(guān)注點也隨之縮小 —— 解散了那些不以產(chǎn)品為導向的研究，比如蛋白質(zhì)折疊。
與此同時，新的項目也在生成式 AI 團隊和 Meta AI 之間「反復橫跳」。
比如，Meta 在 7 月發(fā)布的 Llama 2，以及在 8 月發(fā)布的專攻代碼生成的 Code Llama，就是分別由兩個團隊負責的。
對此，Pineau 表示，「這個領(lǐng)域發(fā)展得實在是太快了，我們現(xiàn)在還在探索，哪個項目應(yīng)該由 Meta AI 來負責？哪個項目又該由生成式 AI 團隊來負責？」
臺前，開源模型光鮮靚麗，而幕后，AI 研究人員離職潮涌、算力紛爭、團隊重組，為 Meta 傾力 AI 趕超對手帶來了許多不確定性因素。
參考資料：
https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=epv9gi
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。