如今，谷歌最具開創(chuàng)性論文的許多主要貢獻者已經離開，或是加入了 OpenAI 等競爭對手，或是創(chuàng)辦了自己的公司。LLM 之戰(zhàn)，谷歌終是輸了？
前幾天，谷歌差點遭遇一場公關危機，Bert 一作、已跳槽 OpenAI 的前員工 Jacob Devlin 曝出，Bard 竟是用 ChatGPT 的數(shù)據(jù)訓練的。
隨后，谷歌火速否認。
而這場爭議，也牽出了一場大討論：為什么越來越多 Google 頂尖研究員跳槽 OpenAI？這場 LLM 戰(zhàn)役它還能打贏嗎？
知友回復
萊斯大學博士、知友「一堆廢紙」表示，其實谷歌和 OpenAI 的差距，是數(shù)據(jù)的差距。
「OpenAI 對 LLM 有強大的執(zhí)念，這是 Google 這類公司完全比不上的。當然人的差距只是一個方面，數(shù)據(jù)的差距以及對待數(shù)據(jù)的態(tài)度才是其成功的關鍵。人可能可以花錢挖回來，技術可能可以補上，但數(shù)據(jù)的差距 Google 短時間內沒法追上?！?/p>
顯然，ChatGPT 的成功中，至關重要的一環(huán)，就是高質量的標注數(shù)據(jù)。
「一堆廢紙」介紹，OpenAI 對數(shù)據(jù)和標簽質量的重視程度令人發(fā)指，對標注人員的選擇極為嚴苛（有考試），最后甚至會發(fā)放問卷。正是這種執(zhí)念造就了 GPT 模型的成功，這是 Google 根本比不上的。
而隨著上億用戶不斷給 OpenAI 提供新的數(shù)據(jù)，谷歌和 OpenAI 的差距只會越來越大。
Data-centric AI 的理念，奠定了 OpenAI 的成功。
自然語言處理、深度學習話題的優(yōu)秀答主「張俊林」表示，OpenAI 已經把所有人都甩開了一大截。
包括 Google 在內，其實對于 LLM 發(fā)展理念的理解，明顯都落后 OpenAI 一個身位?，F(xiàn)實是 OpenAI 表現(xiàn)過于優(yōu)秀，把所有人都甩開了，不僅僅是國內。我覺得，OpenAI 對 LLM 在理念及相關技術方面，領先國外的 Google、DeepMind 大約半年到一年的時間，領先國內大概兩年左右的時間。
知乎答主「周道道」表示，谷歌近期的翻車和 OpenAI 以對比，必然給了這些頂尖的研究員巨大的震撼。
另外，據(jù)說 OpenAI 相對谷歌也會給研究員更多的資源和更寬泛的要求，畢竟 OpenAI 更像是一個研究機構，而谷歌更像是把 AI 當成產品在研發(fā)的部門。
而答主「陳大寶」的回答可謂非常扎心。
未來商業(yè)歷史會記錄兩個又經典又嘲諷的案例：
1.柯達發(fā)明了數(shù)碼相機
2.谷歌發(fā)明了 transformer
評論區(qū)還驚現(xiàn)了利益相關匿名人士。
又一名匿名人士說到點上了。
知友「飛了個豬的」點出來了谷歌作為大公司的「創(chuàng)新者困境」。
又一利益相關匿名人士出現(xiàn)。
知友「周星楠 (Bill)」總結道，谷歌這樣的大公司就是要去人材化，基于 policy，所有大家都是螺絲釘。
而 Insider 為我們總結了一篇長文，盤點了這些年從谷歌人工智能團隊流失的頂級人才。
人才都去哪了？
谷歌為人工智能領域貢獻了一些很重要的研究。然而，該公司在將創(chuàng)新轉化為產品方面一直進展緩慢。
因此，頂級人工智能研究人員紛紛離開，去往那些可以產生更大價值和影響的初創(chuàng)公司，例如 OpenAI，Character.AI，DeepMind，Cohere，Inceptive。
谷歌已經處于防守地位，時時刻刻會失去人工智能領域領先的地位。而頂級研究人員的離開，更是加劇了這一問題。
雖然谷歌可能處于防守模式，但其實它沒必要這樣的。該公司自己創(chuàng)造了許多基礎技術，為 ChatGPT 等產品提供動力。它還將其研究作為開放源碼提供，這在某種程度上諷刺了 OpenAI 的迅速崛起。
由于擔心該技術會對其業(yè)務造成聲譽上的損害，谷歌長期以來一直對發(fā)布類似于 ChatGPT 的聊天機器人猶豫不決。
谷歌大型語言模型 LaMDA 背后的兩位研究人員 Daniel De Freitas 和 Noam Shazeer 離開了公司，他們對公司遲遲不發(fā)布類似 ChatGPT 的聊天機器人感到沮喪。
其他前谷歌研究人員也認為，在人工智能如此激動人心的時代，創(chuàng)業(yè)公司會為研究人員提供成果的所有權，并且自己會發(fā)揮更多價值和影響。
以下是人工智能領域最引人注目的一些論文，這些論文的研究人員已經離開谷歌去了別的公司。
Ilya Sutskever
「用神經網絡進行序列到序列學習」發(fā)表于 2014 年，這篇序列到序列論文探討了訓練語言模型，將一個領域的單詞序列轉換為另一個領域的序列。例如，將一個英語句子轉換為法語句子。
Ilya Sutskever 領導了這篇論文的研究。他在擔任了近三年的研究科學家后于 2015 年離開谷歌。Sutskever 是 OpenAI 的聯(lián)合創(chuàng)始人，并繼續(xù)作為其首席科學家在那里工作。
注意力是你所需要的一切
這篇 Transformer 的重磅論文，如今引用量已經突破七萬次。Transformer 被認為是自然語言處理方面的一個突破。它通過同時觀察句子中的每個詞并權衡每個詞的重要性來收集上下文的細微差別，從而幫助人工智能理解含義。
而 ChatGPT 中的「T」代表的就是 Transformer，足以見得這篇論文的重要性。
不過，本文的八位作者，除了 Llion Jones，都已經離開了谷歌。
Ashish Vaswani 在五年后離開了谷歌大腦（谷歌的深度學習人工智能研究團隊），創(chuàng)辦了 Adept 公司，該公司最近籌集了 3.5 億美元，建立生成性人工智能工具，幫助人們更有效地使用生產力軟件。他最近離開了 Adept，去了一家隱秘的創(chuàng)業(yè)公司。
Noam Shazeer 現(xiàn)在是 Character.AI 的 CEO。
Niki Parmar 在五年后離開谷歌大腦，擔任 Adept 公司的聯(lián)合創(chuàng)始人和首席技術官，不過和 Vaswani 一樣，她最近也離開了，去了一家隱秘的創(chuàng)業(yè)公司。
Jakob Uszkoreit 在谷歌工作了 13 年，從事神經網絡和深度學習。他現(xiàn)在是 Inceptive 的聯(lián)合創(chuàng)始人，這是一家利用深度學習來設計新療法的初創(chuàng)公司。
Aidan Gomez 是 Cohere 公司的聯(lián)合創(chuàng)始人和首席執(zhí)行官，該公司已經籌集了大約 1.6 億美元，幫助開發(fā)者將生成性人工智能納入他們的應用程序和網站。他在谷歌大腦做了一年半的研究員。而他在 Cohere 的聯(lián)合創(chuàng)始人 Nick Frosst 在谷歌大腦做了四年的研究員。
Lukasz Kaiser 在谷歌大腦工作了 7 年多后離開了谷歌大腦，于 2021 年加入了 OpenAI。Kaiser 最近在 OpenAI 的 GPT-4 白皮書中被引用為其長語境能力的核心貢獻者，他讓聊天機器人在忘記討論的語境之前，可以進行更長的對話。
Illia Polosukhin 在谷歌大腦從事了三年的深度學習和自然語言理解工作。他在 2017 年離開，創(chuàng)辦了 Pagoda，一個 Web3 創(chuàng)業(yè)平臺。
建立一個類似人類的開放域聊天機器人
這個論文介紹了谷歌最初的聊天機器人 Meena，探討了聊天機器人如何通過研究從公共社交媒體對話中搜取的數(shù)據(jù)來學習談論話題。它還介紹了谷歌創(chuàng)建的一個來評定聊天機器人說話表現(xiàn)的測試。
這篇論文是大語言建模的另一個重要里程碑，作者認為他們可以在沒有硬編碼訓練的情況下，做出一個大語言模型，對問題產生類似人類的反應。
作者之一 Daniel De Freitas 在谷歌大腦做了五年的研究員后，擔任 Character.AI 的聯(lián)合創(chuàng)始人和總裁。
De Freitas 在 Character.AI 的同事 Romal Thoppilan 對本文也有貢獻。
LaMDA：對話應用的語言模型
LaMDA 是對話應用的語言模型的縮寫，也是聊天機器人 Bard 的基礎。它在 2020 年作為 Meena 首次演示，但谷歌從未向公眾發(fā)布 Meena。谷歌人工智能研究部門的前雇員解釋說因為谷歌擔心機器人會發(fā)表有害的評論，這會是一場公關的噩夢。
LaMDA 背后的幾個主要研究人員已經離開了谷歌大腦。
Daniel De Freitas 和 Noam Shazeer 去年成立了 Character.AI 這家公司，他們最近籌集了大約 2 億美元來創(chuàng)建以各種角色形式說話的聊天機器人，從馬斯克到治療師到生活教練的各種角色。
Romal Thoppilan 在谷歌大腦工作了 7 年之后，擔任 Character.AI 的創(chuàng)始研究員。
Alicia Jin 在接近 2022 年底時加入 Character.AI，擔任研究工程師。她曾在谷歌大腦工作了三年。
BERT
BERT（Bidirectional Encoder Representations from Transformers）建立在自然語言處理的 Transformer 模型上，經過預先訓練，可以很好地完成兩項任務：掩蔽語言建模和對下一句話的預測。換句話說，BERT 試圖預測隱藏的或「被掩蓋的」詞語，迫使算法努力學習更多關于周圍文本的知識，更好地預測隱藏的詞語。
如果你輸入「你能為別人的藥房買藥嗎」，它將理解「別人」是查詢的一個重要部分。
谷歌早在 2019 年就開始將 BERT 納入搜索引擎之中。這是自 2015 年納入另一種機器學習算法 RankBrain 以來，搜索準確性方面的最大進步之一。
Jacob Devlin 是這篇論文的主作者，而他在 ChatGPT 推出前不久加入了 OpenAI。
T5
T5 論文的正式名稱是「用統(tǒng)一的文本到文本 Transformer 探索轉移學習的極限」，它建立在 BERT 的基礎上，非常適合于翻譯和總結等任務。
領導這篇論文的 Colin Raffel 在 2021 年離開之前，在谷歌大腦擔任了大約五年的研究科學家。目前是聯(lián)合國大學教堂山分校的助理教授，每周花一天時間在 Hugging Face 擔任研究員。Hugging Face 最近宣布，它在 2022 年 5 月籌集了 1 億美元，公司的估值為 20 億美元。用戶可以在 Hugging Face 分享大型語言模型和數(shù)據(jù)集。
T5 論文的另一位撰稿人 Sharan Narang 在谷歌大腦工作四年后，于 2022 年離開了那里。他現(xiàn)在是 Meta 公司的一名人工智能研究員。
一種用于快速芯片設計的圖形放置方法
由谷歌科學家 Azalia Mirhoseini 和 Anna Goldie 領導的論文發(fā)現(xiàn)，人工智能可以比人類專家更快地完成芯片的設計過程。
兩人領導的另一篇論文《用深度強化學習進行芯片布局》，提供了一種在芯片設計中使用人工智能的方法，以最大限度地提高性能，同時最大限度地減少面積和功率的使用。
這些發(fā)現(xiàn)有助于谷歌設計 TPU 芯片，專門用于機器學習任務。
Mirhoseini 和 Goldie 都在 2022 年離開谷歌，加入了 Anthropic，也是 OpenAI 的競爭對手，它們正在開發(fā)自己的大型語言模型和一個名為 Claude 的聊天機器人。
DeepMind
Mustafa Suleyman 是 DeepMind 的聯(lián)合創(chuàng)始人，并擔任該公司的首席產品官。這是一家人工智能實驗室，于 2014 年被谷歌收購。該實驗室開發(fā)了 AlphaGo，該機器學習程序在圍棋中擊敗了世界冠軍的專業(yè)人士。
谷歌的母公司 Alphabet 最近在其第四季度財報中宣布，DeepMind 的財務業(yè)績將從 「其他投資」中獨立出來，這標志著人工智能在谷歌未來戰(zhàn)略中的重要性。通常情況下，「其他投資」是該公司的新生項目的總稱，這些項目尚未達到盈利水平。
Suleyman 一直是確保新人工智能產品安全的積極倡導者。在 DeepMind 工作期間，他成立了一個名為 DeepMind 倫理與社會的研究部門，研究人工智能的現(xiàn)實影響。2019 年，他因被指控欺負員工而被 DeepMind 放假。在調查進行期間，他調回到谷歌擔任副總裁一職。
Suleyman 在許多與機器學習有關的研究論文中被引用。2022 年 2 月，他與 LinkedIn 的創(chuàng)建者 Reid Hoffman 共同創(chuàng)建了人工智能初創(chuàng)公司 Inflection。
谷歌最具開創(chuàng)性的人工智能論文的許多主要貢獻者已經離開，或是加入了 OpenAI 等競爭對手，或是創(chuàng)辦了自己的公司。
當 OpenAI 的 ChatGPT 于 2022 年年底問世時，谷歌首席執(zhí)行官 Sundar Pichai 在內部宣布了「紅色預警」，召集公司做出回應。
當時，Pichai 表示，谷歌將毫無疑問地繼續(xù)雇用人工智能領域的頂級研究人員。
不過失去了這么多得力干將，谷歌是否還能再造輝煌呢？
參考資料：
https://www.businessinsider.com/google-ai-teams-brain-drain-researchers-leave-2023-3
https://www.zhihu.com/question/592975340/answer/2963265672
https://zhuanlan.zhihu.com/p/597586623
https://www.zhihu.com/question/592975340/answer/2964598555
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。