大模型創(chuàng)業(yè)太累，又一大牛決定重回大廠。
Yi Tay，曾是 Reka AI 聯(lián)合創(chuàng)始人，也曾是谷歌大模型 PaLM、UL2、Flan-2、Bard 的重要參與者。
本周是他回到谷歌的第一周，也是他離職創(chuàng)業(yè)一年半之后，選擇回歸老身份的開(kāi)始。他將繼續(xù)擔(dān)任谷歌 DeepMind 高級(jí)研究員，向谷歌大神、也是他之前的老板 Quoc Le 匯報(bào)。
回顧過(guò)去這段創(chuàng)業(yè)經(jīng)歷，他表示學(xué)到了很多，比如基礎(chǔ)設(shè)施方面的知識(shí)、如何從頭開(kāi)始訓(xùn)練大模型等等。但與此同時(shí)，他也經(jīng)歷了一些不那么好的時(shí)刻：
公司費(fèi)勁籌集的一億多美金，對(duì)于一個(gè)不到 15 個(gè)人的團(tuán)隊(duì)仍然緊張，還差點(diǎn)賣身自救。
個(gè)人層面，他的身心健康受到了很大影響。由于工作強(qiáng)度大和不健康的生活方式，他還長(zhǎng)胖了 15 公斤。
為此他表示：
放棄舒適區(qū)并創(chuàng)業(yè)對(duì)我個(gè)人來(lái)說(shuō)真的很可怕。
大牛重回谷歌大廠
去年三月末，他官宣離職谷歌參與創(chuàng)業(yè) RekaAI，并擔(dān)任該公司的首席科學(xué)家。
在此之前，他在谷歌大腦工作了 3.3 年，參與諸多大模型的研究，撰寫(xiě)累計(jì)約 45 篇論文，其中 16 篇一作，包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等，約 20 次產(chǎn)品發(fā)布，妥妥大牛一位。
從技術(shù)角度上講，他坦言學(xué)到了很多關(guān)于在谷歌沒(méi)法學(xué)到的知識(shí)。比如學(xué)會(huì)使用 Pytorch / GPU 和其他外部基礎(chǔ)設(shè)施，以成本最優(yōu)的方式從頭構(gòu)建非常好的模型。
為此他還在個(gè)人網(wǎng)站上分享了相關(guān)經(jīng)驗(yàn)：訓(xùn)練模型的首要條件是獲取計(jì)算能力，但這一過(guò)程就好像買彩票。
并非所有硬件都是一樣的。不同算力提供商的集群質(zhì)量差異非常大，以至于要想訓(xùn)練出好的模型需要付出多大的代價(jià)，這簡(jiǎn)直就是在抽簽。簡(jiǎn)而言之，LLM 時(shí)代的硬件彩票。
這與在谷歌使用 TPU 相比，這些 GPU 的故障率讓他大吃一驚。
此外他還吐槽外部代碼庫(kù)的質(zhì)量遠(yuǎn)遠(yuǎn)落后谷歌的質(zhì)量，這些代碼庫(kù)對(duì)大規(guī)模編碼器-解碼器訓(xùn)練的支持非常少。
但這種持續(xù)遇到問(wèn)題持續(xù)解決的經(jīng)驗(yàn)，并非痛苦反而很有趣，并且最終憑借著自身技術(shù)實(shí)力也挺了過(guò)來(lái)。
在創(chuàng)業(yè)初期，他們的旗艦?zāi)Ｐ?Reka Core 在 Lmsys 首次亮相，就躋身第 7 位，公司排名前五，實(shí)現(xiàn)了對(duì) GPT-4 早期版本的超越。
目前他們主要有四個(gè)模型，適用于不同的應(yīng)用場(chǎng)景。
而真正“打倒”他驅(qū)使他離職的，是更為現(xiàn)實(shí)的原因。
就公司層面來(lái)說(shuō)，作為初創(chuàng)企業(yè)，其資金、算力和人力跟其他實(shí)驗(yàn)室相比都要少得多。就算他們分批籌集了一億多美金，對(duì)于一個(gè)不到 15 人的團(tuán)隊(duì)仍然不夠。
今年 5 月 Reka AI 還被曝出賣身自救，Snowflake 正就以超過(guò) 10 億美元收購(gòu) Reka AI 的事宜談判。
不過(guò)現(xiàn)在來(lái)看，收購(gòu)事宜還沒(méi)有談成。在 Yi Tay 宣布新動(dòng)向后，他們緊急發(fā)聲，現(xiàn)在公司還在積極招人 ing。
而就他個(gè)人來(lái)說(shuō)，這是段非常緊張的時(shí)期。尤其剛開(kāi)始創(chuàng)業(yè)的時(shí)候妻子懷孕，他不得不同時(shí)兼顧兩邊，由此身心健康受到很大的損害。并且由于高強(qiáng)度的工作和不健康的生活方式，他長(zhǎng)胖了 15 公斤。
不過(guò)他自己也曾透露過(guò)自己有睡眠障礙。
種種原因，他決定重回谷歌，回歸到一個(gè)研究者的身份。
在初創(chuàng)企業(yè)世界探索了一年半之后，我決定回歸我的研究根基。
在分享經(jīng)歷的開(kāi)始，他寫(xiě)下了這樣一句話。
回到谷歌之后，他將探索與大模型相關(guān)的研究方向，以高級(jí)研究員的身份，向大神 Quoc Le 匯報(bào)。
在博客的最后，他感謝了創(chuàng)業(yè)這段時(shí)間始終聯(lián)系的谷歌老朋友。并且還特地感謝了在新加坡同他共進(jìn)晚餐的 Jeff Dean，并且提醒他 Google 很棒。（Doge）
谷歌老同事：歡迎回來(lái)
一些谷歌老同事在底下紛紛表示：Welcome back！感覺(jué)像是過(guò)了十年。
值得一提的是，像這種大牛重返大廠并非個(gè)例。
今年 8 月谷歌以 25 億美元打包帶走了明星 AI 獨(dú)角獸 Character.AI 的核心技術(shù)團(tuán)隊(duì)，遠(yuǎn)高于 Character.AI 10 億美元的估值。
其中包括兩位創(chuàng)始人 ——Transformer“貢獻(xiàn)最大”作者 Noam Shazeer 和 Daniel De Freitas。其中 Noam Shazeer 出任 Gemini 聯(lián)合技術(shù)主管。
這樣看起來(lái)，對(duì)于這些大牛來(lái)說(shuō)，大模型創(chuàng)業(yè)確實(shí)不易，重返大廠確實(shí)是個(gè)不錯(cuò)的選擇，至少錢(qián)夠算力夠、安安心心做研究。
而隨著新一輪的洗牌期到來(lái)，更多技術(shù)大牛朝著科技巨頭聚攏，也已經(jīng)初見(jiàn)端倪。
參考鏈接：
[1]https://x.com/YiTayML
[2]https://www.yitay.net/?author=636616684c5e64780328eece
[3]https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
[4]https://www.yitay.net/blog/leaving-google-brain
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。