就在剛剛，一個令人悲傷的消息傳來。
谷歌 DeepMind 研究科學家 Felix Hill，于 2024 年 12 月 5 日英年早逝，年僅 41 歲。
自 2023 年初以來，他一直在與嚴重的精神疾病作斗爭。期間，他表現出了重度抑郁和嚴重的自殺傾向，終于還是沒有扛過去。
Felix 是一位學術成果頗豐的 AI 學者，谷歌總引用量為 19680，參與創(chuàng)建了自然語言理解基準 GLUE 和 SuperGLUE。
Felix Hill 本科在牛津大學學習數學，隨后在劍橋大學拿到了語言學碩士學位，和計算語言學博士學位。
畢業(yè)后，他曾有 8 個月在高中擔任數學老師，隨后進入谷歌 DeepMind，當了將近 8 年的 AI 研究者。
消息傳來，他的 AI 圈好友無不表示悲痛和難過。
1 月 11 日，Felix 的葬禮將于倫敦北部舉行，屆時將進行現場直播。
許多認識他的人悲痛地留言說：Felix 是一個很特別的人，超前于這個時代。
最令人心碎的博客
是什么樣的原因，讓這樣一位成果豐碩的 AI 學者的生命逝去？他生前的一篇博客，揭露了許多細節(jié)。
他詳細描述了 2023 年母親離世后，正在精神病院接受治療的自己癥狀更嚴重了。接下來的 12 個月內，他更是陷入極度焦慮和自殺的抑郁狀態(tài)。
他也寫道，自己當初投身 AI 研究并不是為了賺錢，但 AI 大爆發(fā)后，自己仿佛被迫進入「戰(zhàn)爭」狀態(tài)，寫論文、搞研究、創(chuàng)業(yè)，都令人壓力重重，找不到出路。
即使積累了大量財富，自己也依然出了問題。
文章地址：https://medium.com/@felixhill/200bn-weights-of-responsibility-da85a44a2c5e
英偉達高級研究者 Jim Fan 讀完悲痛地表示：這是我讀過最令人心碎的博客，因為它如此真實，如此貼近內心。
Jim Fan 表示，AI 不應該是 200B 權重的壓力和痛苦。
曾經，這是一個充滿咖啡因帶來的靈光乍現的地方，是令人興奮的深夜 arxiv 探索之旅，是能讓研究者臉上露出笑容的絕妙想法。但所有涌入的資本和關注，似乎正在迫使每個人競相逐底。
黃仁勛經常對員工們強調，不要用「打敗這個，碾壓那個」的措辭。因為大家的目的是為了提升整個生態(tài)，而不是讓任何人陷入深淵。AI 學者的工作是做大蛋糕，越大越好，然后再分配。
AI 不是零和博弈，事實上，它可能是人類有史以來擁有的最正和的博弈。大家應該做的，是向競爭對手傳遞愛意。
Jim Fan 寫道，雖然并未有幸在現實生活中認識 Felix，但自己很喜歡他的研究品味，為他的每一篇新論文都設置了 Google Scholar 提醒。他在 AI 智能體和 VLM 方面的工作也對自己影響很深。
「他本應該成為一個很好的朋友。我想認識他，但現在已經不可能了?！?/p>
「安息吧，Felix。愿來世你不需要去戰(zhàn)斗?！?/p>
2000 億權重的責任：現代 AI 工作中的壓力
下面這篇博客中，Felix 詳細回顧了 AI 爆火的幾年，給自己的生活帶來的劇變 ——
過去兩年，AI 領域發(fā)生了不可逆轉的變化。
ChatGPT 的月活數接近 2 億人。Gemini 在 2024 年 5 月的訪問量接近 3.2 億次，AI 愛好者現在可以使用 AI 微波爐、AI 牙刷，甚至 AI 足球。
然而，對于我們這些在 AI 領域工作的人來說，這種大眾興趣的激增既是福也是禍。
誠然，薪資水平上漲了，股價和市值也隨之提高。但另一方面，這種變化也帶來了獨特的壓力。
這篇博客講述的是現代 AI 領域的壓力。它面向所有在 AI 領域工作的人（按保守估計，現在全球人口中大約有 87% 的人在從事 AI 相關工作），特別是那些從事 AI 研究的人。
最終，我希望通過討論 AI 研究中的壓力源，讓我們這些有幸在該領域工作的人生活得更快樂一些。
因為，盡管目前一片混亂，這仍然是一個美妙而充實的職業(yè) —— 它有潛力解決科學、哲學乃至人類本身的諸多重大問題。
無處可逃
幾個月前，我參加了一個朋友的 40 歲生日派對。在那些我不太熟悉的人中，我注意到一個奇怪的現象。
盡管我那時身體不適，而且明顯不太想講話，但我周圍還是形成了一個包圍圈，原因僅僅是，大家知道我在 DeepMind 上班。
而且，他們想聊的不是足球或 80 年代音樂，恰恰是我最想避免思考的主題 ——AI。
雖然很感激這么多人對我的工作感興趣，但這也提醒我過去兩年發(fā)生了多大的變化。
銀行家、律師、醫(yī)生和管理顧問都想聽聽我對 ChatGPT 的看法；雖然很少有人聲稱在工作中直接使用了 LLM，但他們確信，AI 領域正在發(fā)生一些他們應該了解的事情。
作為一名研究人員，我相信你也能體會到這種在社交場合無法放松的感覺。
但情況更糟。就連在自己家里，我也找不到安寧。
我早已不再看新聞，因為害怕引發(fā)焦慮。但即使是在看足球、VH1、蒙塔爾巴諾探長，或者那部出色的《那不勒斯四部曲》改編劇時，廣告中也充斥著與 AI 相關的內容。
在這段時間，我時常幻想著收拾行李，跨越大洲去加入一個隱居群體。但很可能連內觀禪修（Vipassana）也被 AI 滲透了，這不會讓我驚訝。
無形的競爭
幾家大公司競相開發(fā)最大、最好的 LLM，這一事實本身就令人壓力重重 —— 無論你為哪家公司工作。
現在從事 AI 研究，感覺就像參與一場戰(zhàn)爭。希特勒和達奇?舒爾茨的例子告訴我們，參戰(zhàn)可能導致精神病態(tài)、離婚和自殺等嚴重后果。
當然，我并不是要把參與 AI 研究等同于參與真實戰(zhàn)爭，但我的親身經歷卻表明，這種類比是很真實的。
關乎底線的工作
通常，業(yè)界的研究人員并不習慣于自己的工作對雇主的底線產生直接且即時的影響。
當然，許多研究人員都夢想能夠產生這樣的影響。只是以前，這種機會可能是十年難遇。
如今，對 LLM 基礎研究的結果，往往只會對模型性能產生微小、短期的波動。然而，由于公司估值與 LLM 性能（難以分割地？）掛鉤，這些波動可能導致股價出現數十億美元的起伏。
這種動態(tài)令人倍感壓力，而且這也不是 AI 研究人員在研究生階段、博士后期間，甚至在 2022 年之前的工作中所能預料到的。
錢，錢，還是錢
大多數 AI 研究人員，尤其是我們這些超過某個年齡的人，當初投身研究并不是為了賺錢。
做自己熱愛的工作還能獲得豐厚報酬聽起來是個完美方案，但這也可能引發(fā)強烈的焦慮。特別是當推動你收入增長的外部因素不在你的控制范圍內，且 / 或者這些因素讓你對工作的熱愛程度大不如前時。
無論 AI 是否與此有關，突然積累財富可能會導致各種問題，看看那些經過多年努力終于成名的演員或歌手就知道了。成癮、感情破裂、友誼破碎，甚至自殺只是一些較為常見的癥狀。
這些癥狀，我確實都感同身受。
科學家角色缺失
LLM 的規(guī)模、簡單性和有效性使得做出「相關」的「科學研究」變得困難，這里的相關指的是能立即改進 LLM。
領先的 LLM 研究人員已經開始認同 Rich Sutton 的「苦澀教訓」：除了規(guī)模之外，幾乎不需要任何創(chuàng)新。
而且，即使理論上可能存在實質性創(chuàng)新，實現它往往需要在不同條件下反復訓練最大規(guī)模的 LLM。這甚至連最大的公司都負擔不起。
對于一個「普通」的研究科學家來說，這感覺簡直令人絕望。
對于習慣于在 5 至 10 人的小團隊中工作的工業(yè)界科學家來說，這些已經很艱難。但學術界的人所遭遇的無疑更加嚴峻，比如那些博士生、博士后和 AI / CS / 機器學習領域的教職人員。
發(fā)表論文
雖然學術界的人可以（也應該）繼續(xù)發(fā)表從 LLM 實驗中獲得的見解，但對于工業(yè)界的科學家來說，發(fā)表論文的問題就沒那么明確了。
發(fā)表論文一直是科學過程的內在組成部分，也一直是 AI 研究的核心原則。我接觸過的大多數 AI 研究人員，特別是研究科學家，都同意我的觀點：發(fā)表論文是我們職業(yè)生涯的關鍵。
但是，至少在工業(yè)界，過去 2 年來，研究成果是否能夠發(fā)表的問題變得越來越不明確。能夠改進 LLM 的小技巧可能等同于 LLM 之戰(zhàn)中的關鍵武器。將這些秘密公開是否對資助研究的組織有利，這始終是一個需要深思熟慮的問題。
這一切都意味著，研究人員經常對自己想法的前途毫無把握，至少，這會對我造成巨大的壓力。
創(chuàng)業(yè)公司
當然，擺脫這些困擾的一個可行出路，就是規(guī)劃科研方向，籌集資金并成立創(chuàng)業(yè)公司。事實上，目前 AI 創(chuàng)業(yè)公司（無論大小）的激增表明有多少科學家選擇了這條路。
但成為創(chuàng)始人并不能必然地規(guī)避相關壓力。
眾所周知，創(chuàng)業(yè)的壓力也很大；即使在當前投資者熱情高漲的情況下，許多資金充足的 AI 創(chuàng)業(yè)公司仍然失敗了。
我知道，成為創(chuàng)始人是一段特別孤獨的旅程。這無疑是當下雄心勃勃的科學家們的一個可行選擇，但這既不會讓做研究變得容易，也不會減輕壓力。
為什么要寫關于壓力的博客
過去兩年在 AI 領域可謂混亂而瘋狂，而對我個人而言，這更是一段特別動蕩的時期。
2023 年 4 月，我的母親在與阿爾茨海默癥長期抗爭后離世。那時的我正在精神病院接受治療，因為出現了嚴重的精神癥狀，其中壓力很可能是重要誘因。
在接下來的 12 個月里，表面上我是在康復中，但實際上卻陷入了極度焦慮和自殺傾向的抑郁狀態(tài)。
所幸在這期間，我遇到了非常理解我的處境（以及認可我對公司的價值）的雇主，他們一直為我提供治療和精神上的支持。
經過另外 6 個月的重度抑郁之后，我的狀況開始好轉，最近也感覺自己有能力寫下這些經歷。
我深刻地認識到壓力和焦慮是密不可分的；事實上，它們本質上可能是同一件事。誠然，像任何適應性特征一樣，焦慮有時也能帶來積極影響（比如提高生產力），但一旦焦慮變得失控，后果可能相當嚴重。
正是在嘗試重新學習如何成為一名 AI 研究員的過程中，回顧 AI 領域這兩年的發(fā)展，讓我獲得了這篇博客中所分享的見解。
誠然，僅僅分享這些見解并不能從根本上解決問題，但在最艱難的時期，能給我?guī)硐Ｍ纳贁凳虑橹痪褪且庾R到我并不是一個人在戰(zhàn)斗。
如果你現在也在經歷類似的困擾，請記住 —— 你并不孤單。
社交焦慮
我已經討論了當前從事 AI 研究的人可能遭受的諸多壓力或焦慮的誘因。
然而，還有一種壓力我尚未提及，這是因為我很幸運從未親身經歷過。我對它的了解，完全來自于與朋友和同事的深入交談。
這種壓力就是社交焦慮。
據朋友們反映，那些有社交焦慮的人往往會覺得群體互動充滿挑戰(zhàn)。在現代 AI 領域，這是一個格外嚴峻的挑戰(zhàn)，因為大型項目團隊和大規(guī)模的（通常是跨洲際的）協(xié)作已成為必需。
目前行業(yè)中的高流動率更是雪上加霜，因為已建立的團隊（通常作為社交「安全網」）可能在一夜之間解散瓦解。
人員流動還可能引發(fā)信任危機，因為曾經可靠的伙伴可能會轉投競爭對手的研究團隊。
值得欣慰的是，社交焦慮和我此前討論過的所有焦慮或壓力表現一樣，都是可以克服的?？朔牡谝徊绞桥囵B(yǎng)以家人和「非 AI 圈」朋友為主的自然支持系統(tǒng)。
而關鍵的第二步，則是我們所有從事 AI 工作的人，都要開始并持續(xù)保持關于壓力的坦誠對話。
因此，誠摯邀請你在社交媒體上分享自己的經歷和感受。讓我們攜手努力，不僅將 AI 研究打造成一個充滿活力和智力挑戰(zhàn)的領域，更要使其成為一個充滿同理心和善意的溫暖家園。
AI 大佬發(fā)長文緬懷
Contextual AI 首席執(zhí)行官 Douwe Kiela 發(fā)文表示，我真的很難過，我親愛的朋友 Felix Hill 離開了我們。他在世界各地有很多朋友和同事。為了讓更多人知道，他的家人希望我們分享這個網頁，一起紀念他的一生：
EPFL 教授，前 DeepMind 研究科學家 Caglar Gulcehre 表示，聽到 Felix 離開我們的消息，真是令人心碎！
他回憶道，「我第一次見到 Felix 是在蒙特利爾讀博二的時候。那時候，我正經歷抑郁癥，頭兩年的生活很難熬。我搬到一個新國家，再加上冰天雪地的天氣，讓我感到特別不適應。
Felix 總是充滿活力，樂觀開朗。但有時候，你很難知道別人生活中正在經歷什么。所以，對他人多一份理解，不要輕易下結論很重要。或許他們可能正經歷著不為人知的困境?？上У氖?，很多人仍然低估了心理健康的重要性。
尋求幫助并不是軟弱的表現。剛到 DeepMind 工作的頭兩年，我的父親突發(fā)心臟病，后來還失明了；我的姐姐也被診斷出癌癥。那時候，我又搬到了另一個國家。如果不是尋求了專業(yè)幫助，我不知道自己該如何應對這一切。
無論何時需要幫助，都要勇敢去尋求。我很感激身邊有許多支持我的人，在困難時期給予了我很大的幫助。如果心理狀態(tài)不佳，很難在工作上取得成功。向 Felix 家人致以深切的慰問」。
DeepMind 研究科學家 Andrew Lampinen 發(fā)文懷念其這位曾經指導過自己的導師 ——
Felix Hill 是一位非常出色的導師 —— 偶爾也是我的冬泳伙伴。我能加入 DeepMind，以及形成如今做研究的方式，很大程度上都要歸功于他。都過去一個月了，我還是覺得難以相信他已經離開了。
Felix 在選擇研究方向上有著超強的眼光，而且直覺特別準。每當遇到新想法，他總會表現出孩子般的熱情和好奇心，還特別幽默，能夠與他一起工作真的讓人備受啟發(fā)。
他也特別看重跟他共事的每個人。在我剛到 DeepMind 的時候，他和 Jane Wang 一起把一群超棒的人聚在了一起，比如 Stephanie Chan、Aaditya Singh、Allison Tam，還有其他很多朋友和合作伙伴。
不過他也經歷過一段艱難時期，尤其是最近這幾年。我最后一次和他聊天是在他離世前大概一個月，那時他跟我分享了一個雄心勃勃又有點瘋狂的項目想法，讓我仿佛看到了他當年的影子。但那會兒我太忙了，一直沒有再跟進，直到現在為時已晚，至今這件事讓我特別后悔。
紐約大學計算機科學和數據科學教授 Kyunghyun Cho 更是寫了一篇長文緬懷逝者 ——「再見了，Felix」。
文章地址：https://kyunghyuncho.me/bye-felix/
這段文字寫于 2024 年 12 月 9 日，但當時我既不愿意也無法接受所發(fā)生的事實，所以一直沒有勇氣發(fā)布。即便到現在，每當想起這件事，我的心仍然隱隱作痛。我選擇在 2024 年的最后一天發(fā)布這段文字，以此緬懷 Felix。
時間回溯到 2014 年初夏。我當時在蒙特利爾大學擔任 Yoshua Bengio 教授的博士后研究員，而 Felix 是一位剛剛抵達蒙特利爾的訪問學生。
那時，我正在致力于開發(fā)一個能夠處理長句子的神經機器翻譯系統(tǒng)（Neural Machine Translation，NMT），為此我嘗試了所有能想到的方法（注意力機制當時并不在其中，直到同年夏天 Dima Bahdanau 作為實習生來到蒙特利爾才有了突破）。
在這些探索性嘗試中，我構思了使用門控卷積編碼器（Gated Convolutional Encoder）來替代基于循環(huán)神經網絡（RNN）的編碼器。通過對門控機制施加適當的約束，我成功訓練出了這個模型，并使其具備了一定的可解釋性。
當 Felix 來到我的辦公桌前，以語言學家和計算機科學家的身份做自我介紹時，我很興奮地想要向他展示這個新模型所揭示的可解釋結構。
于是我向他展示了：
Felix 以極其篤定的語氣對我說，「Kyunghyun，語法并不重要」。這大概是我聽過非韓國人中最標準的名字發(fā)音。
那一刻我就預感到，Felix 一定會成為我最好的朋友之一 —— 事實證明，從那時起直到現在確實如此）。而他說的這句話，也在往后幾年里頻頻出現在我的學術演講 slides 中。
在我們共度的那些愉快時光中，除了進行深入卻不失趣味的哲學探討，我們也開展了一些研究合作。
除了共同發(fā)現的諸多有趣成果外，我們最具標志性的「貢獻」反而是一個相當特別的現象：從 2016 年開始，我們無意中引領了一股持續(xù) 3-5 年的潮流，就是人人都仿佛著了魔似的要在論文中塞入一個裝滿海量數字的「超級大表格」（The Really Enormous Table）。
當時我們在寫「Learning distributed representations of sentences from unlabelled data」這篇論文時，完全沒想那么多，但最終還是放入了兩個巨大的數據表格：
2018 年初，Felix 在 ICLR 的論文集中發(fā)現了好幾篇包含「超級大表格」的論文，這讓我們不禁啞然失笑。
即使在嚴謹的學術研究中，我們依然保持著這種愉快的合作方式。
時光飛逝，將近十年后，Felix 作為 2023 年拉美人工智能會議 Khipu 的組織者之一，邀請我擔任演講嘉賓。他興致勃勃地向我描繪我們將要進行的活動：觀看足球比賽，游覽布宜諾斯艾利斯等等。
然而，當我在 2023 年 3 月抵達蒙得維的亞參加 Khipu 時，卻發(fā)現 Felix 并未到場。其他組織者告訴我，他因為健康問題無法前來。那時的我還不曾想到，這竟是我最后一次有機會與他相見。
Felix 在 2023 年第二屆 Khipu 上未領取的參會證件
2024 年 6 月，經過漫長歲月，我終于有機會造訪倫敦，便給 Felix 發(fā)消息約他共進午餐。盡管我清楚見面的可能性渺茫，但我真的非常期待能與他相聚、暢談，一起消磨時光。
我們上次見面還是在疫情之前，之后就只能靠偶爾的遠程視頻聯系。我也暗自期待能看到他康復的喜人變化。
幾個月后（2024 年 8 月），Felix 回復了消息，并為遲復致歉，這實在讓人心疼。他還附上了一張我們的合影（不是 AI 生成的，但是 Felix「生成」的），喚起了我們上次在倫敦相聚的美好回憶。
左圖：這是一張由 Felix 本人「生成」的與我的合影；右圖：這是一張真實拍攝的 Felix 與我的合影
上周五，我收到了 Douwe 發(fā)來的 WhatsApp 消息。正是由于 Felix 在 2014 年的引薦，我才認識了 Douwe，并與他建立了深厚的友誼。我立即嘗試聯系 Felix，但不管是 WhatsApp 還是手機，都已經無法接通。
Felix，愿你現在已不再痛苦，在天國與母親團聚。
參考資料：
https://www.paperlesspost.com/go/7BbrzXXhbw9NG9fvQAXXV
https://medium.com/@felixhill/200bn-weights-of-responsibility-da85a44a2c5e
https://x.com/DrJimFan/status/1874959979553427815
https://x.com/kchonyc/status/1874768078044868708
https://x.com/douwekiela/status/1874681290676740343
本文來自微信公眾號：新智元（ID：AI_era），原標題《DeepMind 天才科學家疑自殺！41 歲 SuperGLUE 之父英年早逝，AI 圈悲痛不已》
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。