設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

馬斯克大模型創(chuàng)始團(tuán)隊(duì)曝光!華人超三分之一,清華浙大校友在列

量子位 2023/7/13 23:14:46 責(zé)編:遠(yuǎn)洋

毫無預(yù)警地,馬斯克剛剛在推特突然宣布 ——

成立公司 xAI,目標(biāo)是理解宇宙的真實(shí)本質(zhì)。

更多消息被創(chuàng)始團(tuán)隊(duì)成員透露,xAI,大概率也是錨定大模型領(lǐng)域:

為大型神經(jīng)網(wǎng)絡(luò)開發(fā)“萬物理論”,將成為 AI 提升到新水平的核心攻關(guān)點(diǎn)。

一同對(duì)外亮相的還有創(chuàng)始團(tuán)隊(duì),包括馬斯克在內(nèi),共 12 人。

xAI 官網(wǎng)介紹,這支由馬斯克領(lǐng)導(dǎo)的輕騎兵,組成人員有谷歌學(xué)術(shù)超過 20 萬引用的大佬,還有 ChatGPT 的項(xiàng)目組成員、AlphaStar 的背后參與者、Transformer-XL 的共同作者等。

這些人曾在 OpenAI、DeepMind、微軟和特斯拉等公司,以及多倫多大學(xué)等學(xué)術(shù)機(jī)構(gòu)任職。

而且,華人在其中占據(jù)了多個(gè)席位,備受矚目。

他們每個(gè)人的推特后面,都跟著醒目的 xAI 公司 logo 圖標(biāo)。

如此陣仗,難怪有網(wǎng)友“驚訝”分享自己的新發(fā)現(xiàn):

哦吼,這是一家員工 100% 使用推特的 AI 初創(chuàng)公司哎!

雖然由馬斯克帶隊(duì),但 xAI 將會(huì)是一個(gè)獨(dú)立的公司。

不過,團(tuán)隊(duì)還是會(huì)和 X(Twitter)、特斯拉、SpaceX 等馬老板旗下的其他公司,展開密切的合作關(guān)系。

消息來得太過突然,不僅打了 OpenAI、Anthropic 等公司一個(gè)措手不及,連吃瓜群眾都興奮中帶著懵圈。

由于受命于同一個(gè)大老板,有推特在職員工都激動(dòng)湊熱鬧:

我有一個(gè)朋友,他讓我?guī)兔枂?,能不能同時(shí)在推特和 xAI 工作啊?(doge)

LinkedIn 創(chuàng)始人霍夫曼也發(fā)話,他覺得馬斯克是很有能力推動(dòng) AI 發(fā)展的。

不過,霍夫曼同時(shí)還是 OpenAI 的前董事會(huì)成員,以及風(fēng)頭正勁的 AI 初創(chuàng)公司 Inflection AI 的聯(lián)合創(chuàng)始人。

面對(duì)此情此景,他不由得還問出了心中疑惑:

咱就是說,當(dāng)馬斯克自己下場,試圖加快 AI 發(fā)展的時(shí)候,我就有點(diǎn)懷疑他之前鬧著要全球 AI 暫停發(fā)展 6 個(gè)月,初衷到底是個(gè)啥。

華人占創(chuàng)始團(tuán)隊(duì)名單三分之一

xAI 簡單到不行(只有一頁)的官網(wǎng)上,最引人關(guān)注的就是列出的 12 人名單。

量子位還注意到,這 12 個(gè)人中,有多人都是華人面孔。

  • 包括 Yuhuai(Tony) Wu、Greg Yang、Guodong Zhang 和 Zihang Dai 等。

  • 吳宇懷 Yuhuai(Tony) Wu,斯坦福大學(xué)博士后,博士畢業(yè)于多倫多大學(xué);

  • 楊格 Greg Yang,在哈佛本科畢業(yè)后,在微軟研究院工作;

  • 張國棟 Guodong Zhang,多倫多大學(xué)碩博畢業(yè),本科時(shí)是浙大的學(xué)生;

  • 戴子航 Zihang Dai,先后就讀于清華大學(xué)、CMU,博士畢業(yè)后在谷歌研究院上班。

  • Jimmy Ba,多倫多大學(xué)副教授,師從圖靈獎(jiǎng)得主 Hinton,同時(shí)也是 Adam 優(yōu)化器的開發(fā)者。

來整體看看 xAI 官網(wǎng)是怎么介紹這 12 個(gè)人的過往經(jīng)歷的 ——

整個(gè)團(tuán)隊(duì)由馬斯克本人親自領(lǐng)導(dǎo)。

其余創(chuàng)始團(tuán)隊(duì)成員曾在 DeepMind、OpenAI、Googel Research,微軟研究院,特斯拉和多倫多大學(xué)工作過。

這些人曾在 Transformer-XL,Autoformalization,the Memorizing Transformer,Batch Size Scaling,and μTransfer 方面,擔(dān)任團(tuán)隊(duì)領(lǐng)導(dǎo)角色或做出過學(xué)術(shù)貢獻(xiàn)。

經(jīng)他們之手的項(xiàng)目,有 AlphaStar,AlphaCode,Inception,Minerva,GPT-3.5 和 GPT-4 等等。

更多消息,官網(wǎng)上也沒有表露。

量子位順藤摸瓜探了探他們?nèi)肼?xAI 前的履歷,并按照此前經(jīng)歷做了簡單的梳理。

(僅含 11 名創(chuàng)始團(tuán)隊(duì)成員,馬斯克其人本文不多作詳細(xì)介紹)。

OpenAI 前員工:1 人

Kyle Kosic,OpenAI 前工程師,研究興趣是自動(dòng)化、可擴(kuò)展性和分布式計(jì)算。

再往前看,他曾在一家制造模擬云平臺(tái)的公司 OnScale 工作。

3 個(gè)月前,Kyle 還在 Linkedin 上激情轉(zhuǎn)發(fā) ChatGPT Plugin 的動(dòng)態(tài)文章。

DeepMind 前員工:4 人

xAI 創(chuàng)始團(tuán)隊(duì)中,一共有 4 人曾是 DeepMind 的全職員工。

張國棟,前 DeepMind 研究科學(xué)家,xAI 華人面孔之一。

浙江大學(xué)信息工程專業(yè)本科畢業(yè)后,他在多倫多大學(xué)獲得博士學(xué)位,并且曾在谷歌大腦和微軟研究院實(shí)習(xí)。研究方向主要是 ML 和 AI,目前專注于訓(xùn)練、調(diào)優(yōu)和對(duì)齊大型語言模型。

曾在 ICML、ICLR 和 NeurIPS 多個(gè)計(jì)算機(jī)國際頂會(huì)發(fā)表過論文。

Igor Babuschkin,一個(gè)在 DeepMind 和 OpenAI 反復(fù)橫跳的人。

2018 年起,他在 DeepMind 工作了 3 年多,是 AlphaStar(DeepMind 星際爭霸 AI 模型)登上《Nature》論文的主要作者之一。

而后,他跳槽到 OpenAI。

據(jù)介紹,這期間,Igor 是 ChatGPT 項(xiàng)目組的成員。

但是去年 4 月,他又以資深主任工程師的身份回到了 DeepMind。

Manuel Kroiss,和上面這位一樣,也是前 DeepMind AI 部門的資深研究員。

今年 3 月就有消息傳出,馬斯克把這人挖去了推特,沒想到最終的歸宿是 xAI。

Toby Pohlen,在 DeepMind 的“練習(xí)”時(shí)長有 6 年 3 個(gè)月之久。

在職期間,他開發(fā)了 AlphaStar 參與聯(lián)賽的評(píng)估系統(tǒng) ——AlphaStar 是 DeepMind 開發(fā)的 AI,會(huì)玩《星際爭霸 II》,參加三場比賽的表現(xiàn)都被評(píng)為大師級(jí),在官方的人類玩家排名中,排名前 99.8%。

Linkedin 資料顯示,2021 年起,Toby 的工作就轉(zhuǎn)而面向致力于大型語言模型的服務(wù)和評(píng)估工具。

微軟前員工:1 人

楊格,離職前是微軟雷蒙德研究院的首席軟件工程師。

此前,他還有蘋果(2019.4-2021.2)和谷歌(2013.9-2018.10)的就職經(jīng)歷。

他的主要行業(yè)經(jīng)驗(yàn)集中在構(gòu)建、啟動(dòng)和維護(hù)大型分布式系統(tǒng)和基礎(chǔ)設(shè)施組件,對(duì) TensorPrograms 和 neuralnetworks.有深入研究。

目前,他也是唯一一個(gè)已經(jīng)在推特個(gè)人簡介上標(biāo)明“xAI 聯(lián)創(chuàng)”的人。

在 xAI 官宣成立后,楊格表示:

開發(fā)大型神經(jīng)網(wǎng)絡(luò)的“萬物理論”將是將人工智能提升到新水平的核心。

另一方面,這種 AI 將使每個(gè)人都能以此前難以想象的方式理解我們的數(shù)學(xué)宇宙。

Google 前員工:3 人

12 人中,有 3 人加入 xAI 前的最后足跡留在了谷歌。

Christian Szegedy,曾在 Google Research 擔(dān)任研究科學(xué)家。

他發(fā)明了最早的目標(biāo)檢測算法之一 adversarial examples,主要工作面向深度學(xué)習(xí),致力于通過深度學(xué)習(xí)進(jìn)行 ML、AI 和 CV。

在 Google Shcolar 上,這位大佬的總被引數(shù)超過了 20 萬。

戴子航,xAI 華人面孔之一,先后就讀于清華大學(xué)、CMU。

博士畢業(yè)后在谷歌研究院上班。是谷歌前研究科學(xué)家。

他的履歷還顯示,他曾經(jīng)在百度從事深度學(xué)習(xí)方面的工作,后來還在圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一 Yoshua Bengio 領(lǐng)導(dǎo)的 AI 實(shí)驗(yàn)室 MILA 待過一段時(shí)間。

2019 年,CMU 的預(yù)訓(xùn)練模型工作 XLNet 中,戴子航與現(xiàn)清華叉院助理教授、國內(nèi) AI 初創(chuàng)公司月之暗面創(chuàng)始人楊植麟并列為共同一作。

吳宇懷,xAI 華人面孔之一,博士畢業(yè)于多倫多大學(xué),后赴斯坦福大學(xué)做博后。

他的主要研究興趣是制造可以推理的機(jī)器,目標(biāo)是做個(gè)有關(guān)自動(dòng)化的數(shù)學(xué)家。

值得一提的是,吳宇懷的導(dǎo)師之一,就是本次創(chuàng)始團(tuán)隊(duì)的另一位成員 Jimmy Ba。

他曾在 DeepMind 和 OpenAI 實(shí)習(xí),畢業(yè)后,加入了谷歌的 N2Formal 團(tuán)隊(duì)。

去年,他參與的 3 篇論文在計(jì)算機(jī)國際頂會(huì) ICLR 2022 發(fā)表,8 篇論文發(fā)表被頂會(huì) NeurIPS 2022 接收。

特斯拉前員工:1 人

Ross Nordeen,特斯拉超級(jí)計(jì)算和機(jī)器學(xué)習(xí)部門的前技術(shù)項(xiàng)目經(jīng)理。

加入 xAI 以前,媒體報(bào)道 Ross 已經(jīng)在去年 10 月被馬斯克“調(diào)任”到推特,管理一些招聘和訪問事宜。

多倫多大學(xué)教職人員:1 人

Jimmy Ba,多倫多大學(xué)的明星青年副教授,他本人也是在多倫多大學(xué)完成了了本碩博的學(xué)習(xí),跟隨圖靈獎(jiǎng)得主 Geoffrey Hinton 拿下博士學(xué)位。

Jimmy Ba 的研究重點(diǎn)為深度神經(jīng)網(wǎng)絡(luò)的高效學(xué)習(xí)算法的開發(fā),是訓(xùn)練深度學(xué)習(xí)模型的首選算法之一 Adam 優(yōu)化器的開發(fā)者。

今年年初,他獲得了被稱為“諾獎(jiǎng)風(fēng)向標(biāo)”的斯隆研究獎(jiǎng)。

有趣的事是,他的推特個(gè)人簡介上寫道:

我所有的帖子都是由 GPT 生成的。

馬斯克開搞大模型

OpenAI+DeepMind + 微軟 + 谷歌 + 特斯拉 + 多倫多大學(xué),可以說,xAI 創(chuàng)始團(tuán)隊(duì)的 AI buff 疊滿了!

鑒于 xAI 的團(tuán)隊(duì)成員曾參與過的項(xiàng)目,已經(jīng)有不少網(wǎng)友猜測,xAI 的成立就是馬斯克進(jìn)軍大模型和 AIGC 的號(hào)角,與 OpenAI 激烈競爭。

今年年初 OpenAI 一通連轟帶炸后,馬斯克就已經(jīng)嘴炮連連。

一方面是與 Yoshua Bengio、Stability AI 的 CEO、DeepMind 研究人員等 1000 多位大佬聯(lián)名,要求至少 6 個(gè)月暫停 GPT 的訓(xùn)練。

另一方面,持續(xù)對(duì)外發(fā)聲,說 OpenAI 已經(jīng)不 Open 了,并表示自己會(huì)推出一個(gè)叫 TruthGPT 的 AI 的平臺(tái),并聲稱“這可能是通往安全的最佳途徑”。

說起來,xAI 是馬斯克現(xiàn)在帶隊(duì)的第 6 家公司,另外 5 家分別是特斯拉,SpaceX,推特,Neuralink 和 Boring Co.。

官網(wǎng)上白紙黑字寫得明白,xAI 是一家獨(dú)立公司,但會(huì)與 SpaceX,推特等有深度合作。

那么,這家馬斯克一手打造的 AI 新星,到底是要做什么?

用馬斯克的話說,是要理解現(xiàn)實(shí)(understand reality),更進(jìn)一步的,可以通過官網(wǎng)上的另一句話來理解:

“為了理解宇宙的真正本質(zhì)(understand the true nature of the universe)”。

更多事宜目前并沒有公開,xAI 賣了個(gè)關(guān)子,并歡迎大家在當(dāng)?shù)貢r(shí)間 7 月 14 日(本周五)的推特 Space 聊天中,向團(tuán)隊(duì)直接提問。

有心人已經(jīng)偷偷扒出了 xAI 的更多信息。

譬如,今年 3 月 9 日,馬斯克就已經(jīng)注冊成立了 xAI 這家公司,馬斯克自己當(dāng)董事。

3 月初就注冊成立了,為啥選擇今天官宣?

馬斯克見沒什么人朝這個(gè)方向討論,自己下場刨了自己埋下的包袱。

原因只有一個(gè),那就是他在玩梗,畢竟“42 是宇宙的終極答案”。

說回正題,3 月成立時(shí)的這個(gè)時(shí)間點(diǎn),略顯微妙。

已經(jīng)有網(wǎng)友猜測,4 月初馬斯克為推特購買的 1 萬個(gè) GPU,有沒有可能是明修棧道,暗渡陳倉,其實(shí)偷偷在為 xAI 成立后,開發(fā)自家的大語言模型做準(zhǔn)備?

永遠(yuǎn)奔赴在 AI 吃瓜第一線的英偉達(dá) AI 科學(xué)家 Jimmy Fan 發(fā)推分析了一波:

什么對(duì)話文本啊、圖像啊、長視頻啊、推特上有大量的多模態(tài)數(shù)據(jù)。

xAI 可是唯一一家可以直接合法合理訪問這個(gè)龐大、每日還在拓展的語料庫的 AI 初創(chuàng)公司?。。?!

額外提一嘴,除了創(chuàng)始 12 人,xAI 官網(wǎng)上還有個(gè)人的名字:公司顧問,丹?亨德利克斯(Dan Hendrycks)。

他的另一重身份是國際 AI 領(lǐng)域非營利組織“人工智能安全中心”(Center for AI Safety)的主任,這個(gè)組織就是今年 5 月 30 日,發(fā)布僅 22 個(gè)單詞公開信的那家。

信里是這樣說的:

減輕人工智能帶來的人類滅絕風(fēng)險(xiǎn),應(yīng)該與大流行病和核戰(zhàn)爭等其他影響社會(huì)的大規(guī)模風(fēng)險(xiǎn)一同成為全球性的優(yōu)先事項(xiàng)。

不知道這人的加入,能不能避免馬斯克一直對(duì)外表示的“AI 發(fā)展過快帶來風(fēng)險(xiǎn)”等問題。

One More Thing

馬斯克官宣以后,xAI 已經(jīng)熱火朝天開了聊天貼,和網(wǎng)友們聊起來了。

但承載 xAI 初亮相的推特這頭,有一些同樣 crazy 的事情正在發(fā)生。

近期的推特不僅陷入了限流爭議,還被喂了口訴訟索賠的官司 ——

馬斯克去年收購?fù)铺睾螅o退了數(shù)千名員工。

按道理講,這些員工應(yīng)該拿到共計(jì)至少 5 億美元的遣散費(fèi),但推特不僅沒有按 2019 年起公司內(nèi)部規(guī)定給足,最多只給了被辭退人員一個(gè)月的遣散費(fèi),有的人甚至一分錢都沒從推特身上拔下來。

上個(gè)月,訴訟通知已經(jīng)落到推特頭上了,公司也沒能支付拖欠員工的數(shù)百萬美元獎(jiǎng)金。

推特的說法是,這事兒“告我不合理”。

Emmmm…… 大概只有和馬斯克一起在“理解宇宙的真實(shí)本質(zhì)”后,才能理解推特不根據(jù)自家規(guī)定支付遣散費(fèi)的原因吧。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:馬斯克,AI人工智能

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知