開年以來，全球 AI 大模型行業(yè)，鮮花著錦，比肩繼踵。微軟、Google、Meta、百度等科技巨頭你追我趕，掀開了大模型“軍備競(jìng)賽”時(shí)代的序幕。新的挑戰(zhàn)者入局，大模型概念不斷走高，眾多 AI 企業(yè)紛紛宣告進(jìn)軍，擁抱新一輪生產(chǎn)力革命。
在國(guó)內(nèi)，做類 ChatGPT 產(chǎn)品，建中國(guó)版 OpenAI，這個(gè)無與倫比的“性感故事”，引燃了互聯(lián)網(wǎng)大廠和科技大佬的創(chuàng)業(yè)熱情，AI 2.0 的“諸神之戰(zhàn)”已經(jīng)打響。
今年 2 月，原美團(tuán)聯(lián)合創(chuàng)始人王慧文的一則“AI 英雄榜”，高調(diào)入局“劍指”大模型。之后，前搜狗 CEO 王小川、前京東 AI 掌門人周伯文、被譽(yù)為“AI 框架領(lǐng)域第一華人”的阿里技術(shù)副總裁賈揚(yáng)清、出門問問創(chuàng)始人李志飛等一眾大佬爭(zhēng)先加入 ChatGPT 掀起的創(chuàng)業(yè)熱隊(duì)伍。
還有眾多背景華麗的創(chuàng)業(yè)團(tuán)隊(duì)涌現(xiàn)，其中清華大學(xué)處于身負(fù)眾望的頭一梯隊(duì)。比如，清華唐杰教授的智譜 AI，黃民烈教授的聆心智能，清華大學(xué) NLP 實(shí)驗(yàn)室的孫茂松、劉知遠(yuǎn)團(tuán)隊(duì)，深言科技豈凡超，以及循環(huán)智能楊植麟等等，都被頭部 VC 賦予了顛覆行業(yè)的希望，創(chuàng)業(yè)的列車再次提速。
互聯(lián)網(wǎng)大廠也不甘心錯(cuò)過下一個(gè)時(shí)代。百度已經(jīng)率先推出“文心一言”，華為的“盤古”大模型，騰訊的“混元”AI 大模型，已經(jīng)蓄勢(shì)待發(fā)。還有阿里達(dá)摩院被曝要推出的類 ChatGPT 產(chǎn)品，字節(jié)跳動(dòng)被爆正在布局大模型，科大訊飛也被傳出類 ChatGPT 技術(shù)將在今年 5 月落地公司 AI 學(xué)習(xí)機(jī)產(chǎn)品中的消息.......
生產(chǎn)力范式轉(zhuǎn)移，算力時(shí)代悄然開啟，一場(chǎng) AIGC 帶來的奇幻革命正在進(jìn)行。諸神之戰(zhàn)！決戰(zhàn)“中國(guó)版 ChatGPT”，誰會(huì)是最后的贏家？
一、創(chuàng)業(yè)派
王小川團(tuán)隊(duì)
據(jù)公開信息，2022 年 6 月，王小川設(shè)立了人工智能技術(shù)公司 —— 北京百方眾智信息技術(shù)合伙企業(yè)，自己占股 80%。另?yè)?jù)媒體向王小川本人求證是否回歸創(chuàng)業(yè)做 AI 大模型的消息，王小川承認(rèn)自己在“快速籌備中”。
《態(tài)℃ 》欄目從接近王小川的消息源獲知，王小川近期正在與產(chǎn)業(yè)界和學(xué)術(shù)界的一些重要人士進(jìn)行密集溝通，目前項(xiàng)目還沒有公開，據(jù)說已經(jīng)搞定了一億美金的啟動(dòng)資金，被稱作“親友輪”。
王小川于 1996 年獲得國(guó)際奧林匹克信息學(xué)競(jìng)賽金牌，進(jìn)入清華大學(xué)。進(jìn)入搜狐后，在 2004 年主導(dǎo)推出搜狗搜索，并在 27 歲那年成為彼時(shí)中國(guó)互聯(lián)網(wǎng)界最年輕的高管。2015 年開始，王小川開始講 AI 的故事，以“自然交互 + 知識(shí)計(jì)算”為核心，推出 AI 翻譯機(jī)等產(chǎn)品。
搜狗在 2017 年 11 月登陸美國(guó)紐約證券交易所，上市四年多時(shí)間，營(yíng)收最高峰停在 2019 年，營(yíng)收 11.7 億美元，凈利潤(rùn) 1.05 億。此后不斷下滑，2020 年?duì)I收降至 8.37 億美元，虧損 1.09 億美元，2021 前兩個(gè)季度，營(yíng)收同比基本下降超過 44%。
2021 年 10 月初，搜狗完成私有化，并從紐交所退市。2021 年 9 月 4 日，搜狗宣布與騰訊完成合并。合并完成后，搜狗將成為騰訊控股間接全資子公司。2021 年 10 月 15 日，王小川發(fā)布郵件告別搜狗，卸任 CEO 職務(wù)，功成身退。
既有技術(shù)主義理想，又懂得商業(yè)的智慧，王小川無疑是殺向大模型賽道的一匹黑馬。
光年之外
前美團(tuán)聯(lián)合創(chuàng)始人、高級(jí)副總裁王慧文宣布?xì)⑷?AI 大模型賽道，曾一度引發(fā)科技互聯(lián)網(wǎng)行業(yè)的熱議。
2 月 13 日，王慧文在社交媒體上發(fā)出 AI 英雄榜，宣布打造中國(guó) OpenAI，成立北京光年之外科技有限公司（以下簡(jiǎn)稱“光年之外”），出資 5 千萬美元，估值 2 億美元，自有資金占股 25%。王慧文進(jìn)一步表示，下輪融資已有頂級(jí) VC 認(rèn)購(gòu) 2.3 億美元。
3 月 27 日晚，王慧文創(chuàng)立的公司光年之外被傳將以換股形式收購(gòu)北京一流科技，在現(xiàn)有團(tuán)隊(duì)基礎(chǔ)之上，打造中國(guó)版的 ChatGPT。公開信息顯示，一流科技成立于 2017 年 1 月，自稱是世界上唯一一家以“創(chuàng)業(yè)團(tuán)隊(duì)”身份研發(fā)通用深度學(xué)習(xí)框架的團(tuán)隊(duì)。其產(chǎn)品 OneFlow 的競(jìng)爭(zhēng)對(duì)手包括百度的 PaddlePaddle、谷歌的 TensorFlow 和 Facebook 的 PyTorch。
之前還有消息稱，美團(tuán)創(chuàng)始人兼董事長(zhǎng)王興個(gè)人將參與王慧文 AI 創(chuàng)業(yè)公司 A 輪融資，并出任董事。王興曾在朋友圈中表示，“AI 大模型讓我既興奮于即將創(chuàng)造出來的巨大生產(chǎn)力，又憂慮它未來對(duì)整個(gè)世界的沖擊。老王和我在創(chuàng)業(yè)路上同行近二十年，既然他決心擁抱這次大浪潮，那我必須支持?！?/p>
王慧文和王興曾聯(lián)合創(chuàng)辦校內(nèi)網(wǎng)（后更名人人網(wǎng)），此后又一起創(chuàng)辦了美團(tuán)。2020 年 12 月，王慧文宣布從美團(tuán)退休時(shí)，王興曾在公開信中表示：“老王和我是有共同志趣的同學(xué)和室友，是攜手創(chuàng)業(yè)的搭檔和并肩戰(zhàn)斗的戰(zhàn)友，更是可以思想碰撞、靈魂對(duì)話的一生摯友?！?/p>
兩年后，在 AI 大模型賽道，兩人再次走到一起，共同奔赴新的戰(zhàn)場(chǎng)。
Project AI 2.0
同樣高調(diào)入場(chǎng)的還有 AI 大牛李開復(fù)，3 月 19 日下午，其在朋友圈宣布成立 Project AI 2.0 公司。同一天，新公司在其創(chuàng)新工場(chǎng)官網(wǎng)正式上線。
據(jù)了解，Project AI 2.0 不僅僅要做中文版 ChatGPT。李開復(fù)認(rèn)為，AI 2.0 不僅僅是個(gè)高能聊天工具，也不僅僅是圖文創(chuàng)作的 AIGC 生成，Co-pilot 和如今看到的應(yīng)用都還只是 AI 2.0 能力的開端。
他還透露，Project AI 2.0 的資金、算力陸續(xù)到位，新公司期權(quán)由新團(tuán)隊(duì)絕對(duì)主導(dǎo)，首批廣招大模型、多模態(tài)、NLP (自然語言處理)、AI 算法工程與研究、分布式計(jì)算 / Infrastructure 等方向大的頂級(jí)人才推薦自薦。
瀾舟科技
今年 3 月 14 日，語言大模型玩家瀾舟科技，剛剛完成了 Pre-A + 輪融資。本輪融資由北京中關(guān)村科學(xué)城公司領(lǐng)投，斯道資本和創(chuàng)新工場(chǎng)跟投。這也是瀾舟科技一年內(nèi)收獲的第 2 輪融資，累計(jì)總額已經(jīng)數(shù)億元。
和融資消息一同公布的還有瀾舟科技推出的語言生成模型 —— 孟子 MChat 可控大模型。據(jù)介紹，它有類 ChatGPT 的能力，加上原來瀾舟科技孟子大模型 N 個(gè)項(xiàng)目功能引擎，最終呈現(xiàn)出來的 MChat，既有對(duì)話能力，又具備翻譯、生成、信息搜索等能力。
瀾舟科技創(chuàng)始人周明是聞名世界的 NLP 專家，也是當(dāng)今 NLP 領(lǐng)域成就最高的華人之一，他不僅是中國(guó)第一個(gè)中英翻譯系統(tǒng)的研制者，還在 2019 年成為 AI 語言領(lǐng)域最高級(jí)頂會(huì) ACL（國(guó)際計(jì)算語言協(xié)會(huì)）主席。
公開資料顯示，周明先后就讀于重慶大學(xué)、哈爾濱工業(yè)大學(xué)和清華大學(xué)，并在清華大學(xué)擔(dān)任過副教授。創(chuàng)業(yè)前，周明長(zhǎng)期在微軟亞洲研究院擔(dān)任 NLP 組的負(fù)責(zé)人、微軟亞研副院長(zhǎng)。周明在 NLP 領(lǐng)域發(fā)表的文章數(shù)量居世界前列，2012 年至 2020 年期間，周明在 NLP 領(lǐng)域頂會(huì)發(fā)表的論文數(shù)量居全球第一。
MiniMax
MiniMax 在 2021 年 11 月成立，是一家頗為神秘的人工智能公司，成立至今，對(duì)外發(fā)聲次數(shù)屈指可數(shù)。根據(jù)明勢(shì)資本官方消息，2022 年上半年，明勢(shì)資本領(lǐng)投了 MiniMax 的天使輪融資。
但事實(shí)上，MiniMax 是國(guó)內(nèi)名列前茅的多模態(tài) AI 大模型創(chuàng)業(yè)公司，形成了文本到視覺（text to visual）、文本到語音（text to audio）、文本到文本（text to text）三大模態(tài)的基礎(chǔ)模型架構(gòu)，可能也是國(guó)內(nèi)第一家同時(shí)擁有 3 個(gè)模態(tài)大模型能力的創(chuàng)業(yè)公司。
MiniMax 首款 C 端產(chǎn)品 Glow，和 ChatGPT 百科全書一樣的回答不同，Glow 的定位在 AI 虛擬聊天社交軟件，主打聊天、陪伴等情感功能，目前用戶數(shù)已經(jīng)破百萬。在 to B 方向，MiniMax 計(jì)劃在今年對(duì)外開放 API。
有媒體曾披露，MiniMax 聯(lián)合創(chuàng)始人為前商湯科技副總裁、通用智能技術(shù)負(fù)責(zé)人閆俊杰，也曾擔(dān)任商湯研究院副院長(zhǎng)，搭建了商湯的人臉識(shí)別和智慧城市相關(guān)的技術(shù)體系。在深度學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域，閆俊杰發(fā)表頂級(jí)會(huì)議和期刊論文 100 余篇，Google Scholar 引用超過 10000 次。
目前，MiniMax 團(tuán)隊(duì)人數(shù)已過百，公司核心技術(shù)研發(fā)成員均來自全球知名高校和全球頂尖科技公司，擁有世界頂尖自然語言處理，語音，計(jì)算機(jī)視覺，計(jì)算機(jī)圖形學(xué)等工業(yè)界和學(xué)術(shù)界經(jīng)驗(yàn)，擁有多項(xiàng)全球領(lǐng)先的人工智能領(lǐng)域研究成果，具有上百個(gè)全球發(fā)明專利，1/3 的團(tuán)隊(duì)成員擁有世界頂尖技術(shù)實(shí)驗(yàn)室的博士學(xué)位。
銜遠(yuǎn)科技
2 月 26 日晚，前京東 AI 掌舵人周伯文發(fā)布一則 AI 英雄帖，招募合伙人一起打造中國(guó)版 ChatGPT。這是繼前王慧文、王小川之后又一位下場(chǎng)的業(yè)界大牛。
周伯文長(zhǎng)期致力于語音、自然語言處理、多模態(tài)內(nèi)容理解與生成、知識(shí)表征與推理、人機(jī)對(duì)話、可信賴 AI 等研究領(lǐng)域及其在產(chǎn)業(yè)化、數(shù)智化的應(yīng)用。他提出的自注意力融合多頭機(jī)制的自然語言表征機(jī)理后來成為 Transformer 架構(gòu)的核心思想之一，他還曾與圖靈獎(jiǎng)得主 Yoshua Bengio 在 NLP 方向合作一篇論文，至今被引用 2000 多次，其論文總引用次數(shù)也高達(dá)近 15000。
周伯文自 2021 年底從京東離職后，轉(zhuǎn)去學(xué)術(shù)界，擔(dān)任清華大學(xué)惠妍講席教授、電子系長(zhǎng)聘教授 、清華大學(xué)電子系協(xié)同交互智能研究中心主任。同時(shí)，他還是銜遠(yuǎn)科技的創(chuàng)始人、首席科學(xué)家。
在英雄帖中，周伯文也表達(dá)了銜遠(yuǎn)科技參與 ChatGPT 這一波所走的差異化路線 —— 中國(guó)的 OpenAI 需要探索一條新的道路：垂直整合從自有基礎(chǔ)大模型到應(yīng)用、用戶全場(chǎng)景閉環(huán)，實(shí)現(xiàn)生成式人工智能技術(shù)與商業(yè)價(jià)值 "雙落地"。
今年 3 月 1 日，銜遠(yuǎn)科技宣布已經(jīng)完成數(shù)億元天使輪融資，本輪融資由啟明創(chuàng)投領(lǐng)投，經(jīng)緯創(chuàng)投跟投。
二、學(xué)院派
智譜 AI
智譜 AI 由清華大學(xué)計(jì)算機(jī)系唐杰教授創(chuàng)立，團(tuán)隊(duì)核心成員曾參與清華大學(xué)與智源研究院合作項(xiàng)目「悟道」的研發(fā)工作，具有豐富的大模型經(jīng)驗(yàn)。
2022 年 8 月，清華大學(xué)知識(shí)工程實(shí)驗(yàn)室與智譜 AI 合作研發(fā)的超大規(guī)模預(yù)訓(xùn)練語言模型 GLM-130B 正式上線，在多個(gè)公開評(píng)測(cè)集上性能超過 GPT-3。
去年 9 月，智譜 AI 宣布獲得數(shù)億元人民幣 B 輪融資，由君聯(lián)資本和啟明創(chuàng)投聯(lián)合領(lǐng)投，本輪融資將被用于繼續(xù)投入到打造高性能千億級(jí)普惠大模型。
唐杰，清華大學(xué)計(jì)算機(jī)系教授，剛剛?cè)脒x 2023 AAAI Fellow，也是 ACM / IEEE Fellow。研究方向包括人工智能、數(shù)據(jù)挖掘、社交網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)和知識(shí)圖譜等，曾獲 ACM SIGKDD Test-of-Time Award（十年最佳論文）。
就在 GPT4 發(fā)布的同一天，唐教授在微博宣布：基于千億參數(shù)大模型的對(duì)話機(jī)器人 ChatGLM，現(xiàn)在開啟邀請(qǐng)制內(nèi)測(cè)。據(jù)介紹，這是一個(gè)初具問答和對(duì)話功能的千億中英語言模型。
聆心智能
另一支赫赫有名的清華系 NLP 隊(duì)伍，是交互式人工智能（CoAI）課題組教授朱小燕和其學(xué)生黃民烈團(tuán)隊(duì)，他們先后提出過 SentiLARE、StoryGPT 等預(yù)訓(xùn)練模型。
黃明烈副教授于 2021 年創(chuàng)立聆心智能，專注心理咨詢賽道，致力于打造“超擬人底層大模型”。2022 年團(tuán)隊(duì)上線“AI 烏托邦”對(duì)話機(jī)器人，支持自定義 AI 人設(shè)進(jìn)行聊天交互。團(tuán)隊(duì)核心成員均來自于清華大學(xué)、卡內(nèi)基梅隆大學(xué)、谷歌等國(guó)內(nèi)外頂尖高校及公司，具有豐富的商業(yè)化經(jīng)驗(yàn)。
作為國(guó)內(nèi)具備訓(xùn)練超大規(guī)模語言模型能力的團(tuán)隊(duì)之一，聆心智能將自己定位為 "中國(guó)的 Character AI", 旨在提供情感陪伴的文本生成服務(wù)，公司目前已完成 Pre-A 輪融資。
黃明烈本人是自然語言生成領(lǐng)域的資深專家，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系長(zhǎng)聘副教授，國(guó)家杰出青年科學(xué)基金獲得者，智能技術(shù)與系統(tǒng)實(shí)驗(yàn)室副主任。研究興趣主要集中在人工智能、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)，自然語言處理如自動(dòng)問答、對(duì)話系統(tǒng)、情感與情緒智能等。已超過 100 篇 CCF A / B 類論文發(fā)表在 ACL、IJCAI、AAAI、EMNLP、KDD、ACM TOIS、TASLP、TKDE 等國(guó)際頂級(jí)或主流會(huì)議及期刊上。
清華大學(xué) NLP 實(shí)驗(yàn)室的孫茂松、劉知遠(yuǎn)團(tuán)隊(duì)
從 NLP 的學(xué)科方向上看，清華系孫茂松、劉知遠(yuǎn)團(tuán)隊(duì)算其中一股中堅(jiān)力量，來自清華自然語言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室（THUNLP）。THUNLP 成立于上世紀(jì) 70 年代的實(shí)驗(yàn)室，牽頭人是國(guó)內(nèi) NLP 研究領(lǐng)域的泰斗黃昌寧。
清華大學(xué)自然語言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室（THUNLP），是國(guó)內(nèi)最早開展 NLP 研究、且極具影響力的科研單位。實(shí)驗(yàn)室于 20 世紀(jì) 70 年代末成立之初，由中國(guó) NLP 開山人物黃昌寧帶領(lǐng)，ACL Fellow 孫茂松是他的學(xué)生，劉知遠(yuǎn)則是孫茂松的學(xué)生。
在語言大模型方面，孫茂松、劉知遠(yuǎn)團(tuán)隊(duì)從 2018 年跟進(jìn)預(yù)訓(xùn)練范式，2019 年初發(fā)布了 ERNIE 語言模型（與同時(shí)期百度版 ERNIE 同名），之后研發(fā)了 CPM 模型，是智源研究院「悟道?文源」的前身。
2021 年底，該團(tuán)隊(duì)發(fā)布了機(jī)器中文語言能力評(píng)測(cè)基準(zhǔn)“智源指數(shù)”（CUGE），以評(píng)測(cè)和推動(dòng)中文 NLP 的發(fā)展。一個(gè)是 AI 寫詩(shī)模型“九歌”，訓(xùn)練過程中學(xué)習(xí)了 80 萬首中國(guó)古詩(shī)；另一個(gè)是語言表征模型 ERNIE（和百度文心大模型同名），可與當(dāng)時(shí)任務(wù)最優(yōu)的 BERT 媲美。
深言科技
孫茂松、劉知遠(yuǎn)及其門下畢業(yè)的學(xué)生，在 NLP 和大模型領(lǐng)域已孵化了多個(gè)公司。其中就包括豈凡超于 2022 年成立的深言科技，致力于以自研中文大模型構(gòu)建工業(yè)級(jí)中文信息處理引擎。
2019 年，清華大學(xué)自然語言處理實(shí)驗(yàn)室（THUNLP）研制出一款名為 WantWords 的反向詞典，能夠根據(jù)語義描述查找詞語，可用于寫作輔助等多個(gè)場(chǎng)景；2021 年 11 月，這款應(yīng)用突然在微博爆紅，多次擠爆了服務(wù)器；2022 年 5 月，基于語義的名言名句檢索系統(tǒng) WantQuotes 上線，截至去年 8 月，WantWords 和 WantQuotes 已有超 200 萬用戶。
這支團(tuán)隊(duì)就是深言科技的前身，目前當(dāng)初研發(fā)這款應(yīng)用的幾位同學(xué)目前已畢業(yè)，并和他們的導(dǎo)師孫茂松教授一同創(chuàng)辦了創(chuàng)業(yè)公司深言科技（DeepLang AI），公司成立之初即獲得一線 VC 千萬元級(jí)投資。
深言科技的 CEO 豈凡超在人工智能和自然語言處理領(lǐng)域的國(guó)際刊物發(fā)表論文近 30 篇，申請(qǐng)專利十余項(xiàng)。目前，深言科技團(tuán)隊(duì)的核心成員主要由清華大學(xué)的博士、碩士組成，并由孫茂松教授領(lǐng)銜擔(dān)任首席科學(xué)家。
循環(huán)智能
在這次激烈的大模型“軍備競(jìng)賽”中，不乏履歷光鮮的 90 后創(chuàng)業(yè)者出現(xiàn)，首屈一指的就是循環(huán)智能聯(lián)合創(chuàng)始人楊植麟。
楊植麟本科就讀于清華大學(xué)計(jì)算機(jī)系，師從 IEEE Fellow 唐杰，2015 年以年級(jí)第一名的優(yōu)異成績(jī)畢業(yè)；隨后，赴自然語言處理（NLP）研究全球排名第一的卡內(nèi)基梅隆大學(xué)語言技術(shù)研究所（LTI）攻讀博士，師從蘋果 AI 研究負(fù)責(zé)人 Ruslan Salakhutdinov 和谷歌首席科學(xué)家 William Cohen，4 年即拿下博士學(xué)位。
博士期間，他與圖靈獎(jiǎng)得主 Yoshua Bengio 合作發(fā)布「火鍋問答」數(shù)據(jù)集 HotpotQA，又以一作身份發(fā)表的 XLNet 與 Transformer-XL 在 NLP 領(lǐng)域產(chǎn)生重要影響，成為 NeurIPS 2019 與 ACL 2019 的最高引論文之一，谷歌學(xué)術(shù)引用次數(shù)直接破萬……
這位 90 后創(chuàng)業(yè)者不僅學(xué)術(shù)履歷優(yōu)秀，在產(chǎn)業(yè)界的表現(xiàn)也可圈可點(diǎn)。2016 年，楊植麟創(chuàng)立循環(huán)智能，公司主要業(yè)務(wù)是運(yùn)用 NLP、語音、多模態(tài)、大模型等人工智能技術(shù)打造“銷售科技”方案。與此同時(shí)，智譜 AI 和清華研究團(tuán)隊(duì)的多個(gè) AI 項(xiàng)目由他主導(dǎo)，例如華為的“盤古”大模型也是楊植麟團(tuán)隊(duì)和華為云聯(lián)合推出的。
目前，循環(huán)智能已進(jìn)行到 B 輪融資，并連續(xù)三年實(shí)現(xiàn)了超 200% 的營(yíng)收增長(zhǎng)。
復(fù)旦邱錫鵬教授團(tuán)隊(duì)
2 月 20 日，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室的邱錫鵬教授團(tuán)隊(duì)攜上海人工智能實(shí)驗(yàn)室發(fā)布“國(guó)內(nèi)第一個(gè)對(duì)話式大型語言模型 MOSS”，它是一種類似于 ChatGPT 的對(duì)話聊天機(jī)器人或語言模型，可以執(zhí)行各種功能，例如給出答案、生成對(duì)話、編寫代碼等。邱錫鵬教授介紹，對(duì)話式大型語言模型 MOSS 大概有 200 億參數(shù)。
據(jù)介紹，未來，MOSS 的優(yōu)化將會(huì)圍繞三方面展開：團(tuán)隊(duì)會(huì)準(zhǔn)備更高質(zhì)量的中文數(shù)據(jù)；會(huì)開放接口，讓 MOSS 與人類進(jìn)行對(duì)話，收集更多的對(duì)話數(shù)據(jù)；同時(shí)，團(tuán)隊(duì)還會(huì)進(jìn)一步加大投入，擴(kuò)大其參數(shù)規(guī)模。
邱錫鵬教授為自然語言處理領(lǐng)域的資深學(xué)者，曾主導(dǎo)開發(fā) NLP 工具 FudanNLP, 團(tuán)隊(duì)主要研究方向?yàn)樽匀徽Z言處理和深度學(xué)習(xí)。目前，邱錫鵬與他的 MOSS 團(tuán)隊(duì) ——8 位年輕的復(fù)旦學(xué)生，正緊鑼密鼓地開展內(nèi)測(cè)和迭代工作。
三、大廠派
百度
3 月 16 日，百度啟動(dòng)基于百度新一代大語言模型的生成式 AI 產(chǎn)品“文心一言”的邀請(qǐng)測(cè)試，使用場(chǎng)景主要包含文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解和多模態(tài)生成。
目前來看，“文心一言”的基礎(chǔ)能力還算扎實(shí)，具備文學(xué)創(chuàng)作能力，可以進(jìn)行總結(jié)、分析、內(nèi)容、檢索，延伸至檢索增強(qiáng)。只是，從當(dāng)前的測(cè)試狀態(tài)來看，不乏“翻車現(xiàn)場(chǎng)”，達(dá)到的效果并不算是完美。
百度一直堅(jiān)持壓強(qiáng)式、馬拉松式的研發(fā)投入。百度高額的研發(fā)投入主要集中在 AI 領(lǐng)域，自 2012 年成立 AI 部門開始百度在十年里累計(jì)投入到 AI 方面的研發(fā)費(fèi)用超過了 1000 億元，是全球大廠中極少數(shù)具有能支撐訓(xùn)練大語言模型的公司。
從算力、算法到數(shù)據(jù)，從高端芯片昆侖芯，到飛槳深度學(xué)習(xí)框架，百度在各個(gè)層面都早有關(guān)鍵自研技術(shù)，給百度文心一言提供了一定的研發(fā)投入壁壘。
華為
2021 年 4 月，盤古大模型正式對(duì)外發(fā)布。其中盤古 NLP 大模型是業(yè)界首個(gè)千億參數(shù)的中文預(yù)訓(xùn)練大模型，在 CLUE 打榜中實(shí)現(xiàn)了業(yè)界領(lǐng)先。為了訓(xùn)練 NLP 大模型，團(tuán)隊(duì)在訓(xùn)練過程中使用了 40TB 的文本數(shù)據(jù)，包含了大量的通用知識(shí)與行業(yè)經(jīng)驗(yàn)。
3 月 27 日有消息傳出，華為盤古大模型 4 月將發(fā)布，將對(duì)標(biāo) CHATGPT，同樣達(dá)到千億級(jí)參數(shù)量，是全球最大的中文語言 AI 訓(xùn)練大模型，由華為與鵬城實(shí)驗(yàn)室聯(lián)合開發(fā)，鵬城云腦二期提供算力底座。
華為這方面的核心人物，是國(guó)際歐亞科學(xué)院院士、IEEE Fellow、華為云人工智能領(lǐng)域首席科學(xué)家田奇。加入華為之前，田奇已經(jīng)是業(yè)界知名的 AI 領(lǐng)域?qū)W者。他是美國(guó)伊利諾伊大學(xué)香檳分校博士、IEEE Fellow，也是原德州大學(xué)圣安東尼奧分校計(jì)算機(jī)系正教授。在高校任教 17 年之后，帶著學(xué)術(shù)界的前沿思考和科研成果，田奇與團(tuán)隊(duì)來到了產(chǎn)業(yè)一線。
騰訊
AI 大模型方面，騰訊表示正大力投入人工智能與云基礎(chǔ)設(shè)施建設(shè)，騰訊混元 AI 大模型覆蓋 NLP（自然語言處理）、CV（計(jì)算機(jī)視覺）、多模態(tài)等基礎(chǔ)模型和眾多行業(yè)與領(lǐng)域模型，還推出了萬億中文 NLP 預(yù)訓(xùn)練模型。
2022 年 4 月，騰訊首次對(duì)外披露 HunYuan 大模型研發(fā)進(jìn)展 —HunYuan 集 CV、NLP、多模態(tài)理解能力于一體，先后在 MSR-VTT、MSVD 等五大權(quán)威數(shù)據(jù)集榜單中登頂。
2022 年 5 月，“混元”在國(guó)際公認(rèn)的 CLUE 三個(gè)榜單同時(shí)登頂，一舉打破三項(xiàng)紀(jì)錄。去年年底，騰訊 HunYuan 進(jìn)一步推出國(guó)內(nèi)首個(gè)低成本、可落地的 NLP 萬億大模型，并再次登頂自然語言理解任務(wù)榜單 CLUE。
據(jù)悉，HunYuan 是業(yè)界首個(gè)可在工業(yè)界海量業(yè)務(wù)場(chǎng)景直接落地應(yīng)用的萬億 NLP 大模型，最快用 256 張卡，1 天內(nèi)就能訓(xùn)練完成，成本直接降至原來的 1/8。
阿里達(dá)摩院
AI 大模型方面，據(jù)阿里研究院公布的信息顯示，達(dá)摩院在 2020 年初啟動(dòng)中文多模態(tài)預(yù)訓(xùn)練模型 M6 項(xiàng)目，同年 6 月推出 3 億參數(shù)的基礎(chǔ)模型；2021 年 1 月模型參數(shù)規(guī)模到達(dá)百億；2021 年 5 月，具有萬億參數(shù)規(guī)模的模型正式投入使用；2020 年 10 月，M6 的參數(shù)規(guī)模擴(kuò)展到 10 萬億，成為當(dāng)時(shí)全球最大的 AI 預(yù)訓(xùn)練模型。
M6 于 2021 年 3 月首次發(fā)布，后來通過 480 塊 GPU 更迭至萬億參數(shù)，并成功在 10 天內(nèi)訓(xùn)練出 10 萬億模型，其參數(shù)規(guī)模與 GPT-3 相當(dāng)，但能耗僅為其 1%。
阿里云曾表示，M6 已在超 40 個(gè)場(chǎng)景中應(yīng)用，日調(diào)用量上億。在阿里云內(nèi)部，M6 大模型的應(yīng)用包括但不限于在犀牛智造為品牌設(shè)計(jì)的服飾已在淘寶上線、為天貓?zhí)摂M主播創(chuàng)作劇本，以及增進(jìn)淘寶、支付寶等平臺(tái)的搜索及內(nèi)容認(rèn)知精度等，尤其擅長(zhǎng)設(shè)計(jì)、寫作、問答，在電商、制造業(yè)、文學(xué)藝術(shù)、科學(xué)研究等前景中落地。
M6 的負(fù)責(zé)人為楊紅霞，據(jù)公開資料，楊紅霞 2007 年本科畢業(yè)于南開大學(xué)，獲統(tǒng)計(jì)學(xué)學(xué)士學(xué)位。其后她去往美國(guó)杜克大學(xué)統(tǒng)計(jì)科學(xué)系攻讀博士學(xué)位，師從 David Dunson 教授。博士畢業(yè)后，先入職 IBM 全球研發(fā)中心任 Watson 研究員，之后入職雅虎公司擔(dān)任首席數(shù)據(jù)科學(xué)家。楊紅霞在人工智能領(lǐng)域國(guó)際會(huì)議、頂級(jí)期刊有上百篇頂級(jí)論文。
不過，3 月 22 日有消息傳出，阿里巴巴的語言生成大模型 M6 的原帶頭人楊紅霞已加入字節(jié)跳動(dòng) AI Lab，擔(dān)任語言生成大模型的研發(fā)領(lǐng)導(dǎo)。
字節(jié)跳動(dòng)
據(jù)媒體消息，字節(jié)跳動(dòng)方面正在大模型方面布局、在語言與圖像模態(tài)方面發(fā)力。字節(jié)跳動(dòng)相關(guān)技術(shù)負(fù)責(zé)人表示，技術(shù)中臺(tái)在這些領(lǐng)域的探索仍處于初期，尚未成熟。
報(bào)道稱，語言大模型團(tuán)隊(duì)由字節(jié)搜索部門領(lǐng)導(dǎo)，目前規(guī)模在十?dāng)?shù)人左右；圖片大模型團(tuán)隊(duì)由產(chǎn)品研發(fā)與工程架構(gòu)部下屬的智能創(chuàng)作團(tuán)隊(duì)牽頭。
知情人士表示，字節(jié)跳動(dòng)語言大模型團(tuán)隊(duì)在今年組建，探索方向主要為與搜索、廣告等下游業(yè)務(wù)的結(jié)合，語言大模型團(tuán)隊(duì)的預(yù)期是在今年年中推出大模型。
科大訊飛
科大訊飛于 2022 年 12 月份啟動(dòng)生成式預(yù)訓(xùn)練大模型“1+N”任務(wù)攻關(guān)，其中“1”是通用認(rèn)知智能大模型算法研發(fā)及高效訓(xùn)練底座平臺(tái)，“N”是應(yīng)用于教育、醫(yī)療、人機(jī)交互、辦公、翻譯、工業(yè)等多個(gè)行業(yè)領(lǐng)域的專用大模型版本。
公開資料披露，科大訊飛類 ChatGPT 技術(shù)將在今年 5 月落地公司 AI 學(xué)習(xí)機(jī)產(chǎn)品中。
科大訊飛在教育、醫(yī)療、司法等不同行業(yè)多年的規(guī)?；瘧?yīng)用積累了超過 50TB 的行業(yè)語料和每天超 10 億人次用戶交互數(shù)據(jù)，為訓(xùn)練實(shí)現(xiàn)達(dá)到人類專家水平的行業(yè)認(rèn)知大模型提供了海量行業(yè)文本語料和用戶反饋數(shù)據(jù)，也為基于大模型的創(chuàng)新應(yīng)用研發(fā)和試點(diǎn)推廣提供了場(chǎng)景保障。
結(jié)語：
1769 年，英國(guó)人瓦特改良的蒸汽機(jī)掀開了熱力時(shí)代的序幕。今天，伴隨 AI 算量需求急劇增加，倒逼傳統(tǒng)計(jì)算架構(gòu)加速革新，算力時(shí)代已經(jīng)悄然開啟。
未來，AI 大模型技術(shù)的影響力，有可能接近印刷術(shù)，蒸汽機(jī)，電力，芯片，互聯(lián)網(wǎng)，其所帶來的巨大顛覆性，可能引領(lǐng)人類社會(huì)整個(gè)技術(shù)發(fā)展產(chǎn)生躍遷，結(jié)果是會(huì)導(dǎo)致人類經(jīng)濟(jì)產(chǎn)生非線性的躍遷。
誘人的前景下，也是指數(shù)級(jí)上升的入場(chǎng)難度。
首先，高算力就代表著高成本，意味著 AI 2.0 時(shí)代創(chuàng)業(yè)的絕對(duì)高門檻，沒有雄厚的資金支撐根本無法承擔(dān) AI 訓(xùn)練的費(fèi)用，這也預(yù)示著進(jìn)場(chǎng)船票非常難得，非大廠和明星創(chuàng)業(yè)者團(tuán)隊(duì)，幾乎沒有跑完全程的希望。
同時(shí)，AI 2.0 創(chuàng)業(yè)對(duì)技術(shù)有了更嚴(yán)苛的要求。有投資人向《態(tài)℃》欄目透露，市面上但凡能做底層的模型，不管是去做語言大模型的，還是去做強(qiáng)化學(xué)習(xí)的，只要以技術(shù)見長(zhǎng)，以工程化產(chǎn)品化的思維做底層模型的公司，真正有技術(shù)水平的創(chuàng)業(yè)公司，國(guó)內(nèi)尚不超過十家。
最后，AI 大模型頂級(jí)的技術(shù)人才是更為稀缺的資源。大佬們下場(chǎng)，打的第一場(chǎng)仗就是搶人，畢竟國(guó)內(nèi)真正主導(dǎo)開發(fā)深度學(xué)習(xí)框架、人工智能框架的頂尖技術(shù)大牛少之又少，優(yōu)秀人才可謂可遇不可求。
這場(chǎng)諸神之戰(zhàn)，最終誰將脫穎而出引領(lǐng)下一個(gè)時(shí)代？對(duì)于中國(guó)科技公司，距離終點(diǎn)仍有漫長(zhǎng)的道路要摸索、攀登。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。