設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

開(kāi)源狂潮讓巨頭慘敗,谷歌內(nèi)部文件曝光:我們和 OpenAI 都沒(méi)有護(hù)城河

新智元 2023/5/7 19:53:12 責(zé)編:夢(mèng)澤

因?yàn)殚_(kāi)源,AI 軍備競(jìng)賽,谷歌和 OpenAI 全是輸家?

重磅!

谷歌的一份名為《我們沒(méi)有護(hù)城河,OpenAI 也沒(méi)有》的內(nèi)部文件疑似被泄露,

今天早上,外媒 SemiAnalysis 公布了這份重磅炸彈泄露文件。

據(jù)悉,這份文件是一名匿名人士在 Discord 服務(wù)器上分享出來(lái)的,文件來(lái)自谷歌內(nèi)部的一名研究員,真實(shí)性已被確認(rèn)。

SemiAnalysis 特別強(qiáng)調(diào),這份文件僅代表谷歌員工的意見(jiàn),不代表整個(gè)公司的意見(jiàn)。

內(nèi)部文件

我們沒(méi)有護(hù)城河,OpenAI 也沒(méi)有

我們一直在嚴(yán)密監(jiān)視著 OpenAI。誰(shuí)將跨越下一個(gè)里程碑?下一步將是什么?

但現(xiàn)在,令人不安的事實(shí)就是:我們無(wú)法贏得這場(chǎng)軍備競(jìng)賽,OpenAI 也不能。

就在我們兩方對(duì)戰(zhàn)的時(shí)候,第三方正在悄悄地吃掉屬于我們的好處。

沒(méi)錯(cuò),我說(shuō)的就是開(kāi)源。說(shuō)白了,他們已經(jīng)超越了我們。我們認(rèn)為的「重大開(kāi)放問(wèn)題」如今已經(jīng)解決,掌握在所有用戶手中。幾個(gè)簡(jiǎn)單的例子:

  • 手機(jī)上的 LLMs:在 Pixel 6 上,以每秒 5 個(gè) token 的速度,就能運(yùn)行基礎(chǔ)模型。

  • 可擴(kuò)展的個(gè)人 AI:只要一個(gè)晚上,就能在筆記本電腦上微調(diào)出一個(gè)個(gè)性化 AI。

  • 負(fù)責(zé)任的發(fā)布:這一點(diǎn)倒是沒(méi)有「解決」,說(shuō)「避免」會(huì)更貼切。現(xiàn)在網(wǎng)上到處都是充滿了各種藝術(shù)模型的網(wǎng)站,沒(méi)有任何限制,開(kāi)源的大語(yǔ)言模型也不甘其后。

  • 多模態(tài):當(dāng)前的多模態(tài) ScienceQA SOTA,只用一個(gè)小時(shí)就能訓(xùn)練出來(lái)。

雖然我們的模型在質(zhì)量上仍然略有優(yōu)勢(shì),但差距正在以驚人的速度縮小。

這些開(kāi)源模型更快、更可定制、更私密,性能也更強(qiáng)大。

他們只用 100 美元和 13B 的參數(shù),就能做到我們用 1000 萬(wàn)美元和 540B 的參數(shù)下才能做的事。他們?cè)趲字軆?nèi)完成,而不是幾個(gè)月。

Vicuna-13B 的質(zhì)量達(dá)到 OpenAI ChatGPT 和 Google Bard 的 90%* 以上

這對(duì)我們有著巨大的沖擊:

  • 我們沒(méi)有獨(dú)家秘密武器了。最大的希望就是,學(xué)習(xí)其他人正在做的事,與他們合作。我們應(yīng)該優(yōu)先考慮允許第三方集成。

  • 當(dāng)這些免費(fèi)的、不受限的開(kāi)源平替具有完全相當(dāng)?shù)馁|(zhì)量,用戶不會(huì)再為受限的模型付費(fèi)了。我們應(yīng)該考慮下,我們真正的增值在哪里。

  • 巨型模型正在減慢我們的速度。從長(zhǎng)遠(yuǎn)來(lái)看,最好的模型是那些可以快速迭代的模型。既然我們知道在參數(shù)少于 200 億時(shí)模型會(huì)有怎樣的可能,我們就應(yīng)該更關(guān)注小模型。

https://lmsys.org/blog/2023-03-30-vicuna/

發(fā)生了什么

3 月初,隨著 Meta 的 LLaMA 被泄露給公眾,開(kāi)源社區(qū)得到了第一個(gè)真正性能強(qiáng)大的基礎(chǔ)模型。它沒(méi)有指令或?qū)υ捳{(diào)整,也沒(méi)有 RLHF。

盡管如此,開(kāi)源社區(qū)立刻明白:他們得到的東西有多么重要。

隨后,大量創(chuàng)新的開(kāi)源平替模型不斷地涌現(xiàn)出來(lái)。每隔幾天,就出現(xiàn)一個(gè)大進(jìn)展。

才短短一個(gè)月,就有了指令調(diào)整、量化、質(zhì)量改進(jìn)、人工評(píng)估、多模態(tài)、RLHF 這么多功能的變體,許多還是建立在彼此的基礎(chǔ)上的。

最重要的是,他們已經(jīng)解決了規(guī)模的問(wèn)題,現(xiàn)在任何一個(gè)人,都可以參與其中。

如今,許多全新的想法都來(lái)自普通人。訓(xùn)練和實(shí)驗(yàn)的門(mén)檻已經(jīng)大大降低,從前需要一個(gè)大型研究機(jī)構(gòu)合力工作,現(xiàn)在,只需要一臺(tái)功能強(qiáng)大的筆記本,一個(gè)人在一晚上就能搞定。

我們本可以預(yù)見(jiàn)到這一切

這對(duì)任何人來(lái)說(shuō),都不算什么驚喜。圖像生成領(lǐng)域的復(fù)興之后,緊接著就是開(kāi)源 LLM 的復(fù)興。

許多人說(shuō),這就是大語(yǔ)言模型的“Stable Diffusion”時(shí)刻。

在這兩個(gè)領(lǐng)域,讓公眾能夠以低成本參與,都是通過(guò)低秩適應(yīng)(LoRA)來(lái)實(shí)現(xiàn)的。它讓微調(diào)機(jī)制的成本大大降低,

還實(shí)現(xiàn)了模型規(guī)模的重大突破。(比如圖像合成的 Latent Diffusion,LLM 的 Chinchilla)

在獲得足夠高質(zhì)量的模型后,世界各地的個(gè)人和機(jī)構(gòu)都開(kāi)始了一系列對(duì)模型的創(chuàng)新和迭代。而這些創(chuàng)新,也迅速超越了大科技公司。

在圖像生成領(lǐng)域,這些貢獻(xiàn)至關(guān)重要,使 Stable Diffusion 走上了與 Dall-E 完全不同的道路。

Stable Diffuision 的開(kāi)源,導(dǎo)致了產(chǎn)品集成、市場(chǎng)、用戶界面的創(chuàng)新,而在 Dall-E 身上,這些卻沒(méi)有發(fā)生。

這樣做的后果是顯而易見(jiàn)的,Stable Diffusion 迅速占據(jù)了主流,與之相比,OpenAI 的解決方案已經(jīng)變得無(wú)關(guān)緊要了。

同樣的事情是否會(huì)發(fā)生在 LLM 領(lǐng)域?目前還未知,但這兩件事,有太多相似之處。

我們錯(cuò)過(guò)了什么?

開(kāi)源社區(qū)最近取得成功的很多創(chuàng)新,直接解決了我們還未解決的很多難題。

更多地關(guān)注他們的工作,可以幫我們避免重新造輪子。

LoRA 是一種非常強(qiáng)大的技術(shù),我們可能應(yīng)該對(duì)它更加關(guān)注。

論文地址:https://arxiv.org/ pdf / 2106.09685.pdf

LoRA 通過(guò)將模型更新表示為低秩分解來(lái)工作,這將更新矩陣的大小減少了數(shù)千倍以上。

這就讓模型微調(diào)的時(shí)間和成本都大大降低。

如果在幾個(gè)小時(shí)內(nèi),就能在消費(fèi)級(jí)硬件上微調(diào)出一個(gè)個(gè)性化的語(yǔ)言模型,這件事的意義就太重大了。尤其是,它還可以實(shí)時(shí)整合許多最新的、多樣化的知識(shí)。

但這項(xiàng)技術(shù)在谷歌內(nèi)部并未得到充分重視,盡管它直接影響了我們最寄予厚望的項(xiàng)目。

從頭開(kāi)始重新訓(xùn)練模型,是一條艱難的道路

LoRA 如此有效的部分原因在于,與其他形式的微調(diào)一樣,它是可堆疊的。

可以應(yīng)用指令調(diào)整改進(jìn)模型,這樣在其他貢獻(xiàn)者添加對(duì)話、推理或工具時(shí),就可以直接使用。

雖然單獨(dú)的微調(diào)是低秩的,但它們的總和不需要,因此模型的全秩更新就可以隨著時(shí)間的推移而累積。

這意味著,只要有新的、更好的數(shù)據(jù)集和任務(wù)出現(xiàn),模型就可以以低廉的成本保持最新?tīng)顟B(tài),無(wú)需支付完整運(yùn)行的成本。

相比之下,從頭開(kāi)始訓(xùn)練巨型模型不僅會(huì)失去預(yù)訓(xùn)練的過(guò)程,還會(huì)失去在頂部進(jìn)行的任何迭代改進(jìn)。

在開(kāi)源世界中,這些改進(jìn)很快就會(huì)占據(jù)主導(dǎo)地位,這使得全面重新訓(xùn)練模型的成本極其昂貴。

我們應(yīng)該考慮,每個(gè)新的應(yīng)用或想法是否真的需要一個(gè)全新的模型?

如果我們真的有重大的架構(gòu)改進(jìn),以至于無(wú)法直接重新使用模型權(quán)重,那么我們應(yīng)該去投資更積極的蒸餾形式,來(lái)盡可能多地保留上一代模型的功能。

如果我們能夠在小模型上快速迭代,那么從長(zhǎng)遠(yuǎn)來(lái)看,大模型并不是強(qiáng)到無(wú)所不能

LoRA(大型語(yǔ)言模型的低秩適應(yīng))是微軟提出的一種新穎技術(shù),旨在解決微調(diào)大型語(yǔ)言模型的問(wèn)題。

它的更新對(duì)于最受歡迎的模型大小來(lái)說(shuō)非常便宜(約 100 美元),這意味著幾乎任何有想法的人都可以生成一個(gè),并分發(fā)出去。

以后,一天之內(nèi)訓(xùn)練一個(gè)模型都是平平事。

以這樣的速度,用不了多久,這些微調(diào)的累積效應(yīng)很快就會(huì)彌補(bǔ)起初的模型大小的劣勢(shì)。

事實(shí)上,這些模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過(guò)了我們使用最大模型所能做的,而且最好的模型與 ChatGPT 在很大程度上已經(jīng)無(wú)法區(qū)分。

專注于研究一些大模型,反而讓我們處于不利地位。

要數(shù)據(jù)質(zhì)量,不要數(shù)據(jù)規(guī)模

許多項(xiàng)目通過(guò)對(duì)小型、精選數(shù)據(jù)集上進(jìn)行訓(xùn)練來(lái)節(jié)省時(shí)間。這表明數(shù)據(jù)擴(kuò)展規(guī)律具有一定的靈活性。

這樣數(shù)據(jù)集的存在源于「Data Doesn't Do What You Think」一文中的思路,它們正迅速成為在谷歌之外進(jìn)行訓(xùn)練的標(biāo)準(zhǔn)方式。

這些數(shù)據(jù)集是通過(guò)合成方法(比如,從現(xiàn)有模型中篩選出最佳響應(yīng))和從其他項(xiàng)目中搜集而構(gòu)建。谷歌在這兩者中都不占主導(dǎo)地位。

幸運(yùn)的是,這些高質(zhì)量的數(shù)據(jù)集是開(kāi)源的,因此可以免費(fèi)使用。

與開(kāi)源直接競(jìng)爭(zhēng),是一個(gè)失敗的命題

AI 新進(jìn)展對(duì)谷歌的商業(yè)戰(zhàn)略有著直接、即時(shí)的影響。如果有一個(gè)免費(fèi)的、高質(zhì)量、且沒(méi)有使用限制的替代品,誰(shuí)會(huì)為谷歌產(chǎn)品付費(fèi)?

而且我們不應(yīng)該指望能夠趕上?,F(xiàn)代互聯(lián)網(wǎng)之所以依賴開(kāi)源,是有原因的。開(kāi)放源碼有一些我們無(wú)法復(fù)制的顯著優(yōu)勢(shì)。

比起他們需要我們,我們更需要他們

我們技術(shù)的保密一直是一個(gè)脆弱的命題。

谷歌的研究人員正定期離開(kāi),前往其他公司。所以我們可以假設(shè)他們知道我們所知道的一切。而且只要這條渠道是開(kāi)放的,他們就會(huì)繼續(xù)這樣做。

但是,由于 LLM 的前沿研究成本低廉,保持技術(shù)領(lǐng)域的競(jìng)爭(zhēng)優(yōu)勢(shì)變得更加困難。

世界各地的研究機(jī)構(gòu)都在相互借鑒,以廣度優(yōu)先的方式探索遠(yuǎn)遠(yuǎn)超出我們自身能力的解決方案空間。

我們可以試著緊緊抓住我們的秘密,而外部創(chuàng)新會(huì)削弱了其價(jià)值,又或者我們可以嘗試著互相學(xué)習(xí)。

與公司相比,個(gè)人受到許可的限制程度較小

近來(lái),模型的創(chuàng)新大多在 Meta 的 LLaMA 模型權(quán)重泄露之后進(jìn)行的。

雖然這肯定會(huì)隨著真正的開(kāi)源模型變得更好而改變,但關(guān)鍵是他們不必等待。

「?jìng)€(gè)人使用」所提供的法律保護(hù)以及起訴個(gè)人的不切實(shí)際意味著,個(gè)人在這些技術(shù)熾熱時(shí)就能獲得這些技術(shù)。

作為自己的客戶意味著,你理解用例

瀏覽人們?cè)趫D像生成領(lǐng)域中創(chuàng)建的模型,從動(dòng)畫(huà)生成器到 HDR 景觀,創(chuàng)造力源源不斷地涌現(xiàn)出來(lái)。

這些模型由深入特定子類型的人使用和創(chuàng)建,賦予了我們無(wú)法企及的知識(shí)深度和共鳴。

擁有生態(tài)系統(tǒng):讓開(kāi)源為我們工作

矛盾的是,大廠競(jìng)相爭(zhēng)先的背后,贏家就是 Meta。

因?yàn)樾孤兜哪P?LLaMA 是他們的,所以相當(dāng)于他們有效地獲得了整個(gè)星球價(jià)值的免費(fèi)勞動(dòng)力。

由于大多數(shù)開(kāi)源創(chuàng)新都基于 LLaMA,所以沒(méi)有什么能阻止他們直接將其納入自己的產(chǎn)品中。

擁有生態(tài)系統(tǒng)的價(jià)值,未來(lái)將不可估量。曾經(jīng)的谷歌已經(jīng)成功地在其開(kāi)源產(chǎn)品(如 Chrome 和 Android)中使用了這一范式。

通過(guò)擁有創(chuàng)新發(fā)生的平臺(tái),谷歌鞏固了自己作為思想領(lǐng)袖和方向制定者的地位。

我們對(duì)模型的控制越嚴(yán)格,開(kāi)源替代品就越有吸引力。

谷歌和 OpenAI 都傾向于嚴(yán)格控制模型使用,開(kāi)啟一種防御性的反應(yīng)。

但是這種控制只是虛構(gòu)的,因?yàn)槿魏卧噲D將 LLMs 用于未經(jīng)批準(zhǔn)的目的的人,都可以選擇自由提供的模型。

谷歌應(yīng)該在開(kāi)源社區(qū)中確立自己的領(lǐng)導(dǎo)地位,通過(guò)合作來(lái)發(fā)揮引領(lǐng)作用。

這可能意味著要采取一些令人不安的步驟,比如發(fā)布小型 ULM 變體的模型權(quán)重。這必然意味著放棄對(duì)我們模型的一些控制。

但這種妥協(xié)是不可避免的。我們不能同時(shí)做到既推動(dòng)創(chuàng)新,又控制創(chuàng)新。

結(jié)束語(yǔ):OpenAI 怎么樣?

鑒于 OpenAI 目前的封閉政策,所有關(guān)于開(kāi)源的討論可能讓人覺(jué)得不公平。

如果他們不愿意,我們?yōu)槭裁匆窒砟??但事?shí)是,我們正通過(guò)源源不斷地被挖走的高級(jí)研究人員與他們分享了一切。

在我們阻止這股潮流之前,保密是沒(méi)有意義的。

最后,OpenAI 并不重要。

相對(duì)于開(kāi)放源代碼,他們正在犯同樣的錯(cuò)誤,他們保持優(yōu)勢(shì)的能力必然受到質(zhì)疑。

除非他們改變立場(chǎng),否則開(kāi)源替代品可以,而且最終會(huì)超越他們。至少在這方面,我們可以先行一步。

開(kāi)源時(shí)間線

23 年 2 月 24 日,LLAMA 發(fā)布

Meta 發(fā)布 LLaMA,開(kāi)源代碼,但沒(méi)有公布權(quán)重。此時(shí),LLaMA 尚未進(jìn)行指令或?qū)υ捳{(diào)優(yōu)。

與許多當(dāng)前模型一樣,它是一個(gè)相對(duì)較小的模型(參數(shù)分別為 7B、13B、33B 和 65B),經(jīng)過(guò)相對(duì)較長(zhǎng)時(shí)間的訓(xùn)練,因此與其大小相比具有相當(dāng)強(qiáng)大的能力。

23 年 3 月 3 日,不可避免的事情發(fā)生了

不到一周,LLAMA 就被泄露給了公眾。Meta 現(xiàn)有的許可禁止將 LLAMA 用于商業(yè)目的。

突然之間,任何人都可以進(jìn)行試驗(yàn)。在整個(gè)社區(qū),掀起了模型創(chuàng)新的海嘯。

23 年 3 月 12 日,語(yǔ)言模型在烤箱上運(yùn)行

一個(gè)多星期后,Artem Andreenko 成功在樹(shù)莓派上運(yùn)行模型。當(dāng)時(shí),模型運(yùn)行速度非常慢,因?yàn)闄?quán)重必須在內(nèi)存中分頁(yè),實(shí)用性不強(qiáng)。

盡管如此,這為一系列縮小模型規(guī)模的努力奠定了基礎(chǔ)。

23 年 3 月 13 日,筆記本電腦上的微調(diào)

第二天,斯坦福發(fā)布了 Alpaca,它為 LLaMA 增加了指令調(diào)優(yōu)功能。

然而,重要的是,Eric Wang 的 alpaca-lora 倉(cāng)庫(kù),它使用 LoRA 在單個(gè) RTX 4090 上幾小時(shí)內(nèi)完成了這個(gè)訓(xùn)練。

從這時(shí)起,突然間,任何人都可以對(duì)模型進(jìn)行微調(diào),引發(fā)了一場(chǎng)關(guān)于低成本微調(diào)模型的競(jìng)爭(zhēng)。

許多鋪天蓋地的報(bào)道稱 xxx 模型總共花費(fèi)了幾百美元。

更重要的是,低秩更新可以輕松地與原始權(quán)重分開(kāi)分發(fā),使他們擺脫了 Meta 原始許可的約束。任何人都可以分享和應(yīng)用它們。

23 年 3 月 18 日,變得更快了

GeorgiGerganov 使用 4 位量化在 MacBookCPU 上運(yùn)行 LLaMA。

這是第一個(gè)「無(wú) GPU」解決方案,速度足夠快,實(shí)用性很強(qiáng)。

23 年 3 月 19 日,一個(gè) 13B 型實(shí)現(xiàn)了與 Bard 的「平衡」

第二天,一個(gè)跨大學(xué)的合作發(fā)布了 Vicuna,并使用 GPT-4 驅(qū)動(dòng)的評(píng)估對(duì)模型輸出進(jìn)行定性比較。雖然評(píng)估方法值得懷疑,但該模型實(shí)質(zhì)上比早期的變體更好。

最最重要的是,只用了 300 美元進(jìn)行訓(xùn)練。

值得注意的是,他們能夠使用來(lái)自 ChatGPT 的數(shù)據(jù),同時(shí)規(guī)避其 API 的限制

他們只需從像 ShareGPT 這樣的網(wǎng)站上獲取令人印象深刻的 ChatGPT 對(duì)話樣本。

23 年 3 月 25 日,選擇自己的模型

Nomic 創(chuàng)建了 GPT4All,它既是一個(gè)模型,更重要的是,它也是一個(gè)生態(tài)系統(tǒng)。

所有人第一次看到模型(包括 Vicuna)匯集在一個(gè)地方。訓(xùn)練費(fèi)用: 100 美元。

23 年 3 月 28 日,開(kāi)源版 GPT-3

Cerebras 使用 Chinchilla 暗示的最佳計(jì)算計(jì)劃和 μ 參數(shù)化暗示的最佳縮放(optimal scaling)來(lái)訓(xùn)練 GPT-3 架構(gòu)。

這比現(xiàn)有的 GPT-3 克隆有很大的優(yōu)勢(shì),代表了 μ 參數(shù)化在實(shí)際應(yīng)用中的首次使用。這些模型是從零開(kāi)始訓(xùn)練的,這意味著社區(qū)不再依賴 LLaMA。

23 年 3 月 28 日,一小時(shí)完成多模態(tài)訓(xùn)練

LLaMA-Adapter 采用一種新的參數(shù)有效微調(diào)(PEFT)技術(shù),在一個(gè)小時(shí)的訓(xùn)練中引入指令調(diào)優(yōu)和多模態(tài)。

令人印象深刻的是,它們只使用了 120 萬(wàn)個(gè)可學(xué)習(xí)參數(shù)。該模型在多模態(tài) ScienceQA 上刷新了 SOTA。

23 年 4 月 3 日,人們無(wú)法區(qū)分 13B 開(kāi)源模型和 ChatGPT

伯克利發(fā)布了 Koala,這是一個(gè)完全使用免費(fèi)數(shù)據(jù)進(jìn)行訓(xùn)練的對(duì)話模型。

他們采取了衡量真實(shí)人類在 Koala 和 ChatGPT 之間的偏好的關(guān)鍵步驟。

雖然 ChatGPT 仍然稍占上風(fēng),但超過(guò) 50% 的時(shí)間,用戶要么更喜歡 Koala,要么無(wú)所謂。訓(xùn)練費(fèi)用: 100 美元。

23 年 4 月 15 日,ChatGPT 級(jí)的開(kāi)源 RLHF

Open Assistant 發(fā)布了一個(gè)模型,更重要的是,發(fā)布了一個(gè)用于通過(guò) RLHF 進(jìn)行對(duì)齊的數(shù)據(jù)集。

這一模型在人類偏好方面接近 ChatGPT (48.3%:51.7%)。

除了 LLaMA 之外,他們還展示了這個(gè)數(shù)據(jù)集可以應(yīng)用到 Pythia-12B 上,為人們使用一個(gè)完全打開(kāi)的堆棧來(lái)運(yùn)行模型提供了選擇。

此外,由于數(shù)據(jù)集是公開(kāi)可用的,它使得對(duì)于小型實(shí)驗(yàn)者來(lái)說(shuō),RLHF 從不可實(shí)現(xiàn)變得便宜,且容易。

谷歌筑墻,啪啪打臉

雖說(shuō)開(kāi)源是勝利,但現(xiàn)在的谷歌卻反身架起城墻,拒絕開(kāi)源。

今年 2 月,長(zhǎng)期擔(dān)任谷歌人工智能部門(mén)負(fù)責(zé)人 Jeff Dean 對(duì)內(nèi)宣布了一項(xiàng)令人震驚的政策轉(zhuǎn)變:

推遲與外界分享內(nèi)部工作。

多年來(lái),Dean 一直把部門(mén)當(dāng)作一所大學(xué)來(lái)管理,鼓勵(lì)研究人員大量發(fā)表學(xué)術(shù)論文。據(jù) Google Research 顯示,自 2019 年以來(lái),他們推動(dòng)了近 500 項(xiàng)研究。

自 ChatGPT 誕生以來(lái),一路風(fēng)生水起,顯然讓谷歌一時(shí)慌了神,并就此必須做出改變。

Dean 表示,谷歌在人工智能領(lǐng)域的發(fā)現(xiàn)只有轉(zhuǎn)化成產(chǎn)品后,才會(huì)共享論文。

Jeff Dean 在谷歌研究部門(mén)的季度會(huì)議上表示,這家位于舊金山的初創(chuàng)公司 OpenAI,通過(guò)學(xué)習(xí)團(tuán)隊(duì)的論文,才跟上了谷歌的步伐。

我們都知道,ChatGPT 中的 T 便指的是谷歌 Transformer 架構(gòu),是以 Transformer 架構(gòu)為核心的大型語(yǔ)言模型。

論文:https://arxiv.org/ pdf / 1706.03762.pdf

為了追趕 ChatGPT,谷歌開(kāi)啟了防御模式。這對(duì)谷歌來(lái)說(shuō),是一個(gè)重大轉(zhuǎn)變。

這一政策首先是為了抵御一批強(qiáng)大的 AI 競(jìng)爭(zhēng)對(duì)手,另外是為了保護(hù)其核心搜索業(yè)務(wù)、以及可能的未來(lái)。

然而正如內(nèi)部文件泄露所稱,谷歌不是勝者,OpenAI 也不是,真正的贏家才是 Meta。

開(kāi)源的勝利,谷歌曾嘗過(guò)?,F(xiàn)在,是該做些改變了。

參考資料:

  • https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

  • https://www.washingtonpost.com/technology/2023/05/04/google-ai-stop-sharing-research/?utm_source=reddit.com

本文來(lái)自微信公眾號(hào):新智元 (ID:AI_era)

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:谷歌OpenAI

軟媒旗下網(wǎng)站: IT之家 最會(huì)買(mǎi) - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買(mǎi) 要知