Transformer 八子中最年輕的 Aidan Gomez 在最新的采訪中感嘆：
只賣模型真的不賺錢！
谷歌版的 Aidan Gomez，是給 AI 領(lǐng)域帶來深遠(yuǎn)影響的 Transformer 作者之一。
而現(xiàn)在的 Aidan Gomez，是估值飆升 55 億美元的 Cohere 公司的聯(lián)合創(chuàng)始人兼 CEO（此前推出了 Command R 系列開源大模型）。
在這次與 20VC 主理人 Harry Stebbings 的對(duì)話中，Aidan Gomez 大談特談 AI 的發(fā)展趨勢。
其中的一些話題引發(fā)了網(wǎng)友們的關(guān)注和討論，例如：
模型性能提升，規(guī)模非唯一途徑
只賣模型無法和 OpenAI 抗衡
AI 創(chuàng)業(yè)公司不要依賴云廠商
看好機(jī)器人領(lǐng)域，預(yù)言 5 年內(nèi)將迎來大突破
數(shù)據(jù)質(zhì)量對(duì)模型來說至關(guān)重要
更多具體內(nèi)容，且看下面的文字版分享~
算力之外，數(shù)據(jù)與模型創(chuàng)新亦能提 AI 性能
Q：開始之前，我想問你一個(gè)問題，你小的時(shí)候喜不喜歡玩游戲呢？
Aidan Gomez：我確實(shí)喜歡游戲，我從小就喜歡科技。
Q：也就是說你絕不會(huì)在一款游戲中從一個(gè)非常困難的第一關(guān)開始，讓人覺得“不可能完成，我不想玩了”。
Aidan Gomez：是的，這在機(jī)器學(xué)習(xí)中被稱為“課程學(xué)習(xí)”。你要先教模型做一些非常簡單的事情，然后逐步增加復(fù)雜性，基于已有的知識(shí)構(gòu)建。
有趣的是，課程學(xué)習(xí)在機(jī)器學(xué)習(xí)中實(shí)際上是失敗的。我們并沒有真正進(jìn)行課程學(xué)習(xí)，而是把最難和最簡單的材料同時(shí)拋給模型，讓它自己去弄明白。
但對(duì)人類來說，這種方式非常有效，是我們學(xué)習(xí)的重要組成部分。看到它在機(jī)器學(xué)習(xí)中沒有取得成功，真的很有趣。
Q：你剛才說到直接把所有東西拋給模型，我想直接深入探討這個(gè)問題，很多人說只需要更多的計(jì)算能力，性能就會(huì)提升。你認(rèn)為這是正確的嗎？我們是否還有其他因素在限制性能的提升？
Aidan Gomez：確實(shí)，如果你給模型增加更多的計(jì)算能力，或者讓模型更大，它確實(shí)會(huì)變得更好。這是提高模型性能最可靠的方式，但也是最笨的。
對(duì)于那些資金充足的人來說，這是一個(gè)非常有吸引力的策略，風(fēng)險(xiǎn)極低。你知道它會(huì)變得更好，只需擴(kuò)展模型，花更多錢，購買更多的計(jì)算能力。我相信這一點(diǎn)，只是覺得這樣做極其低效。
有更好的方法。如果你看看過去一年半的時(shí)間，比如從 ChatGPT 發(fā)布到現(xiàn)在 GPT-4 發(fā)布的時(shí)間段。如 GPT-4 確實(shí)像他們所說的那樣有 1.7 萬億參數(shù)，它是一個(gè)巨大的 MoE。
我們現(xiàn)在有比這個(gè)模型更好的模型，它們只有 130 億參數(shù)。所以這種變化的速度，或者說成本迅速下降的程度，簡直是不可思議的，甚至有些超現(xiàn)實(shí)。
所以是的，你可以通過擴(kuò)展規(guī)模來達(dá)到模型的質(zhì)量，但可能不應(yīng)該這么做。
Q：這樣的進(jìn)步會(huì)繼續(xù)保持嗎？我的意思是，我們會(huì)繼續(xù)看到這種規(guī)模上的進(jìn)步嗎？還是它會(huì)在某個(gè)時(shí)候達(dá)到瓶頸？
Aidan Gomez：是的，這確實(shí)需要指數(shù)級(jí)的投入。你需要不斷地加倍計(jì)算能力才能維持智力上的線性增長。但這種增長可能會(huì)持續(xù)非常、非常、非常長的時(shí)間。
它會(huì)變得越來越聰明。但是你會(huì)遇到經(jīng)濟(jì)上的限制。并不是很多人購買了最初的 GPT-4，特別是很多企業(yè)因?yàn)樗浅｝嫶?，非常昂貴，運(yùn)行效率低下，成本高昂，而它的智能不足以證明這種成本的合理性。
所以，市場上有很大的壓力，要讓模型變得更小、更高效，通過數(shù)據(jù)和算法、方法來讓模型更聰明，而不僅僅是依賴規(guī)模的擴(kuò)大。
Q：在我們生活的這個(gè)世界里，有更小、更高效的垂直化模型，這些模型設(shè)計(jì)用于特定的用例，是否會(huì)出現(xiàn)幾個(gè)大型的、統(tǒng)治一切的模型？還是會(huì)兩者兼有？
Aidan Gomez：我們在過去幾年中看到的一種趨勢是，人們喜歡用一個(gè)通用的、智能的模型進(jìn)行原型設(shè)計(jì)。他們不想用一個(gè)特定的模型進(jìn)行原型設(shè)計(jì)，不想花時(shí)間微調(diào)模型來使其在他們關(guān)心的事情上特別出色。
他們想要的是抓住一個(gè)昂貴的大模型，用它來做原型設(shè)計(jì)，證明它可以完成任務(wù)，然后將其提煉成一個(gè)在特定領(lǐng)域表現(xiàn)出色的高效模型。所以這種模式真的出現(xiàn)了。
因此，我們將繼續(xù)生活在一個(gè)多模型共存的世界中，一些模型是垂直化和專注的，另一些則是完全橫向的。
Q：比如說，現(xiàn)在 OpenAI 花費(fèi)了 30 億美元。你怎么能在這場競賽中保持自己的位置，除非你是微軟、Amazon、Google、Facebook 這樣的公司？
Aidan Gomez：如果你只是做規(guī)模化的項(xiàng)目，你確實(shí)需要成為這些公司中的一個(gè)，或者成為這些公司旗下的一個(gè)子公司。但是，還有很多其他事情可以做。
如果你不完全依賴規(guī)模化作為唯一的前進(jìn)路徑，如果你相信數(shù)據(jù)創(chuàng)新或模型和方法創(chuàng)新，還有很多可以探索的方向。
Q：我們可以深入探討一下什么是數(shù)據(jù)創(chuàng)新和模型及方法的創(chuàng)新嗎？
Aidan Gomez：幾乎我們在開源領(lǐng)域看到的所有重大進(jìn)展都來自數(shù)據(jù)的改進(jìn)。通過從互聯(lián)網(wǎng)上獲取更高質(zhì)量的數(shù)據(jù)、改進(jìn)網(wǎng)頁抓取算法、解析網(wǎng)頁、提取出重要部分、提升互聯(lián)網(wǎng)上特定部分的權(quán)重，因?yàn)榛ヂ?lián)網(wǎng)上有很多重復(fù)和垃圾內(nèi)容。
通過提取最有價(jià)值的、知識(shí)豐富的部分，并強(qiáng)調(diào)給模型，以及生成合成數(shù)據(jù)的能力，這些都讓我們能夠獲取大量的文本或網(wǎng)頁內(nèi)容，而無需人類參與，這些數(shù)據(jù)是由模型自動(dòng)生成的。
這些創(chuàng)新，特別是提高數(shù)據(jù)質(zhì)量的能力，推動(dòng)了我們目前看到的大部分進(jìn)展。
Q：好的，這是數(shù)據(jù)創(chuàng)新，那模型創(chuàng)新呢？
Aidan Gomez：這涉及到像新的強(qiáng)化學(xué)習(xí)算法。你知道，有很多關(guān)于 Q * 的傳聞，以及它可能帶來的變化。圍繞搜索的想法，比如如何搜索解決方案。
當(dāng)前模型的狀態(tài)是我問你一個(gè)問題，你的模型需要立即給出正確答案。這對(duì)模型來說是一個(gè)極其苛刻的要求，對(duì)吧？
你不能對(duì)人類這樣做，你不能問一個(gè)人一個(gè)難題，然后期望他們立即吐出答案。他們需要時(shí)間去思考和處理。
Q：他們有時(shí)還需要一點(diǎn)頭腦風(fēng)暴時(shí)間。
Aidan Gomez：對(duì)，確實(shí)需要。所以，模型的一個(gè)非常明顯的下一個(gè)發(fā)展步驟就是，你需要讓它們思考和解決問題。你需要讓它們犯錯(cuò)，嘗試一些東西，失敗了，理解為什么失敗，然后回溯再試一次。
目前，模型中并沒有解決問題的概念。
Q：你提到的解決問題，這是否與推理是同一個(gè)概念？
Aidan Gomez：是的。
Q：為什么推理這么難？為什么我們現(xiàn)在還沒有推理的概念？
Aidan Gomez：推理并不難，難的是我們在互聯(lián)網(wǎng)上沒有太多展示推理過程的訓(xùn)練數(shù)據(jù)。互聯(lián)網(wǎng)上大多是推理過程的輸出結(jié)果。
當(dāng)你在網(wǎng)上寫東西時(shí)，你不會(huì)展示你的思考過程，而是直接展示你的結(jié)論，展示你的想法，而這些都是經(jīng)過大量思考、經(jīng)驗(yàn)和討論后的結(jié)果。
所以我們?nèi)狈@樣的訓(xùn)練數(shù)據(jù)，它不是免費(fèi)提供的，你必須自己構(gòu)建。因此，像 Cohere、OpenAI 和 Anthropic 這樣的公司正在做的就是收集展示人類推理過程的數(shù)據(jù)。
只賣模型，玩不過 OpenAI
Q：說到這，我想知道你如何看待與 OpenAI 的用戶生成內(nèi)容計(jì)劃競爭呢？
Aidan Gomez：這很難，特別是在企業(yè)領(lǐng)域，我們面臨著一個(gè)巨大的挑戰(zhàn)：客戶數(shù)據(jù)的私密性和保密性。
他們視數(shù)據(jù)為知識(shí)產(chǎn)權(quán)，包含大量機(jī)密信息，因此不允許我們使用這些數(shù)據(jù)進(jìn)行訓(xùn)練。我完全理解這種立場。為此，我們將重點(diǎn)轉(zhuǎn)向合成數(shù)據(jù)，并在此領(lǐng)域投入了大量資源。
我們還組建了一個(gè)人類注釋員團(tuán)隊(duì)，并與 Scale AI 建立了合作關(guān)系。盡管這給我們帶來了不小的壓力，但因?yàn)槲覀儾⒎敲嫦蛳M(fèi)者的公司，我們必須自行生成數(shù)據(jù)。
所幸的是，我們的專注范圍相對(duì)較小，主要集中在企業(yè)需求明確的領(lǐng)域，如自動(dòng)化財(cái)務(wù)和人力資源功能。這使得我們能夠更深入地研究和滿足這些特定需求。
展望未來十年，合成數(shù)據(jù)市場將如何發(fā)展？是否會(huì)被少數(shù)幾家供應(yīng)商所主導(dǎo)？目前看來，大語言模型 API 市場主要由合成數(shù)據(jù)驅(qū)動(dòng)，許多人利用昂貴的大型模型生成數(shù)據(jù)，以優(yōu)化更小、更高效的模型。
這種模式是否可持續(xù)尚不確定，但我相信，隨著新任務(wù)、新問題和數(shù)據(jù)需求的不斷涌現(xiàn)，無論是來自模型還是人類，我們都必須適應(yīng)并滿足這些需求。
Q：那么合成數(shù)據(jù)市場會(huì)是什么樣子？它會(huì)被兩到三家供應(yīng)商主導(dǎo)嗎？
Aidan Gomez：我聽說當(dāng)前的大模型 API 市場主要由合成數(shù)據(jù)主導(dǎo)。大多數(shù)人都是使用這些大型昂貴的模型生成數(shù)據(jù)，然后用這些數(shù)據(jù)來微調(diào)更小、更高效的模型。
所以他們基本上是在提煉更大的模型。我不知道這種模式作為市場是否可持續(xù)。但我確實(shí)認(rèn)為，總會(huì)有新的任務(wù)、新的問題或新的數(shù)據(jù)需求，無論這些數(shù)據(jù)來自模型還是人類，我們都必須滿足這些需求。
Q：有一件事讓我感到擔(dān)憂，或者說讓我感到猶豫。你看到 OpenAI 在進(jìn)行價(jià)格競爭，你看到像 Meta 這樣的公司免費(fèi)發(fā)布模型，同時(shí)也沒有對(duì)開源和開放生態(tài)系統(tǒng)的價(jià)值進(jìn)行明確說明。
我們是否正在看到這些模型價(jià)值的真正下降？這是不是一場競相降低價(jià)格、甚至是競相歸零的競爭？
Aidan Gomez：如果你只是賣模型，那么在接下來的一段時(shí)間里，這將是一場非常艱難的游戲。這不會(huì)是一個(gè)小市場。
Q：會(huì)有很多人只是賣模型，還有一些人會(huì)賣模型以及其他東西。
Aidan Gomez：我不想點(diǎn)名，但可以說，比如 Cohere，現(xiàn)在只賣模型。我們有一個(gè) API，你可以通過這個(gè) API 訪問我們的模型。
這種情況很快就會(huì)改變。產(chǎn)品格局將會(huì)發(fā)生變化，我們會(huì)在現(xiàn)有產(chǎn)品基礎(chǔ)上增加新的東西。如果你只賣模型，情況會(huì)很困難，因?yàn)檫@將變成一個(gè)零利潤的業(yè)務(wù)，價(jià)格競爭太激烈了。很多人免費(fèi)提供模型。
盡管如此，它仍然會(huì)是一項(xiàng)大業(yè)務(wù)，市場需求增長非常迅速。但至少在現(xiàn)階段，利潤會(huì)非常微薄。
這就是為什么在應(yīng)用層面有很多興奮點(diǎn)。市場上的討論是正確的，指出價(jià)值正在芯片層以下發(fā)生，因?yàn)橐婚_始每個(gè)人都在芯片上投入大量資金來構(gòu)建這些模型，然后在應(yīng)用層面上看到價(jià)值的體現(xiàn)，比如 ChatGPT，它按用戶收費(fèi)，每月 20 美元。
這似乎是目前價(jià)值發(fā)生的地方。模型層在長期來看是一個(gè)有吸引力的業(yè)務(wù)，但在短期內(nèi)，按照現(xiàn)狀，它是一個(gè)利潤非常低、商品化的業(yè)務(wù)。
AI 創(chuàng)業(yè)公司不要成為云廠商的附庸
Q：現(xiàn)在許多人認(rèn)為初創(chuàng)公司進(jìn)入 AI 模型領(lǐng)域?yàn)闀r(shí)已晚。然而，隨著成本障礙的降低，這是否反而使得初創(chuàng)公司更容易進(jìn)入這一領(lǐng)域？
Aidan Gomez：確實(shí)，每年構(gòu)建去年的模型成本都會(huì)下降 10 倍甚至 100 倍。得益于更優(yōu)質(zhì)的數(shù)據(jù)和更廉價(jià)的計(jì)算資源，進(jìn)入上一代模型的門檻降低了。
但問題是，沒人真正關(guān)心那些過時(shí)的模型。與今年的模型相比，去年的模型幾乎毫無價(jià)值。每一次技術(shù)進(jìn)步都會(huì)讓舊技術(shù)迅速變得陳舊，AI 開發(fā)的成本正在急劇上升。
開發(fā)版本 1 可能只需 1000 萬美元，但要使版本 2 略有改進(jìn)，可能就得再投入 100 萬至 200 萬美元。而現(xiàn)在，開發(fā)一個(gè)新模型可能需要 30 億美元，更新它甚至可能需要 50 億美元。
這種增長不再是線性的，而是呈數(shù)量級(jí)變化。我不確定新一代技術(shù)的開發(fā)是否總是比上一代更便宜。以芯片和其他復(fù)雜技術(shù)為例，盡管開發(fā)成本在上升，但我們?nèi)栽诶^續(xù)研發(fā)，因?yàn)檫@是值得的。
Q：所以你的意思是，人們其實(shí)并不關(guān)心那些改進(jìn)是否持續(xù)有效？
Aidan Gomez：沒錯(cuò)。我說的是，改進(jìn)這些模型變得越來越困難，遇到的阻力也越來越大。另一個(gè)有趣的現(xiàn)象是，隨著模型變得越來越智能，普通人（也包括我）區(qū)分它們之間差異的能力卻在下降。
因?yàn)槲覀冊卺t(yī)學(xué)、數(shù)學(xué)、物理學(xué)等方面的專業(yè)知識(shí)有限，無法真正感受到這些變化。模型在基礎(chǔ)知識(shí)方面已經(jīng)做得非常出色了，這正是我們所能達(dá)到的知識(shí)水平。
因此，當(dāng)我們與它們互動(dòng)時(shí)，很難感受到不同代際模型之間的差異。但實(shí)際上，這些模型在某些特定能力或純粹的智能方面有著巨大的進(jìn)步。
至于是否值得繼續(xù)投入大量資金推動(dòng)技術(shù)前進(jìn)，我認(rèn)為答案是肯定的。即使對(duì)于普通消費(fèi)者來說，這些技術(shù)可能并不重要，但對(duì)于某些專業(yè)領(lǐng)域的研究人員來說卻非常有價(jià)值。
我們通過提供這些工具來幫助他們?nèi)〉酶噙M(jìn)展。這就像問我們是否應(yīng)該繼續(xù)投資下一代技術(shù)一樣，比如為飛船創(chuàng)造一種新材料以提高其進(jìn)入軌道的效率。
盡管這對(duì)大多數(shù)人來說可能無關(guān)緊要，但對(duì)于那些需要它的人來說卻非常重要，而且有市場需求，這就是技術(shù)進(jìn)步得以持續(xù)的動(dòng)力。
Q：我們再次回到成本問題上來。顯然，成本很高且未來還會(huì)繼續(xù)增加。你之前提到了“有效的附屬公司”這個(gè)概念。
現(xiàn)在許多公司被收購或合并，而云服務(wù)作為持續(xù)增長的動(dòng)力也備受關(guān)注。你認(rèn)為在未來三到五年內(nèi)，大多數(shù)小型模型提供商會(huì)被大型云服務(wù)提供商收購嗎？
Aidan Gomez：我認(rèn)為這個(gè)領(lǐng)域確實(shí)會(huì)經(jīng)歷一次整合，而且已經(jīng)開始發(fā)生了。許多模型開發(fā)者已經(jīng)被大型云服務(wù)提供商如 Amazon 吸納。
我相信未來這種情況還會(huì)更多。但需要注意的是，成為云服務(wù)提供商的附屬公司可能會(huì)帶來風(fēng)險(xiǎn)。對(duì)于業(yè)務(wù)發(fā)展來說，這并不是一個(gè)好現(xiàn)象。
通常情況下，為了籌集資金，你需要說服那些只關(guān)心資本回報(bào)率的投資者。但當(dāng)你從云服務(wù)提供商那里籌集資金時(shí)，情況就完全不同了。
Q：那么你認(rèn)為過去幾年中風(fēng)險(xiǎn)投資者從模型投資中賺到錢了嗎？
Aidan Gomez：對(duì)于 Cohere 的投資者來說，他們肯定會(huì)賺很多錢。
我為那些相信我們的人感到高興。我們的第一位投資者 Radical Ventures 的 Jordan Jacobs 現(xiàn)在仍然在我們的董事會(huì)中，并且非常積極地參與公司的建設(shè)。我甚至稱他為 Cohere 的第四位聯(lián)合創(chuàng)始人。
Q：最近有媒體報(bào)道稱公司估值略高于 5.5 億美元，這會(huì)給你帶來壓力嗎？
Aidan Gomez：這確實(shí)是一種壓力，但同時(shí)也是種積極的壓力。最終每個(gè)公司都會(huì)面臨收入倍數(shù)的考量，最終與公共市場的倍數(shù)趨同。
我認(rèn)為我們的情況實(shí)際上比許多同行要好得多。因?yàn)槲覀兊墓乐挡]有像其他一些公司那樣瘋狂增長。當(dāng)然我們還需要繼續(xù)發(fā)展壯大，但我對(duì)市場充滿信心。
目前由于價(jià)格競爭和免費(fèi)模型的存在利潤率受到一定壓力但隨著時(shí)間的推移這種情況會(huì)有所改變。同時(shí) Cohere 的產(chǎn)品組合也將不斷進(jìn)化和發(fā)展。
沒有任何東西能取代人類
Q：假如你現(xiàn)在是 20VC 的投資人，你認(rèn)為機(jī)會(huì)在哪里？
Aidan Gomez：產(chǎn)品領(lǐng)域、應(yīng)用領(lǐng)域仍然非常有吸引力。這些技術(shù)將會(huì)帶來新的產(chǎn)品，它們將改變社交媒體。人們喜歡與這些模型交流，使用時(shí)間非常驚人。
Q：你覺得這是件好事嗎？我不希望我的孩子生活在一個(gè)他們與生成式系統(tǒng)交流、模仿人類的世界中。我不希望他們從與一個(gè)模型的對(duì)話中獲得滿足感。
Aidan Gomez：你可能錯(cuò)了。你可能希望你的孩子能夠與一個(gè)極其富有同情心、非常聰明、知識(shí)淵博、安全的智能體交流。
它可以教給他們東西，和他們一起玩，它不會(huì)對(duì)他們發(fā)脾氣，不會(huì)對(duì)他們發(fā)火，不會(huì)欺負(fù)他們，不會(huì)讓他們產(chǎn)生不安全感。
當(dāng)然，沒有任何東西能取代人類。沒有什么可以取代人類的世界，我們不會(huì)突然間全都開始與 ChatBot 約會(huì)，導(dǎo)致人類出生率下降。
我不認(rèn)為會(huì)發(fā)生這種情況，對(duì)吧？我想要一個(gè)孩子，我不能和一個(gè) ChatBot 一起生孩子。
人類伴侶對(duì)我來說比任何 ChatBot 都要寶貴得多。就像在職場中，我不認(rèn)為我們能夠完全取代人類。AI 會(huì)增強(qiáng)人類的能力，使人類變得更加高效，但這并不意味著工作崗位會(huì)減少。
你無法取代人類。想想銷售吧，如果我是由一個(gè)機(jī)器人推銷的，我是不會(huì)買的。就是這么簡單，我不想和機(jī)器對(duì)話。
當(dāng)然，某些簡單的購買可能可以由機(jī)器人處理，但對(duì)于那些對(duì)我和我的公司來說非常重要的購買，我希望另一方是一個(gè)可以負(fù)責(zé)的真人。
如果出現(xiàn)問題，我需要一個(gè)有權(quán)力進(jìn)行干預(yù)的人。所以我真的認(rèn)為，無論是在消費(fèi)端，我們是否會(huì)沉迷于與 ChatBot 對(duì)話，還是在工作端，工作將會(huì)消失，導(dǎo)致大規(guī)模失業(yè)，我都看不到這些情況發(fā)生。
Q：我同意你的觀點(diǎn)，但我確實(shí)擔(dān)心低端崗位，比如說一個(gè)客戶服務(wù)團(tuán)隊(duì)可能會(huì)失去 70% 到 80% 的員工，肯定會(huì)有局部的替代現(xiàn)象。
Aidan Gomez：肯定會(huì)有局部的替代發(fā)生。但總體上，這將是增長，而不是替代。某些角色確實(shí)容易受到技術(shù)的影響，客戶支持就是其中之一。
但最終，仍然需要有人來做這些工作，只是數(shù)量可能會(huì)比今天少。但客戶支持是一個(gè)艱難的角色，這是一個(gè)心理上非常消耗人的工作。如果你曾經(jīng)聽過那些電話錄音，你就會(huì)知道這是一份情感上非常消耗的工作。
Q：是的，這有點(diǎn)像社交媒體平臺(tái)上的內(nèi)容審核，那在很多方面也是一種心理創(chuàng)傷。
Aidan Gomez：每天你醒來，去工作，整天被人罵，還得道歉。所以，也許我們應(yīng)該讓模型處理這些對(duì)話，而讓人類來處理那些真正需要人類幫助的客戶支持問題，比如說，解決某個(gè)問題，沒有情緒化的抱怨，而是有機(jī)會(huì)讓這個(gè)人的生活變得更好。
AI 的下一個(gè)大突破將出現(xiàn)在機(jī)器人領(lǐng)域
Q：你認(rèn)為 AI 今天還不能做什么，但在三年內(nèi)將會(huì)成為現(xiàn)實(shí)并帶來巨大變革？
Aidan Gomez：AI 的下一個(gè)大突破將出現(xiàn)在機(jī)器人領(lǐng)域。成本需要降低，但成本已經(jīng)在下降。然后我們需要更強(qiáng)大的模型。
Q：為什么你認(rèn)為機(jī)器人領(lǐng)域?qū)?huì)有大的突破？
Aidan Gomez：因?yàn)楹芏嗾系K已經(jīng)消失了。之前機(jī)器人的推理者和規(guī)劃者非常脆弱，你必須為每個(gè)任務(wù)編程，它們被硬編碼到特定的環(huán)境中。
所以你必須有一個(gè)布局完全一致的廚房，尺寸相同，沒有任何不同的地方，這非常脆弱。但在研究方面，通過使用基礎(chǔ)模型、語言模型，人們實(shí)際上開發(fā)出了更好的規(guī)劃者，它們能夠更自然地推理世界。
所以已經(jīng)有很多公司在研究這方面，可能很快就會(huì)有人破解通用人形機(jī)器人的難題，使其價(jià)格便宜且更加穩(wěn)定。
這將會(huì)是一個(gè)巨大的轉(zhuǎn)變。我不知道這是在未來五年內(nèi)發(fā)生，還是十年內(nèi)發(fā)生，但它肯定會(huì)在這個(gè)時(shí)間范圍內(nèi)出現(xiàn)。
數(shù)據(jù)質(zhì)量不能忽視
Q：今天和你聊天真的很有意思。我想進(jìn)行一個(gè)快問快答，我給出一個(gè)陳述，你立刻給出你的想法
在過去的 12 個(gè)月里，你對(duì)什么改變了最大的看法？
Aidan Gomez：數(shù)據(jù)的重要性。我嚴(yán)重低估了它。我曾經(jīng)認(rèn)為一切都在于規(guī)模化，但在 Cohere 內(nèi)部發(fā)生的許多事情徹底改變了我對(duì)構(gòu)建這項(xiàng)技術(shù)的重要性因素的理解。
數(shù)據(jù)質(zhì)量至關(guān)重要。質(zhì)量，比如在數(shù)十億個(gè)數(shù)據(jù)點(diǎn)中，一個(gè)錯(cuò)誤的例子就能對(duì)模型產(chǎn)生顯著影響。這有點(diǎn)不真實(shí)，模型對(duì)數(shù)據(jù)的敏感性是如此之高，每個(gè)人都低估了這一點(diǎn)。
Q：到目前為止，你們公司共籌集了多少資金？
Aidan Gomez：大約 10 億美元。
Q：哪一輪籌資最容易？
Aidan Gomez：可能是第一輪。那時(shí)就像一場簡單的對(duì)話，他們說：“給你幾百萬美元，試試吧?！彼晕矣X得那輪融資相當(dāng)輕松。
Q：籌集 5 億美元時(shí)，過程肯定更復(fù)雜。當(dāng)你看到 5 億美元到賬時(shí)，是不是有點(diǎn)難以置信？
Aidan Gomez：確實(shí)有點(diǎn)。比如每年 2500 萬美元，雖然具體數(shù)字我不確定，但這確實(shí)是一大筆錢。Cohere 改變了我對(duì)經(jīng)濟(jì)和金錢的看法，現(xiàn)在 5 億美元對(duì)我來說已經(jīng)不算什么大數(shù)字了。
Q：這讓你感到擔(dān)憂嗎？
Aidan Gomez：不，這是我們戰(zhàn)略的一部分。如果我們愿意接受那樣的條件，我們可以接受。但我們的戰(zhàn)略是保持獨(dú)立，自主發(fā)展。
Q：如果你能選擇任何一位世界級(jí)的董事會(huì)成員，你會(huì)選誰？
Aidan Gomez：Mike Volpi 和 Jordan Jacobs，他們現(xiàn)在是我的董事會(huì)成員。
Q：為什么你覺得 Mike 是個(gè)優(yōu)秀的董事會(huì)成員？
Aidan Gomez：Mike 非常出色，他似乎經(jīng)歷過一切。我可以向他請(qǐng)教幾乎任何問題，他都有過類似的經(jīng)歷，并能給出寶貴建議。
Q：Jeff Hinton 和 Yann LeCun，你更傾向于誰？
Aidan Gomez：肯定是 Jeff，我和他的私人關(guān)系更親密。
Q：你認(rèn)為 Yann 過于樂觀了嗎？
Aidan Gomez：不，我更贊同 Yann 對(duì) AI 的看法。Jeff 更偏向于末日預(yù)言，而 Yann 則更樂觀。雖然 Yann 現(xiàn)在有點(diǎn)像 Elon Musk 的“回復(fù)哥”，但 Jeff 確實(shí)是個(gè)聰明且有思想的人。
Q：最后一個(gè)問題，你覺得你從未被問過但應(yīng)該被問的問題是什么？
Aidan Gomez：人們總是問我技術(shù)的未來和潛在風(fēng)險(xiǎn)，但很少討論技術(shù)帶來的機(jī)會(huì)。
Q：那你希望技術(shù)的未來走向何方？
Aidan Gomez：我認(rèn)為我們應(yīng)該利用技術(shù)提高世界生產(chǎn)力，增加供應(yīng)并使事物變得更豐富、更便宜。生產(chǎn)力可能聽起來不太吸引人，但如果將 5% 的生產(chǎn)力提升應(yīng)用于 NHS。
這將對(duì)國家狀況、預(yù)算和數(shù)百萬人生活產(chǎn)生重大影響。所以我認(rèn)為我們的首要任務(wù)應(yīng)該是提高生產(chǎn)力和增長。
視頻地址：
https://www.youtube.com/watch?v=FUGosOgiTeI
本文來自微信公眾號(hào)：量子位（ID：QbitAI），作者：叨樂
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。