沒想到，OpenAI 短期工作無法推進(jìn)，都是 GPU 太缺了！
聽證會(huì)之后，Sam Altman 帶著團(tuán)隊(duì)在歐洲開啟了「旅行」。
而在最近的一次訪談中，Altman 也沒有藏著掖著，自曝自家 AI 的一切進(jìn)展，全得等 GPU 跟上了再說。
他討論了 OpenAI 的 API，以及產(chǎn)品計(jì)劃，引起了許多人的關(guān)注。
許多網(wǎng)友紛紛表示，我喜歡 Altman 的坦誠。
值得一提的是，GPT-4 的多模態(tài)能力，2024 年應(yīng)該大部分 Plus 用戶就能上手了，前提還是有足夠 GPU 才行。
微軟老大哥斥資 12 億美元給 OpenAI 建的超算，還遠(yuǎn)遠(yuǎn)無法滿足 GPT-4 運(yùn)行時(shí)所需的算力。畢竟，GPT-4 參數(shù)據(jù)稱有 100 萬億。
另外，Altman 還透露，GPT-3 也在 OpenAI 的開源計(jì)劃之中。
不知道是不是這次采訪內(nèi)容透露了太多 OpenAI 的「機(jī)密」，源文稿目前已被刪除，快點(diǎn)碼了。
劃重點(diǎn)
最新訪談，是來自 AI 開發(fā)平臺(tái) Humanloop 的首席執(zhí)行官 Raza Habib 主持，采訪了 Altman 以及其他 20 位開發(fā)人員。
這次討論涉及到實(shí)際的開發(fā)者問題，以及與 OpenAI 的使命和 AI 的社會(huì)影響相關(guān)的更大的問題。
以下是關(guān)鍵要點(diǎn)：
1. OpenAI 急缺 GPU
2. OpenAI 的近期路線圖：GPT-4 多模態(tài) 2024 年開放
3. 通過 API 訪問 ChatGPT 插件近期不會(huì)發(fā)布
4. OpenAI 只做 ChatGPT 這一「殺手級(jí)應(yīng)用」，目標(biāo)是讓 ChatGPT 成為一個(gè)超級(jí)智能的工作助手
5. GPT-3 在開源計(jì)劃中
6. 模型性能的縮放法則繼續(xù)有效
接下來，將從 6 大點(diǎn)介紹 Sam Altman 究竟說了啥。
OpenAI 目前嚴(yán)重依賴 GPU
采訪的一切話題都是圍繞，「OpenAI 太缺 GPU 了」。
這已經(jīng)拖延了他們?cè)S多的短期計(jì)劃。
目前，OpenAI 的許多客戶都在抱怨 API 的可靠性和速度。Sam Altman 解釋道，主要還是 GPU 太缺了。
至于，支持 32k tokens 的上下文長(zhǎng)度還不能推出給更多的人。
由于 OpenAI 還沒有克服技術(shù)上的障礙，看起來他們似乎今年就會(huì)有支持 100k-1M tokens 的上下文，但需要在研究上取得突破。
微調(diào)（Fine-Tuning）API 也目前受到 GPU 可用性的限制。
OpenAI 還沒有使用像 Adapters 或 LoRa 這樣的高效微調(diào)方法，因此微調(diào)對(duì)于運(yùn)行和管理來說是非常計(jì)算密集型的。
不過，未來他們將對(duì)微調(diào)提供更好的支持。甚至，OpenAI 可能會(huì)托管一個(gè)社區(qū)貢獻(xiàn)的模型市場(chǎng)。
最后，專用容量提供也受到 GPU 可用性的限制。
今年年初，網(wǎng)友爆出 OpenAI 正在悄悄推出一個(gè)新的開發(fā)者平臺(tái) Foundry，讓客戶在專用容量上運(yùn)行該公司的新機(jī)器學(xué)習(xí)模型。
這一產(chǎn)品就是「為運(yùn)行較大工作負(fù)載的尖端客戶設(shè)計(jì)」。要使用這項(xiàng)服務(wù)，客戶必須愿意預(yù)付 $100k 的費(fèi)用。
然而，從透露的圖片信息可以看出，實(shí)例并不便宜。
運(yùn)行 GPT-3.5 的輕量級(jí)版本，3 個(gè)月的委托將花費(fèi) 78,000 美元，一年將花費(fèi) 264,000 美元。
從另一側(cè)面也可以看出，GPU 消耗價(jià)格不菲。
OpenAI 近期路線圖
Altman 分享了 OpenAI API 的暫定近期路線圖：
2023：
?又快又便宜的 GPT-4 ーー這是 OpenAI 的首要任務(wù)。
總的來說，OpenAI 的目標(biāo)是，盡可能地降低「智能成本」。因此他們將努力繼續(xù)降低 API 的成本。
?更長(zhǎng)的上下文窗口ーー在不久的將來，上下文窗口可能支持高達(dá) 100 萬個(gè) tokens。
?微調(diào) API—— 微調(diào) API 將擴(kuò)展到最新的模型，但具體的形式將取決于開發(fā)人員真正想要的是什么。
?有記憶的 API ーー目前大部分 token 被浪費(fèi)在上文的傳輸中，將來會(huì)有一個(gè)能夠記住對(duì)話歷史的 API 版本。
2024：
?多模態(tài)能力ーー GPT-4 發(fā)布時(shí)曾演示了強(qiáng)大的多模態(tài)能力，但是在 GPU 得到滿足之前，這一功能還無法拓展到所有人。
插件「沒有 PMF」，短期內(nèi)不會(huì)出現(xiàn)在 API 中
許多開發(fā)者對(duì)通過 API 訪問 ChatGPT 插件非常感興趣，但 Sam 表示這些插件不會(huì)很快發(fā)布。
「除了 Browsing 外，插件系統(tǒng)還沒有找到 PMF?！?/p>
他還指出，很多人想把他們的產(chǎn)品放到 ChatGPT 里，但實(shí)際上他們真正需要的是把 ChatGPT 放到他們的產(chǎn)品里。
除了 ChatGPT，OpenAI 不會(huì)發(fā)布更多產(chǎn)品
OpenAI 的每一次動(dòng)作，都讓開發(fā)者們抖三抖。
不少開發(fā)人員表示，OpenAI 可能發(fā)布與他們競(jìng)爭(zhēng)的產(chǎn)品的時(shí)候，對(duì)使用 OpenAI API 構(gòu)建應(yīng)用感到緊張。
而 Altman 表示，OpenAI 不會(huì)在 ChatGPT 之外發(fā)布更多的產(chǎn)品。
在他看來，偉大的公司有一個(gè)「殺手級(jí)應(yīng)用」，ChatGPT 就是要做這個(gè)創(chuàng)紀(jì)錄的應(yīng)用。
ChatGPT 的愿景是成為一個(gè)超級(jí)智能的工作助理。OpenAI 不會(huì)觸及到更多其他 GPT 的用例。
監(jiān)管是必要的，但開源也是必要的
雖然 Altman 呼吁對(duì)未來模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型是危險(xiǎn)的。
他認(rèn)為，監(jiān)管或禁止現(xiàn)有模型將是一個(gè)巨大的錯(cuò)誤。
采訪中，他重申了自己對(duì)開源重要性的信念，并表示 OpenAI 正在考慮將 GPT-3 開源。
而現(xiàn)在，OpenAI 還沒有開源的部分原因是，他對(duì)有多少個(gè)人和公司有能力托管，和提供大模型表示懷疑。
模型性能「縮放法則」仍有效
近來，許多文章聲稱，巨型人工智能模型的時(shí)代已經(jīng)結(jié)束。然而，并沒有準(zhǔn)確反應(yīng) Altman 原意。
OpenAI 的內(nèi)部數(shù)據(jù)表明，模型性能的縮放法則（scaling laws）仍然有效，讓模型變大將繼續(xù)產(chǎn)生性能。
不過，縮放的速度不能維持，因?yàn)?OpenAI 在短短幾年內(nèi)已經(jīng)將模型擴(kuò)大了數(shù)百萬倍，未來這樣做將不可持續(xù)。
這并不意味著 OpenAI 不會(huì)繼續(xù)嘗試使模型更大，只是意味著它們可能每年只會(huì)增加 1 倍 / 2 倍，而不是增加多個(gè)數(shù)量級(jí)?？s放法則繼續(xù)有效的事實(shí)對(duì) AGI 開發(fā)的時(shí)間線有重要的影響。
縮放假設(shè)是我們可能已經(jīng)有了構(gòu)建 AGI 所需的大部分部件，剩下的大部分工作將是將現(xiàn)有的方法擴(kuò)展到更大的模型和更大的數(shù)據(jù)集。
如果縮放的時(shí)代結(jié)束了，那么我們可能應(yīng)該預(yù)期 AGI 會(huì)更遠(yuǎn)。縮放法則繼續(xù)有效強(qiáng)烈暗示了實(shí)現(xiàn) AGI 時(shí)間線會(huì)變短。
網(wǎng)友熱評(píng)
有網(wǎng)友調(diào)侃道，
OpenAI：必須通過法規(guī)來保護(hù)我們的護(hù)城河。還是 OpenAI：Meta 在我們的護(hù)城河里撒尿，讓我們也暗示一下我們的模型要開源吧。
還有人稱，如果 GPT-3 真的開源了，像 LLMa 一樣，需要大約 5 天的時(shí)間在 M1 芯片上就能運(yùn)行了。
社區(qū)開發(fā)人員能夠幫 OpenAI 解決 GPU 瓶頸，前提是他們開源模型。沒幾天，開發(fā)者們就能讓其運(yùn)行在 CPU 和邊緣設(shè)備。
GPU 短缺一事，有人認(rèn)為是 OpenAI 資金鏈出了問題，買不起。
然而還有人稱，明顯是缺乏供應(yīng)。除非芯片制造業(yè)發(fā)生革命，否則相對(duì)于消費(fèi) GPU 來說，可能總是會(huì)出現(xiàn)供應(yīng)不足的情況。
還有網(wǎng)友懷疑，英偉達(dá)的價(jià)值還是被低估？計(jì)算需求的階梯式變化可能持續(xù)數(shù)年...
英偉達(dá)剛剛加入萬億美元俱樂部，這樣說來，無限的算力需求或許會(huì)成就一個(gè)世界超越 2 萬億美元的芯片廠。
參考資料：
https://humanloop.com/blog/openai-plans
https://news.ycombinator.com/item?id=36141544
本文來自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。