當(dāng) ChatGPT 被黑客“入侵”時(shí)，OpenAI 會(huì)如何應(yīng)對(duì)？
掐斷 API，不讓他們用？不不不。
這幫極客們采取的做法可謂是劍走偏鋒 —— 反手一記《無間道》。
故事是這樣的。
OpenAI 雖然在發(fā)布 ChatGPT 之前做了大量的安全性檢測(cè)，但當(dāng)開放 API 之后，還是防不住一些居心叵測(cè)的黑客們拿它搞事情。
然后有一天，團(tuán)隊(duì)中的一個(gè)工程師突然發(fā)現(xiàn) ChatGPT 端點(diǎn)上的流量有些不太正常；在經(jīng)過一番調(diào)查之后，確定了大概率是有人在反向工程 API（盜版 API）。
不過 OpenAI 并沒有選擇立即阻止這些黑客，因?yàn)槿绻麍F(tuán)隊(duì)這樣做了，黑客們就會(huì)馬上發(fā)現(xiàn)異樣，然后改變策略繼續(xù)攻擊。
這時(shí)，團(tuán)隊(duì)里一個(gè)“大聰明”就支了個(gè)妙招：
我們搞成“catGPT”，每個(gè) token 都是“meow”……
“陷阱”布置成功后，黑客大兄弟再向 ChatGPT 提問時(shí)，畫風(fēng)就是這樣?jì)饍旱牧耍?/p>
沒錯(cuò)，不管問啥，回答都是“喵言喵語”：
喵，我不知道。我是只貓，不是只鳥！
這位黑客大兄弟起初還不知道自己早已落入“陷阱”，還發(fā)帖描述了自己神奇的經(jīng)歷。
不過黑客團(tuán)伙中很快有人察覺到了異樣：
兩個(gè)代理都出現(xiàn)了同樣的情況；我覺得我們完了（暴露了）。
團(tuán)伙中還有人在 Discord 社區(qū)中這樣討論：
兄弟，你覺得 OpenAI 是發(fā)現(xiàn)了我們?cè)冢帽I版 API）用模型，然后開始拿“貓語 prompt”來回答我們嗎？
若真如此，那也太搞笑了吧！
殊不知，OpenAI 的成員們?cè)缇蜐撊肓?Discord 社區(qū)，觀望著黑客們的對(duì)話……
黑客們最終還是發(fā)現(xiàn)了真相，后知后覺的他們，最終在 Discord 中給 OpenAI 的團(tuán)隊(duì)發(fā)話了：
我很失望。我知道 OpenAI 的某人正在讀這段文字。
你們有千載難逢的機(jī)會(huì)給我們來個(gè)“Rick Astley”（發(fā)現(xiàn)被整蠱時(shí)用的橋段），你們竟然就搞個(gè)貓。
對(duì)此，OpenAI 的成員表示：“收到，下次我們會(huì)的”。
上面這個(gè)有趣的故事，其實(shí)是一位 OpenAI 工程師 Evan Morikawa 在一場(chǎng)技術(shù)分享活動(dòng)中自曝的。
不少網(wǎng)友在看完這個(gè)故事之后，紛紛感慨道：
絕對(duì)的傳奇！
雖然故事很精彩、很有趣，不過言歸正傳，這也從側(cè)面反映出了目前大模型時(shí)代下所存在的安全隱患。
正如 Evan 在活動(dòng)中所說：
隨著模型變得越來越強(qiáng)大，它們?cè)趬娜耸种锌赡茉斐傻膫ψ兊酶?，我們?cè)谶@里的警惕性確實(shí)需要成倍增加。
除此之外，Evan 在活動(dòng)中還分享了兩個(gè)與 OpenAI、ChatGPT 相關(guān)的“隱秘的故事”。
我們繼續(xù)往下看。
OpenAI：GPU 夠的話，發(fā)布早就提前了
Evan 先是回顧了 ChatGPT 最初爆火的盛況：
從內(nèi)部決定發(fā)布，到后來意外走紅，就連馬斯克都發(fā)推討論等等。
隨之而來的便是大量用戶的涌入，當(dāng)時(shí)他們自己也很擔(dān)心，因?yàn)橐运麄?GPU 的能力，完全 hold 不住那么大的負(fù)載。
然后 Evan 在現(xiàn)場(chǎng)展示了他們?yōu)?ChatGPT 提供動(dòng)力的計(jì)算機(jī)，里面有 8 個(gè)英偉達(dá) A100 GPU：
每個(gè) GPU 上還都附加了特殊的 HPM 高帶寬內(nèi)存；至關(guān)重要的是，他們還需要所有 GPU 相互通信：
Evan 表示，里面的每個(gè)環(huán)節(jié)的性能都會(huì)影響 ChatGPT 最終的體驗(yàn)感。
接下來，Evan 站在現(xiàn)在這個(gè)時(shí)間節(jié)點(diǎn)，回顧并總結(jié)了 OpenAI 最初在 GPU 上所遇到的瓶頸。
1、GPU 內(nèi)存不足
由于 ChatGPT 的模型非常大，需要占用大量 GPU 內(nèi)存來存儲(chǔ)模型權(quán)重。而 GPU 上的高帶寬內(nèi)存非常昂貴和有限，不夠用來同時(shí)服務(wù)大量用戶請(qǐng)求。這成為第一個(gè)瓶頸。
2、計(jì)算效率低下
初期通過簡單的 GPU 利用率指標(biāo)監(jiān)控存在問題，沒有充分考慮到 tensor 運(yùn)算的內(nèi)存訪問模式。導(dǎo)致 GPU 算力沒有被充分利用，浪費(fèi)了寶貴的計(jì)算資源。
3、難以擴(kuò)容
ChatGPT 流量暴增，但受限于整個(gè) GPU 供應(yīng)鏈，短時(shí)間內(nèi)無法擴(kuò)充 GPU 服務(wù)器數(shù)量，不得不限制用戶訪問。無法自動(dòng)擴(kuò)容成為重大挑戰(zhàn)。
4、多樣化負(fù)載特征
隨著用戶使用模式的變化，不同模型和請(qǐng)求類型對(duì) GPU 的計(jì)算方式和內(nèi)存訪問模式需要不斷調(diào)整，優(yōu)化難度大。
5、分布式訓(xùn)練困難
GPU 之間的通信和數(shù)據(jù)交換成為訓(xùn)練架構(gòu)中新的瓶頸。
可以看出，OpenAI 開始將 GPU 用于部署大模型服務(wù)時(shí)，確實(shí)因?yàn)榻?jīng)驗(yàn)不足而遇到一些系統(tǒng)級(jí)別的困難。但通過不斷調(diào)整策略和深入優(yōu)化，才使 ChatGPT 得以穩(wěn)定運(yùn)行。
而且 Evan 還爆料說：
如果不是因?yàn)?GPU 短缺，去年產(chǎn)品和功能的發(fā)布速度會(huì)更快。
我們已經(jīng)準(zhǔn)備好了東西了，但我們也知道無法處理負(fù)載。
基于上述的挑戰(zhàn)，Evan 分享了 OpenAI 總結(jié)出的經(jīng)驗(yàn)教訓(xùn)：
把問題視為系統(tǒng)工程挑戰(zhàn)，而不僅僅是研究項(xiàng)目；需要優(yōu)化各個(gè)系統(tǒng)組件的協(xié)同工作，如緩存、網(wǎng)絡(luò)、批處理大小等。
要深入了解硬件的底層細(xì)節(jié)及其對(duì)系統(tǒng)的影響，如 GPU 內(nèi)存帶寬、ops / bytes 等對(duì)性能的影響；不能停留在表面指標(biāo)。
不斷根據(jù)模型和場(chǎng)景變化對(duì)系統(tǒng)進(jìn)行調(diào)優(yōu)；不同的模型結(jié)構(gòu)和使用場(chǎng)景會(huì)對(duì)系統(tǒng)提出不同要求。
要考慮到硬件的各種限制，如內(nèi)存和算力均衡、擴(kuò)容限制等，這會(huì)影響產(chǎn)品路線圖；不能簡單地套用傳統(tǒng)的云擴(kuò)展經(jīng)驗(yàn)。
把 ChatGPT 看成初創(chuàng)公司
至于團(tuán)隊(duì)方面，Evan 也有所介紹。
ChatGPT 啟動(dòng)時(shí)，應(yīng)用工程團(tuán)隊(duì)只有 30 人左右，發(fā)布 10 個(gè)月后才擴(kuò)充到近 100 人。
OpenAI 一直在員工數(shù)量增長與保持高人才密度之間尋找平衡，他們最初希望團(tuán)隊(duì)盡可能小，這樣可以保持高效的迭代文化。
不過后來隨著產(chǎn)品規(guī)模增長，很多職能只有幾個(gè)人在支撐，這樣就會(huì)存在一定風(fēng)險(xiǎn)，因此才決定進(jìn)行一定擴(kuò)張。
Evan 對(duì)于團(tuán)隊(duì)建設(shè)方面的分享，有一個(gè)觀點(diǎn)是值得劃重點(diǎn)的。
那就是他認(rèn)為：
不要把 ChatGPT 看成是 OpenAI 的一個(gè)部門。
他們?cè)谌昵熬蛧L試過用 API 做類似 ChatGPT 的事情，因此在 Evan 看來 ——
ChatGPT 更像是個(gè) 10 月大的初創(chuàng)公司嵌套到了 3 年前的初創(chuàng)公司；而這個(gè)三年前的初創(chuàng)公司，又嵌套在一個(gè) 8 年前的初創(chuàng)公司（即 OpenAI）。
接下來，如果公司還會(huì)出現(xiàn)新的產(chǎn)品，Evan 希望還是能夠保持沿用這種模式。
參考鏈接：
[1]https://www.youtube.com/watch?v=PeKMEXUrlq4
[2]https://twitter.com/random_walker/status/1719342958137233605?s=20
[3]https://twitter.com/nearcyan/status/1719225443788935372?s=20
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。