設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

OpenAI 開放 GPT-3 微調(diào)功能:一行命令就能實(shí)現(xiàn),正確率最高提升 4 倍

量子位 2021/12/15 14:47:08 責(zé)編:江離

剛剛 OpenAI 宣布,允許用戶創(chuàng)建自定義版的 GPT-3。而且步驟非常簡單,只需一行命令就能實(shí)現(xiàn)!

命令代碼

經(jīng)過微調(diào)(fine-tuned),定制版的 GPT-3 在不同應(yīng)用中的提升非常明顯。

OpenAI 表示,它可以讓不同應(yīng)用的準(zhǔn)確度能直接從 83% 提升到 95%、錯誤率可降低 50%。解小學(xué)數(shù)學(xué)題目的正確率也能提高 2-4 倍。

柱狀圖

這樣一來,踩在巨人的肩膀上、直接在 1750 億參數(shù)的大模型上微調(diào),不少研發(fā)人員都可以不用再重頭訓(xùn)練自己的 AI 模型了。

這讓網(wǎng)友們大呼:

現(xiàn)在我能直接訓(xùn)練我的聊天機(jī)器人了,這可節(jié)省太多時間和費(fèi)用了!

評論截圖

加之前不久 OpenAI 才取消 GPT-3 接口的等待機(jī)制,讓所有滿足條件的開發(fā)人員都可快速申請使用它。

顯然,在把 GPT-3 開放給更多人用這件事上,OpenAI 真的是不遺余力。

微調(diào)好處多

微調(diào)好處多,這一點(diǎn) OpenAI 早有證明。

今年 6 月,他們就曾只用 80 個文本的數(shù)據(jù)集進(jìn)行訓(xùn)練,讓 GPT-3 說話的危險性大幅降低,而且表達(dá)也更有人情味。

(下圖中藍(lán)線表示訓(xùn)練后模型,紅線表示基礎(chǔ)模型,分?jǐn)?shù)越高意味著表現(xiàn)越好)

折線圖

事實(shí)上,已經(jīng)有不少應(yīng)用已經(jīng)用上了定制版的 GPT-3,并且表現(xiàn)都不錯。

比如這個稅收應(yīng)用 ——Keeper Tax。

它能通過定制版的 GPT-3 來識別賬單上的各種數(shù)據(jù),以幫助用戶找到可以免稅的費(fèi)用。

Keeper Tax 表示,在用上微調(diào)后的 GPT-3 后,應(yīng)用識別的準(zhǔn)確率每周都會提高約 1%,準(zhǔn)確率已經(jīng)從過去的 85% 提升到了 93%。

圖片

再來看這個人工智能檢索工具 ——Elicit。

它可以根據(jù)用戶搜索的問題來智能給出結(jié)果。

在用上定制版 GPT-3 后,Elicit 給出的結(jié)果在易懂性上提高了 24%、準(zhǔn)確性上提高了 17%、整體方面則提升了 33%。

圖片

還有這個可智能讀取用戶評論的應(yīng)用 ——Viable。

它能夠從大量評論中讀取用戶的重要建議,比如投訴、疑問等。

定制化 GPT-3 使該應(yīng)用在識別用戶反饋的準(zhǔn)確率上從 66% 提升到了 90%。

圖片

事實(shí)上,不只是準(zhǔn)確率上的提升。

在輸出結(jié)果的用時、多樣性上,定制化 GPT-3 都有著更明顯的優(yōu)勢。

如何食用?

OpenAI 表示,想要微調(diào) GPT-3 大致需要 3 個步驟:

準(zhǔn)備和上傳訓(xùn)練數(shù)據(jù);訓(xùn)練微調(diào)模型;最后使用。

其中,訓(xùn)練數(shù)據(jù)必須是 JSONL 文檔,這一步是讓 GPT-3 在哪方面表現(xiàn)突出的關(guān)鍵。

創(chuàng)建微調(diào)模型是在 OpenAI CLI 上進(jìn)行,步驟也很簡單,只需上傳數(shù)據(jù)文件、創(chuàng)建微調(diào)作業(yè)、再等待幾分鐘或幾小時等待作業(yè)完成。

最后,使用微調(diào)模型時,只需將命令行中 fine_tuned_model 字段換成模型名稱即可。

代碼截圖

具體步驟 OpenAI 已在官方網(wǎng)頁上給出,可參看文末鏈接 2。

當(dāng)然,想要用更加強(qiáng)大的 GPT-3,所需費(fèi)用也會有些提升。

微調(diào)后模型每 1K token 的費(fèi)用,將比基礎(chǔ)版高出 50%。

OpenAI 技術(shù)人員在采訪時表示:“我們開發(fā)此功能時,希望能夠讓沒有 AI 研究背景的人也能使用它。

不少網(wǎng)友也紛紛留言表示,自己用 GPT-3 寫出了很多有意思的應(yīng)用。

比如有人就寫了一個睡眠播客,可以講童話故事的那種:

地址截圖

參考鏈接:
[1]https://openai.com/blog/customized-gpt3/
[2]https://beta.openai.com/docs/guides/fine-tuning
[3]https://news.ycombinator.com/item?id=29554116

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:OpenAI,模型

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知