2 月 18 日上午消息，月之暗面研究員 Flood Sung 近日分享了 k1.5 模型背后的完整思考過程，并透露稱，2024 年 9 月 12 號(hào) OpenAI o1 發(fā)布帶來的震撼效果，令自己陷入了 Long-CoT 的有效性反思中。因?yàn)?Long-CoT 的有效性，其實(shí)在一年多前月之暗面 Kimi 聯(lián)合創(chuàng)始人 Tim 周昕宇就驗(yàn)證過，使用很小的模型，訓(xùn)練模型做幾十位的加減乘除運(yùn)算，將細(xì)粒度的運(yùn)算過程合成出來變成很長(zhǎng)的 CoT 數(shù)據(jù)做 SFT，就可以獲得非常好的效果。
“我依然記得當(dāng)時(shí)看到那個(gè)效果的震撼。”Flood Sung 表示，公司意識(shí)到 Long Context 的重要性，所以率先考慮把 Context 搞長(zhǎng)，但卻對(duì) Long-CoT 這件事情不夠重視，其實(shí)主要還是考慮了成本問題?！癓ong Context 主要做的是長(zhǎng)文本輸入，有 Prefill 預(yù)填充，有 Mooncake 加持，成本速度可控，而 Long-CoT 是長(zhǎng)文本輸出，成本高很多，速度也要慢很多，在這種情況下，把輸出搞長(zhǎng)就沒有成為一個(gè)高優(yōu)選項(xiàng)?！?/p>
Flood Sung 反思道，“但還有什么比 Performance （性能）更重要呢？成本和速度有摩爾定律加持，可以不斷下降，只要把 Performance 搞上去，剩下的都不是主要問題?！彼?，我們得搞 Long-CoT，搞 o1?！癆ll in All，我們就是要訓(xùn)練模型能夠像我們?nèi)艘粯铀伎迹杂傻厮伎??！盕lood Sung 表示。
在月之暗面 Kimi 官網(wǎng)上，F(xiàn)lood Sung 刊發(fā)了一篇解密 o1 破解過程的萬字長(zhǎng)文，預(yù)示了公司關(guān)注并開始對(duì)標(biāo) o1 并推進(jìn)相關(guān)研究的實(shí)質(zhì)性動(dòng)作。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。