IT之家 9 月 29 日消息，AMD 在 Huggingface 平臺(tái)公布了自家首款“小語言模型”AMD-Llama-135m，該模型具有推測(cè)解碼功能，擁有 6700 億個(gè) token，采用 Apache 2.0 開源許可，IT之家附模型地址如下（點(diǎn)此訪問）。
據(jù)介紹，這款模型主打“推測(cè)解碼”能力，其基本原理是使用小型草稿模型生成一組候選 token，然后由更大的目標(biāo)模型進(jìn)行驗(yàn)證。這種方法允許每次前向傳遞生成多個(gè) token，而不會(huì)影響性能，從而顯著減少 RAM 占用，實(shí)現(xiàn)效率提升。
AMD 表示，這款模型在四個(gè) AMD Instinct MI250 節(jié)點(diǎn)訓(xùn)練了六天，其“編程專用版本”變體 AMD-Llama-135m-code 則額外耗費(fèi)了四天時(shí)間進(jìn)行微調(diào)。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。