IT之家 12 月 28 日消息，谷歌 DeepMind 團(tuán)隊最新推出了“可微緩存增強”（Differentiable Cache Augmentation）的新方法，在不明顯額外增加計算負(fù)擔(dān)的情況下，可以顯著提升大語言模型的推理性能。
項目背景
IT之家注：在語言處理、數(shù)學(xué)和推理領(lǐng)域，大型語言模型（LLMs）是解決復(fù)雜問題不可或缺的一部分。
計算技術(shù)的增強側(cè)重于使 LLMs 能夠更有效地處理數(shù)據(jù)，生成更準(zhǔn)確且與上下文相關(guān)的響應(yīng)，隨著這些模型變得復(fù)雜，研究人員努力開發(fā)在固定計算預(yù)算內(nèi)運行而不犧牲性能的方法。
優(yōu)化 LLMs 的一大挑戰(zhàn)是它們無法有效地跨多個任務(wù)進(jìn)行推理或執(zhí)行超出預(yù)訓(xùn)練架構(gòu)的計算。
當(dāng)前提高模型性能的方法涉及在任務(wù)處理期間生成中間步驟，但代價是增加延遲和計算效率低下。這種限制阻礙了他們執(zhí)行復(fù)雜推理任務(wù)的能力，特別是那些需要更長的依賴關(guān)系或更高地預(yù)測準(zhǔn)確性的任務(wù)。
項目介紹
“可微緩存增強”（Differentiable Cache Augmentation）采用一個經(jīng)過訓(xùn)練的協(xié)處理器，通過潛在嵌入來增強 LLM 的鍵值（kv）緩存，豐富模型的內(nèi)部記憶，關(guān)鍵在于保持基礎(chǔ) LLM 凍結(jié)，同時訓(xùn)練異步運行的協(xié)處理器。
整個流程分為 3 個階段，凍結(jié)的 LLM 從輸入序列生成 kv 緩存；協(xié)處理器使用可訓(xùn)練軟令牌處理 kv 緩存，生成潛在嵌入；增強的 kv 緩存反饋到 LLM，生成更豐富的輸出。
在 Gemma-2 2B 模型上進(jìn)行測試，該方法在多個基準(zhǔn)測試中取得了顯著成果。例如，在 GSM8K 數(shù)據(jù)集上，準(zhǔn)確率提高了 10.05%；在 MMLU 上，性能提升了 4.70%。此外，該方法還降低了模型在多個標(biāo)記位置的困惑度。
谷歌 DeepMind 的這項研究為增強 LLMs 的推理能力提供了新的思路。通過引入外部協(xié)處理器增強 kv 緩存，研究人員在保持計算效率的同時顯著提高了模型性能，為 LLMs 處理更復(fù)雜的任務(wù)鋪平了道路。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。