IT之家 4 月 8 日消息，深度求索（DeepSeek）聯(lián)合清華大學，合作推出全新 AI 對齊技術 SPCT（自我原則點評調優(yōu)），突破傳統(tǒng)依賴海量訓練數(shù)據(jù)的模式，通過推理階段動態(tài)優(yōu)化輸出質量。
根據(jù)研究團隊 4 月 4 日發(fā)表的論文，該技術通過“原則合成-響應生成-批判過濾-原則優(yōu)化”的遞歸架構，讓模型能在推理時動態(tài)修正輸出。
SPCT 方法分為兩個階段。一是拒絕式微調作為冷啟動階段，讓 GRM 適應不同輸入類型并以正確格式生成原則與點評內容。二是基于規(guī)則的在線強化學習階段，采用基于規(guī)則的結果獎勵，鼓勵 GRM 生成更好的原則與點評內容，提升推理階段可擴展性。
測試中，270 億參數(shù)的 DeepSeek-GRM 模型測試顯示，通過每查詢 32 次采樣的推理計算，達到了 671B 規(guī)模模型的性能水平。這種硬件感知設計采用混合專家系統(tǒng)（MoE），支持 128k token 上下文窗口，單查詢延遲僅 1.4 秒。
報告指出 SPCT 顯著降低高性能模型的部署門檻，以 DeepSeek-GRM 模型為例，訓練成本約 1.2 萬美元（IT之家注：現(xiàn)匯率約合 87871 元人民幣），MT-Bench 得分 8.35。
| 模型 | 規(guī)模 | MT-Bench | 預估訓練成本 |
|---|---|---|---|
| DeepSeek-GRM | 27B | 8.35 | $12,000 |
| Nemotron-4 | 340B | 8.41 | $1.2 million |
| GPT-4o | 1.8T | 8.72 | $6.3 million |
作為對比，340B 的 Nemotron-4 需 120 萬美元獲得 8.41 分。OpenAI 的 1.8T 參數(shù) GPT-4o 雖得 8.72 分，但成本高達 630 萬美元（現(xiàn)匯率約合 4613.2 萬元人民幣），而 DeepSeek-GRM 成本僅為 525 分之一。該技術減少 90% 人工標注需求，能耗較 DPO 降低 73%，為實時機器人控制等動態(tài)場景提供新可能。
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。