IT之家 3 月 14 日消息，清華大學高性能計算研究所翟季冬教授團隊、清華系科創(chuàng)企業(yè)清程極智今日聯(lián)合宣布，大模型推理引擎“赤兔 Chitu”現(xiàn)已開源。
據(jù)介紹，該引擎首次實現(xiàn)在非英偉達 Hopper 架構 GPU 及各類國產芯片上原生運行 FP8 精度模型，實現(xiàn) DeepSeek 推理成本降低一半、性能翻番。其定位為“生產級大模型推理引擎”，提供如下特性：
多元算力適配：不僅支持 NVIDIA 最新旗艦到舊款的多系列產品，也為國產芯片提供優(yōu)化支持。
全場景可伸縮：從純 CPU 部署、單 GPU 部署到大規(guī)模集群部署，赤兔引擎提供可擴展的解決方案。
長期穩(wěn)定運行：可應用于實際生產環(huán)境，穩(wěn)定性足以承載并發(fā)業(yè)務流量。
官方表示，當前開源的赤兔引擎在部署 DeepSeek-R1-671B 滿血版時，在 A800 集群的測試中，相比部分國外開源框架，實現(xiàn)了 GPU 使用量減少 50% 的同時，推理速度提升 3.15 倍。
IT之家附開源地址：https://github.com/thu-pacman/chitu
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。