IT之家 6 月 10 日消息，在“2023 北京智源大會”上，北京智源人工智能研究院發(fā)布悟道 3.0 大模型系列，包含悟道?天鷹（Aquila）語言大模型系列、“天秤（FlagEval）”大語言評測體系及開放平臺以及悟道?視界視覺大模型系列。
IT之家附詳細內容：
悟道?天鷹 Aquila 語言大模型是第一個中英文雙語大模型，支持商用、符合數(shù)據(jù)合規(guī)要求，在中英高質量合規(guī)的語料數(shù)據(jù)庫基礎上從零開始訓練。這次發(fā)布了該系列模型中的 7B、33B 和 AquilaChat 對話模型，即 70 億參數(shù)、330 億參數(shù)的基礎模型，AquilaCode 文本代碼生成模型。
7B、33B 在技術上繼承了 GPT-3、LLaMA 等的架構設計優(yōu)點，替換了一批更高效的底層算子實現(xiàn)、重新設計實現(xiàn)了中英雙語的 tokenizer，升級了 BMTrain 并行訓練方法，在 Aquila 的訓練過程中實現(xiàn)了比 Magtron+DeepSpeed ZeRO-2 將近８倍的訓練效率。
AquilaCode-7B 代碼模型，是基于 Aquila-7B 基礎模式的代碼模型，它也是 7B（70 億參數(shù)），用小數(shù)據(jù)集、小參數(shù)量實現(xiàn)了高性能，支持中英雙語。
大語言模型評測體系“天秤”在能力、任務、指標三個維度上建立了全方位的評測體系，包括 30 多種能力，加上 5 種任務，再乘以 4 大類的指標，總共差不多 600 維的評測體系。目前天秤開源大模型評測體系已經面向公眾開放注冊申請。在硬件方面支持英偉達、華為的昇騰、寒武紀、昆侖芯等多種芯片架構，以及 PyTorch 等多種深度學習框架。
視覺大模型方面，智源大會公布了在多模態(tài)序列中補全一切的多模態(tài)大模型 Emu、最強十億級視覺基礎模型 EVA、性能最強開源 CLIP 模型 EVA-CLIP、首創(chuàng)了上下文圖像學習技術路徑的通用視覺模型 Painter、分割一切的視界通用分割模型、以及首個零樣本視頻編輯方法 vid2vid-zero 等成果。
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。