IT之家 3 月 22 日消息，在 ChatGPT 的核心團隊中，不乏清華大學畢業(yè)進入 OpenAI 的開發(fā)者，就在 GPT-4 發(fā)布的同一天，清華大學頂尖的 NLP 團隊，也公開了自研的類 ChatGPT 的大模型 —— 中英雙語對話模型 ChatGLM-6B，初具問答和對話功能，現(xiàn)已開啟邀請制內(nèi)測（內(nèi)測申請網(wǎng)址 http://chatglm.cn），后續(xù)還會逐步擴大內(nèi)測范圍。
官方博客中提到，這是一個初具問答和對話功能的千億中英語言模型，并針對中文進行了優(yōu)化。該模型基于 General Language Model（GLM）架構，具有 62 億參數(shù)。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署（INT4 量化級別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGLM 相同的技術，針對中文問答和對話進行了優(yōu)化。經(jīng)過約 1T 標識符的中英雙語訓練，輔以監(jiān)督微調、反饋自助、人類反饋強化學習等技術的加持，62 億參數(shù)的 ChatGLM-6B 雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當符合人類偏好的回答。
具體來說，ChatGLM-6B 具備以下特點：
充分的中英雙語預訓練：ChatGLM-6B 在 1:1 比例的中英語料上訓練了 1T 的 token 量，兼具雙語能力。
優(yōu)化的模型架構和大?。何?GLM-130B 訓練經(jīng)驗，修正了二維 RoPE 位置編碼實現(xiàn)，使用傳統(tǒng) FFN 結構。6B（62 億）的參數(shù)大小，也使得研究者和個人開發(fā)者自己微調和部署 ChatGLM-6B 成為可能。
較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進行推理，結合模型量化技術，這一需求可以進一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費級顯卡上。
更長的序列長度：相比 GLM-10B（序列長度 1024），ChatGLM-6B 序列長度達 2048，支持更長對話和應用。
人類意圖對齊訓練：使用了監(jiān)督微調（Supervised Fine-Tuning）、反饋自助（Feedback Bootstrap）、人類反饋強化學習（RLHF）等方式，使模型初具理解人類指令意圖的能力。輸出格式為 markdown，方便展示。
因此，ChatGLM-6B 具備了一定條件下較好的對話與問答能力。當然，ChatGLM-6B 也有相當多已知的局限和不足：
模型容量較?。?nbsp;6B 的小容量，決定了其相對較弱的模型記憶和語言能力。在面對許多事實性知識任務時，ChatGLM-6B 可能會生成不正確的信息；她也不擅長邏輯類問題（如數(shù)學、編程）的解答。
可能會產(chǎn)生有害說明或有偏見的內(nèi)容： ChatGLM-6B 只是一個初步與人類意圖對齊的語言模型，可能會生成有害、有偏見的內(nèi)容。
較弱的多輪對話能力： ChatGLM-6B 的上下文理解能力還不夠充分，在面對長答案生成，以及多輪對話的場景時，可能會出現(xiàn)上下文丟失和理解錯誤的情況。
英文能力不足： 訓練時使用的指示大部分都是中文的，只有一小部分指示是英文的。因此在使用英文指示時，回復的質量可能不如中文指示的回復，甚至與中文指示下的回復矛盾。
易被誤導： ChatGLM-6B 的“自我認知”可能存在問題，很容易被誤導并產(chǎn)生錯誤的言論。例如當前版本模型在被誤導的情況下，會在自我認知上發(fā)生偏差。即使該模型經(jīng)過了 1 萬億標識符（token）左右的雙語預訓練，并且進行了指令微調和人類反饋強化學習（RLHF），但是因為模型容量較小，所以在某些指示下可能會產(chǎn)生有誤導性的內(nèi)容。
該團隊稱，一直在探索、嘗試和努力，GLM 系列模型取得了一絲進展，但離國際頂尖大模型研究和產(chǎn)品（比如 OpenAI 的 ChatGPT 及下一代 GPT 模型）都還有明顯差距。中國大模型研究在原創(chuàng)算法、AI 芯片和產(chǎn)業(yè)上的追趕與突破需要大家的一起努力，更需要我們對下一代 AI 人才的培養(yǎng)與鍛煉。
IT之家附 ChatGLM-6B 的對話效果展示：
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。