語言模型

百度發(fā)布首個基于全新互相關注意力（Cross-Attention）的端到端語音語言大模型，宣布實現超低時延與超低成本，在電話語音頻道的語音問答場景中，調用成本較行業(yè)均值下降約 50%-90%。

據英國《金融時報》，Meta準備發(fā)布其人工智能模型的商用版本，允許初創(chuàng)公司和企業(yè)在該技術的基礎上構建定制軟件。

AI 頂會 ICML 征稿日在即，關于道德準則的新政策卻引來網友不滿！規(guī)則要求作者不能使用大型語言模型，網友評論區(qū)刷屏詢問：為什么？ 昨天，國際機器學習會議（ICML）發(fā)布了 2023 論文征稿公告。

近年來，語言模型（LM）在自然語言處理（NLP）研究中變得更加突出，在實踐中也越來越有影響力。一般來說，擴大模型的規(guī)模已被證明可以提升在一系列 NLP 任務中的性能。 不過，擴大模型規(guī)模的挑戰(zhàn)也是顯而易見的：訓練新的、更大的模型需要大量的計算資源。此外，新的模型往往是從頭開始訓練的，無法利用以前的模型的訓練權重。 對于這個問題，谷歌的研究人員探討了兩種互補的方法，在不額外消耗大量計算資源的情況下，大幅提高現有語言模型的性能。 首先，在 「Transcending Scaling Laws with 0.1% Extra Compute」一文中，研究人員介紹了 UL2R，這是一個輕量級的第二階段預訓練模型，使用一個混合 enoisers 目標。UL2R 提高了一系列任務的性能，甚至在以前具有接近隨機性能的任務上釋放出突發(fā)性能。

Facebook AI，更準確地說是 Meta AI，剛剛發(fā)布了自監(jiān)督語音處理模型 XLS-R，共支持 128 種語言

如果一個人只看網文，那會寫出來怎樣的文字？看了 100G 網文后，這個 AI 模型幫你試了一下。

以色列公司 AI21 Labs 推出的 Jurassic-1 (侏羅紀-1) 模型有 1780 億個參數， 25 萬個 token

阿里巴巴達摩院發(fā)布超大規(guī)模語言模型 PLUG，該模型參數規(guī)模達 270 億，是目前全球規(guī)模最大的中文純文本預訓練語言模型

OpenAI 最近宣布，其人工智能文本生成器 GPT-3 現已被數萬開發(fā)者用于 300 多個不同的應用程序，每天輸出 45 億詞之多