AI 模型

作為下周舉行的亞馬遜 AWS re:Invent 技術(shù)大會(huì)預(yù)熱，亞馬遜 AWS 現(xiàn)宣布與 IBM 進(jìn)一步深化 AI 領(lǐng)域合作，IBM 的大語言模型系列 Granite 3.0 將登陸 Amazon 云平臺(tái)，同時(shí)還將支持亞馬遜最新的 Trainium 2 芯片。

Meta 于上周發(fā)布新聞稿，宣布正式開源可在智能手機(jī)上運(yùn)行的小語言模型 MobileLLM 家族，并同時(shí)為系列模型新增 600M、1B 和 1.5B 三種不同參數(shù)版本，研究人員將 MobileLLM-1.5B 與業(yè)界其他參數(shù)量更大的模型進(jìn)行比較，在結(jié)果測試方面據(jù)稱領(lǐng)先 GPT-neo-2.7B、OPT-2.7B、BLOOM-3B、Qwen 1.5-1.8B 等模型。

蘋果公司現(xiàn)已為旗下多模態(tài)大模型 MM 推出 1.5 版本，該版本模型基于前代 MM1 的架構(gòu)，繼續(xù)延續(xù)數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練原則，重點(diǎn)研究在不同訓(xùn)練周期中，混合不同類型數(shù)據(jù)對(duì)模型性能的影響。

據(jù) PyTorch 新聞稿，PyTorch 旗下架構(gòu)優(yōu)化庫 torchao 現(xiàn)已正式發(fā)布，該優(yōu)化庫主要專注于模型的量化和稀疏性優(yōu)化，能夠在保證性能的同時(shí)降低模型的計(jì)算成本和 RAM 用量，從而提升模型運(yùn)行效率。

AMD 在 Huggingface 平臺(tái)公布了自家首款“小語言模型”AMD-Llama-135m，該模型具有推測解碼功能，擁有 6700 億個(gè) token，采用 Apache 2.0 開源許可

網(wǎng)絡(luò)服務(wù)商 Cloudflare 本周推出一系列防 AI 爬蟲的工具，包括可查看 AI 爬蟲具體活動(dòng)的 AI Audit 和一鍵屏蔽所有 AI 爬蟲的 Block AI Scrapers and Crawlers。站長們可以部署相關(guān)服務(wù)，從而防止自己網(wǎng)站的內(nèi)容被用于訓(xùn)練 AI 的機(jī)器人爬蟲扒取。

Meta 公司昨日發(fā)布新聞稿披露了旗下 Llama 開源 AI 模型家族在 Hugging Face 的下載量情況，僅在上個(gè)月（8 月 1 日- 8 月 31 日），相關(guān)模型的下載次數(shù)就超過了 2000 萬次，截至 9 月 1 日，Llama 模型家族下載量已突破 3.5 億次，

Stability AI 今天推出了一款名為 Stable Fast 3D 的 AI 模型，該模型主打“圖生 3D 模型”，號(hào)稱只需 0.5 秒就能快速生成完整且自然的 3D 模型，目前該模型已在 Hugging Face 平臺(tái)上架。

Llama 3.1 405B 超越 GPT-4o，開源大模型登頂了，副作用是危險(xiǎn)也更多了。不過也不全是壞事。Llama 系列前幾個(gè)版本一直因?yàn)檫^度安全防護(hù)，還一度飽受一些用戶批評(píng)。

在今年稍早的 Computex 大會(huì)上，高通發(fā)布了驍龍 X Elite 平臺(tái)，發(fā)布會(huì)上該公司幾乎只強(qiáng)調(diào)了該系列芯片的人工智能 (AI) 能力，對(duì) CPU 和 GPU 的介紹則寥寥無幾。然而，要想發(fā)揮高通 Hexagon 神經(jīng)處理單元 (NPU) 的強(qiáng)大性能，就需要能與之匹配的 AI 軟件。

摩爾線程、無問芯穹今天聯(lián)合宣布，雙方已經(jīng)正式完成基于國產(chǎn)全功能 GPU 千卡集群的 3B 規(guī)模大模型“MT-infini-3B”實(shí)訓(xùn)，該模型基于摩爾線程國產(chǎn)全功能 GPU MTT S4000 組成的千卡集群，以及無問芯穹的 AIStudio PaaS 平臺(tái)打造，是行業(yè)內(nèi)首次實(shí)現(xiàn)基于國產(chǎn) GPU 芯片從 0 到 1 的端到端大模型實(shí)訓(xùn)案例。

微軟在今年 4 月至 5 月陸續(xù)公布了一系列 Phi-3 小語言模型 (SLM），目前英特爾發(fā)布新聞稿，聲稱目前開發(fā)人員已經(jīng)就 Phi-3 模型對(duì)自家 Gaudi AI 加速器、Xeon 和 Core Ultra CPU、Arc 顯卡進(jìn)行優(yōu)化，從而進(jìn)一步降低相關(guān)軟硬件運(yùn)行 AI 模型的門檻

谷歌 DeepMind 日前推出了一款名為“Frontier Safety Framework”的 AI 安全框架，主要用于檢測 AI 模型的風(fēng)險(xiǎn)情況，目前公布的 1.0 版本主要包含三個(gè)關(guān)鍵組件，即“識(shí)別模型是否具備釀成重大風(fēng)險(xiǎn)的能力”，“預(yù)估模型會(huì)在什么階段具備安全隱患”、“智能優(yōu)化模型防止其釀成風(fēng)險(xiǎn)”。

根據(jù)彭博社的一份新報(bào)告，索尼音樂集團(tuán)正在通知各大 AI 公司不得“未經(jīng)授權(quán)使用公司旗下的資產(chǎn)進(jìn)行模型訓(xùn)練”。索尼目前已經(jīng)向 700 多家公司發(fā)送了信件，以保護(hù)其知識(shí)產(chǎn)權(quán)，索尼提到，任何 AI 公司未經(jīng)明確許可，不得使用索尼旗下的專輯封面藝術(shù)、音樂作品和歌詞等內(nèi)容。

小米大語言模型 MiLM 目前正式通過大模型備案，相關(guān)模型據(jù)稱將逐步應(yīng)用于小米汽車、手機(jī)、智能家居等產(chǎn)品中，后續(xù)也將面向更多用戶開放體驗(yàn)，MiLM 大模型參數(shù)規(guī)模達(dá) 64 億，在去年 8 月首度現(xiàn)身 C-Eval、CMMLU 大模型評(píng)測榜單，當(dāng)時(shí)這款模型在 C-Eval 總榜單排名第 10、同參數(shù)量級(jí)排名第 1。

英國人工智能安全研究所（AI Safety Institute）近日推出了一款名為“Inspect”的 AI 模型安全評(píng)估平臺(tái)，該平臺(tái)采用開源授權(quán)方式，向全球 AI 工程師免費(fèi)開放，該框架可用來評(píng)估各款 AI 模型的特定方面能力，包含模型的核心知識(shí)儲(chǔ)備量、推理能力與自主能力等

研究人員 Sepp Hochreiter 在 arXiv 上發(fā)布論文，提出了一種名為 xLSTM（Extended LSTM）的新架構(gòu)，號(hào)稱可以解決 LSTM 長期以來“只能按照時(shí)序處理信息”的“最大痛點(diǎn)”，從而“迎戰(zhàn)”目前廣受歡迎的 Transformer 架構(gòu)。

攝影分享平臺(tái) EyeEm 近日變更其服務(wù)條款，宣布將默認(rèn)使用平臺(tái)上的照片來訓(xùn)練 AI 模型，如果用戶不同意條款，需要自行刪除自己的所有作品。

據(jù)谷歌官方新聞稿，谷歌 DeepMind 團(tuán)隊(duì)今天推出一款 Gemma 開放模型，該 AI 模型號(hào)稱受到 Gemini 啟發(fā)，提供 Gemma 2B 和 Gemma 7B 兩種規(guī)模版本可選，這款 Gemma 模型可以使用 Keras 3.0、PyTorch 等工具進(jìn)行微調(diào)，能夠在筆記本 / 物聯(lián)網(wǎng)等性能較低的設(shè)備中運(yùn)行，并號(hào)稱相比同等規(guī)模競品擁有更強(qiáng)的性能，據(jù)稱在關(guān)鍵基準(zhǔn)測試中“明顯超越了 Meta Llama-2 模型”。

谷歌研究院日前推出了一款名為 Lumiere 的“文生視頻”模型，主打采用自家最新開發(fā)的“Space-Time U-Net”基礎(chǔ)架構(gòu)，該架構(gòu)能夠在空間和時(shí)間上同時(shí)“降采樣（Downsample）”信號(hào)，從而在“更緊湊的時(shí)空中進(jìn)行更多運(yùn)算”，令 Lumiere 生成持續(xù)時(shí)間更長、動(dòng)作更連貫的視頻。