谷歌 2 小時(shí)復(fù)仇硬剛 GPT-4o：Gemini 顛覆搜索，視頻 AI 對抗 Sora

谷歌 I / O 2024 如期來了，眼花繚亂地發(fā)布了一堆更新。

跟 OpenAI 半小時(shí)的「小而美」發(fā)布會(huì)相比，谷歌顯然準(zhǔn)備得更加充分，當(dāng)然，時(shí)間也相當(dāng)之長……

準(zhǔn)備好，谷歌要開始轟炸了。

首先，Gemini 1.5 Pro，上下文長度將達(dá)到驚人的 200 萬 token。然后，面對昨天 OpenAI GPT-4o 的挑釁，谷歌直接甩出大殺器 Project Astra，視覺識(shí)別和語音交互效果，跟 GPT-4o 不相上下。

接著，谷歌祭出文生視頻模型 Veo 硬剛 Sora，效果酷炫，時(shí)長超過 1 分鐘，打破 Sora 紀(jì)錄。

最后來了一個(gè)重磅消息：谷歌搜索將被 Gemini 重塑，形態(tài)從此徹底改變！我們不再需要自己點(diǎn)進(jìn)搜索結(jié)果，而是由多步驟推理的 AI Overview 來代辦一切。

發(fā)布會(huì)結(jié)束后，劈柴甚至還用 Gemini 算了一下，整個(gè)發(fā)布會(huì)共提了 121 次 AI。

Gemini 時(shí)代，來了

CEO 劈柴上來就無視了 GPT 和 Llama 的存在，這樣總結(jié)道：「我們完全處于 Gemini 時(shí)代」。并且給出數(shù)據(jù)：如今全世界使用 Gemini 的開發(fā)者，一共有 150 萬人。

萬眾矚目的 Gemini 更新如期而至。

Gemini 1.5 Pro 最強(qiáng)特性之一，就是超長的上下文窗口，達(dá)到了 100 萬 tokens 的級別，超過了目前所有的大語言模型，而且開放給個(gè)人用戶使用。

今天，劈柴宣布：它的上下文 token 數(shù)將會(huì)達(dá)到 2000K（200 萬）！相比之下，GPT-4 Turbo 只有 128K，Claude 3 也只有 200K。

而這也意味著 —— 你可以給模型輸入 2 小時(shí)視頻、22 小時(shí)音頻、超過 6 萬行代碼或者 140 多萬單詞。

這個(gè)上下文長度，已經(jīng)超過了目前所有大模型。

但是，這并不是終點(diǎn)，谷歌的目標(biāo)是 —— 無限長上下文，不過，這就是后話了。

用籃球講解牛頓運(yùn)動(dòng)定律

在這樣的 Gemini 加持下，我們可以實(shí)現(xiàn)許多迅捷的功能。

比如，作為父母需要了解孩子在學(xué)校的情況，就可以在 Gmail 中要求 Gemini 識(shí)別所有關(guān)于學(xué)校的電子郵件，然后幫你總結(jié)出要點(diǎn)。

如果你錯(cuò)過了公司會(huì)議，但可以拿到一小時(shí)時(shí)長的會(huì)議錄音，Gemini 就能立刻幫你總結(jié)出會(huì)議要點(diǎn)。

為了幫助學(xué)生和教師，在 NotebookLM 中，谷歌設(shè)計(jì)了一個(gè)「音頻概述」的功能。

把左邊的所有材料作為輸入，Notebook 就可以把它們整合成一個(gè)個(gè)性化的科學(xué)討論了。

對于聽覺學(xué)習(xí)型學(xué)生，這種形式就非常生動(dòng)。

演示這個(gè) demo 的 Josh 表示，自己的兒子第一次看到這個(gè)功能時(shí)，直接驚掉下巴。

他第一次感覺到，學(xué)習(xí)不再是死板的，牛頓力學(xué)定律居然以通過籃球來學(xué)習(xí)！

支持多模態(tài)的 Gemini 可以處理你上傳的任何格式的信息，理解內(nèi)容后將其改造成適合你的形式，與你對話互動(dòng)了！

Agent：幫你申請退貨

接下來，劈柴展示了 Agent 的一些例子。

買了一雙鞋子，不合適想退回怎么辦？

拍一張照片給 Agent，它就可以從你的郵箱中搜出訂單后，幫你填寫退貨單了。

再比如，你剛搬到某個(gè)城市，Agent 就能幫你探索你在這個(gè)城市所需的服務(wù)了，比如干洗店、幫忙遛狗的人等等。

如果靠我們自己搜索，可是要搜十幾個(gè)網(wǎng)站，但 Gemini 可以發(fā)揮自己的「多步推理」能力包攬這些任務(wù)，把你需要的信息一次性提供給你！

搜索和整合信息的功能非常強(qiáng)大，輸入新家的地址后，它甚至可以代替軟件問你外賣應(yīng)該放哪個(gè)位置。

總的來說，谷歌的理念就是：利用 Gemini 的多模態(tài)、超長上下文和智能體能力，把世界上的所有信息組織起來，讓它們對每個(gè)人都可觸達(dá)、可利用。

而最終目標(biāo)，就是讓 AI 對每一個(gè)人都有用。

谷歌搜索，被 Gemini 徹底重塑

之前 OpenAI 一直有意無意放出煙霧彈，聲稱要發(fā)布全新的搜索產(chǎn)品，等于是把刀架在谷歌脖子上了。

果然，谷歌這次不甘示弱，放出了個(gè)大的。從今天開始，在 Gemini 的加持下，谷歌搜索會(huì)徹底變樣。

在搜索框下，會(huì)出現(xiàn)一個(gè)為你量身定做的 AI 總結(jié)。注意，它并不簡單地將所有內(nèi)容拼湊在一起，而是幫你把活都干了！

你的問題是什么樣，它就會(huì)幫你做規(guī)劃，展示出若干個(gè)卡片，讓搜索信息以鮮明的方式被呈現(xiàn)出來。

這次 AI Overview 即將發(fā)布的另一個(gè)重磅功能，就是多步驟推理。

它能將用戶輸入的一個(gè)復(fù)雜問題分解成多部分，確定需要解決哪些問題，以及用什么順序解決。

因此，以前可能要花幾分鐘甚至幾個(gè)小時(shí)的研究，現(xiàn)在幾秒鐘內(nèi)就可以完成！因?yàn)樗鼘⑹畟€(gè)問題合而為一。

比如，如果想找到波士頓最好的瑜伽或普拉提工作室，它會(huì)直接搜出來結(jié)果，然后幫你整理好情況介紹和工作時(shí)間。

只要一次搜索，所有需要的信息就自動(dòng)呈現(xiàn)出來。

在下面這個(gè)例子中，你可以要求谷歌提供一個(gè)三天的膳食計(jì)劃。

這些食譜被從整個(gè)網(wǎng)絡(luò)整合出來，清晰又全面。

而且，我們還可以用視頻去搜索了！

比如，該怎么修這個(gè)唱片機(jī)？

以前，我們需要進(jìn)行一堆搜索，確定它的牌子、型號。現(xiàn)在，直接拍一個(gè)視頻丟給谷歌，然后直接開口問：它的這個(gè)毛病是什么原因？

谷歌用 AI Overview，給出了最全面的信息。

從此，在谷歌搜索中，你需要做的，就是簡單的「張嘴問」。

對標(biāo) GPT-4o，Project Astra 打造通用 AI 智能體

我們已經(jīng)看到，新模型 GPT-4o 賦予了 ChatGPT 強(qiáng)大的實(shí)時(shí)對話能力，讓 Her 走進(jìn)現(xiàn)實(shí)。

全新 AI 語音助手，是通往 AGI 的下一個(gè)未來。

對標(biāo) OpenAI，谷歌 DeepMind 今天首次對外公布了「通用 AI 智能體」新項(xiàng)目 ——Astra。

其實(shí)，昨天谷歌放出了一個(gè) demo，已經(jīng)讓所有人對 Astra 項(xiàng)目有了初步的了解。

而今天，現(xiàn)場的演示更加炸裂。網(wǎng)友稱，這是谷歌 I / O 大會(huì)中，自己最喜歡的 part。

不僅有 Astra 強(qiáng)大的對答如流的能力，還首次展示了「谷歌 AR 原型眼鏡」配上 AI 的震撼演示。

召喚 Gemini 之后，測試者提出問題，「當(dāng)你看到會(huì)發(fā)出聲音的東西時(shí)，告訴我」。

它回答道，「我看到一個(gè)揚(yáng)聲器，它可能會(huì)發(fā)聲」。

接下來，測試者用紅色剪頭指向揚(yáng)聲器的頂部，再次問道，「這個(gè)揚(yáng)聲器的部件叫什么」？

Gemini 準(zhǔn)確理解指令，并答出「這是高音揚(yáng)聲器，能產(chǎn)生高頻的聲音」。

然后，對著桌上一桶彩色蠟筆，讓 Gemini 就展示的物體，給出了「押頭韻」的創(chuàng)意 ——

「Creative crayons color cheerfully. They certainly craft colorful creations.」

Gemini 以「c」音重復(fù)開頭，生動(dòng)形象地描繪了用蠟筆歡快涂色，可以創(chuàng)作出許多絢麗多彩作品的場景。

而更讓你意想不到的是，它還可以讀懂代碼。

甚至都不是截屏，而是用攝像頭懟著電腦屏幕拍，然后問 Gemini「這部分代碼是做什么的」？

Gemini 看了一眼，就立即給出回答：「此段代碼定義了加密和解密函數(shù)。它似乎使用 AES CBC 加密，根據(jù)密鑰和初始化向量對數(shù)據(jù)進(jìn)行編碼和解碼」。

再將鏡頭移向窗外，「我在哪個(gè)街區(qū)」？

Gemini 便回答道，「這似乎是倫敦國王十字區(qū)，這里以火車站和交通樞紐而聞名」。

眼鏡找不到了？直接可以問 Gemini，「你記得在哪里見過我的眼鏡」？

它立刻回想剛剛見到的場景，「是的，我記得。你的眼鏡就在桌子上，旁邊有一個(gè)紅蘋果」。

要知道，剛剛這個(gè)問題并沒有向它提過，Astra 完全是憑自己的視覺記憶回答出來的，簡直成精了。

而 Astra 的這番表現(xiàn)，直接讓全場倒吸一口涼氣，發(fā)出驚呼。

谷歌原型 AR 眼鏡首現(xiàn)身

接下來的演示，更炫酷了。

剛剛找到的眼鏡，竟是谷歌的原型 AR 眼鏡！配合上強(qiáng)大的 Gemini 模型，即將開辟全新的應(yīng)用。

測試者走到白板前，看向一個(gè)「服務(wù)器」的構(gòu)建示意圖，然后問道，「我應(yīng)該怎樣做能使這個(gè)系統(tǒng)更快」？

Gemini 表示，「在服務(wù)器和數(shù)據(jù)庫之間，添加緩存可以提高速度」。

再比如，「看到如下圖，會(huì)讓你想起什么」？

—— 薛定諤的貓！

「在幫我給這對家伙，起一個(gè)二重唱樂隊(duì)名字」。

——Golden Stripes

大會(huì)上，Hassabis 稱，「一直以來，谷歌希望構(gòu)建一個(gè)能在日常生活中真正有所幫助的通用 AI 智能體。如今，這一愿景成為現(xiàn)實(shí)，可以追溯到很多年前。這也是谷歌從頭開始打造多模態(tài) Gemini 的主要原因」。

真正的通用 AI 智能體，必須像人類一樣，對復(fù)雜、動(dòng)態(tài)的世界做出理解和響應(yīng)。

它需要接受和記住所看到的內(nèi)容，以便理解上下文采取行動(dòng)，并且具備主動(dòng)性和個(gè)性化。甚至，你可以與其如真人般絲滑交流，沒有任何滯后或延遲。

為了打造這款全能 AI 智能體，谷歌 DeepMind 克服了很困難的工程挑戰(zhàn) —— 將 AI 響應(yīng)時(shí)間降低至對話水平。

具體來說，谷歌團(tuán)隊(duì)在 Gemini 的基礎(chǔ)上，開發(fā)了能夠持續(xù)編碼視頻幀的智能體。

然后，將視頻和語音多模態(tài)輸入，整合到事件時(shí)間軸中并緩存，以便實(shí)現(xiàn) AI 智能體高效召回，更快處理信息。

此外，谷歌還使用廣泛的語調(diào)變化，增強(qiáng)了語音輸出效果。

基于這些努力，Astra 能夠更好理解上下文，在交談中可以快速做出反應(yīng)，讓互動(dòng)的節(jié)奏和質(zhì)量感覺更加自然。

有網(wǎng)友稱，「谷歌的這個(gè) Astra 項(xiàng)目絕對是游戲規(guī)則的改變者，我們現(xiàn)在生活在一個(gè)由個(gè)人 AI 助手組成的世界，聊天機(jī)器人現(xiàn)在已經(jīng)過時(shí)了。它可以實(shí)時(shí)地看、說、聽，幾乎沒有延遲」

當(dāng)然，這次演示中，谷歌偷偷推出的 AR 硬件，也成為網(wǎng)友們的關(guān)注點(diǎn)。

谷歌科學(xué)家剛剛放出了，用 Astra 看谷歌 I / O 大會(huì)的演示，可以自己感受下。

圖像、音樂、視頻，面面俱到

與此同時(shí)，谷歌大會(huì)上再次推出了一系列關(guān)于「生成式媒體工具」的最新進(jìn)展。

其中，包括圖像、音樂，以及視頻模型。

最強(qiáng) AI 文生圖 Imagen 3

首先，AI 文本到圖像生成模型 Imagen 3 迎來重磅升級。

比起上一代，Imagen 3 能生成更多細(xì)節(jié)、光影豐富，且干擾偽影更少的圖像。新模型對提示的理解能力，得到顯著提升，可以從較長的提示中，捕獲細(xì)節(jié)。

如下圖中，對狼的特征，背景顏色，畫質(zhì)質(zhì)量等要求，Imagen 3 一致地呈現(xiàn)了出來。

另外，Imagen 3 可以生成視覺豐富、高質(zhì)量的圖像，有良好光照和構(gòu)圖。它可以準(zhǔn)確地渲染小細(xì)節(jié)，比如人手上的細(xì)微皺紋，以及復(fù)雜的紋理。

下圖中，毛絨大象清晰的編織紋理，還有光照，效果鮮明。

Imagen 3 還可以在更長的提示中，加入一些微小的細(xì)節(jié)，比如「野花」、「藍(lán)色的小鳥」...

谷歌還極大地改進(jìn)了 Imagen 3 的文本渲染能力。

如下圖片提示，「由各種顏色的羽毛組成的「光」字，黑色背景」，然后 Imagen 3 生成了漂亮的字體。

以下是官方給出的更多演示 demo：

視頻生成模型 Veo，1080p 超過 60 秒

這次谷歌發(fā)布的視頻模型 Veo，可以看作是對 OpenAI Sora 的正面迎戰(zhàn)了。

可以看出，Veo 生成的視頻不僅真實(shí)，而且在光線、構(gòu)圖等方面具有驚人的電影感。

Veo 的推出建立在 DeepMind 過去一年各種開創(chuàng)性成果的基礎(chǔ)上，包括 GQN、Phenaki、Walt、VideoPoet、Lumiere 等等。

谷歌結(jié)合了這些成果中最好的架構(gòu)和技術(shù)，提高了一致性、質(zhì)量和分辨率。

Veo 具備 1080p 的高質(zhì)量，用戶提示可以是文本、圖像、視頻等各種格式，還能捕捉到其中關(guān)于視覺效果和影像風(fēng)格的各種細(xì)節(jié)描述。

通過點(diǎn)擊「擴(kuò)展」按鈕，用戶就可以持續(xù)增加視頻的時(shí)長，最終，它的時(shí)長已經(jīng)超過 Sora 達(dá)到了 1 分 10 秒。

可以看到，在下面這個(gè)視頻中，汽車的形狀與周圍環(huán)境始終保持一致。

有這種專業(yè)級的生成效果，電影制作人可以直接用 Veo 來協(xié)助創(chuàng)作了。

從此，每個(gè)人都可以成為導(dǎo)演，也應(yīng)該成為導(dǎo)演。

好消息是，Veo 已經(jīng)開始在官網(wǎng)開放試用了。此外，團(tuán)隊(duì)還開發(fā)了實(shí)驗(yàn)性工具 VideoFX 搭載 Veo 模型。

申請入口：https://aitestkitchen.withgoogle.com/tools/video-fx

在谷歌官博中，給出了 Veo 更多演示，還特別強(qiáng)調(diào)了均是 AI 生成，未經(jīng)過修改：

Music AI Sandbox

在音樂方面，谷歌和 Youtube 一起構(gòu)建了 Music AI Sandbox。

輸入一段旋律，它就可以進(jìn)行風(fēng)格遷移，幫助藝術(shù)家們快速實(shí)現(xiàn)自己的想法和創(chuàng)意。為此，谷歌還特意邀請了許多音樂家、詞曲作者和制作人來測試。

他們驚喜地發(fā)現(xiàn)，使用這個(gè)新的 AI 音樂工具，他們居然做出了自己從未想到的音樂！

Demis Hassabis：我在思考智能的本質(zhì)

谷歌 DeepMind 負(fù)責(zé)人 Hassabis 表示，自己從小玩國際象棋時(shí)，就一直在思考智能的本質(zhì)是什么。

他深信，如果我們能以負(fù)責(zé)任的方式建造 AGI，影響將是深刻的。

谷歌 DeepMind 自去年成立以來成績斐然。而最近的大成就，就是幾乎可以預(yù)測所有生命分子結(jié)構(gòu)和相互作用的 AlphaFold 3 了。

原生多模態(tài) Gemini App

谷歌還打造出了一款 Gemini 原生多模態(tài)應(yīng)用，可以同時(shí)文本、音頻、視頻內(nèi)容。

一直以來，谷歌希望能夠打造一個(gè)有用的個(gè)人 AI 助理。Gemini App，正重新定義我們的交互方式。

為了讓我們與 Gemini 交互更自然，谷歌發(fā)布了 Gemini Live。

有了它，你可以在給朋友發(fā)消息的同一個(gè)程序中，還能與 Gemini 聊天。

你甚至可以控制自己的說話節(jié)奏，或者隨時(shí)打斷 Gemini 回答，如同與真人交流一樣。

比如，你正在為一場面試做準(zhǔn)備，只需要進(jìn)入 Live，讓 Gemini 陪你一起做準(zhǔn)備。

Gemini 可以與你進(jìn)行模擬面試排練，甚至在與潛在雇主交談時(shí)應(yīng)該突出哪些技能，還能提供建議。

谷歌表示，今年晚些時(shí)候，會(huì)推出攝像頭模式，可以以周圍環(huán)境與 Gemini 實(shí)現(xiàn)對話。

與此同時(shí)，谷歌還推出了根據(jù)個(gè)人需求自定義的 Gemini 專家 ——Gems。它可以是你的健身教練、瑜伽伙伴，也可以是你的寫作創(chuàng)意導(dǎo)師、編程伙伴等等。

接下來，谷歌還展示了通過規(guī)劃，讓我們?nèi)绾坞x AI 助手更近一步。

比如，一次旅行的規(guī)劃，需要涉及地理、時(shí)間、天氣等諸多因素，需要 AI 能夠做出優(yōu)先順序和決策的能力。

Gemini Advanced 的全新旅行規(guī)劃，可以將模型推理和智慧融為一體，為人類更好服務(wù)。

Ask Photos 新功能

在 Gemini 的加持下，谷歌還會(huì)推出 Ask Photos 的新功能。

比如，如果付停車費(fèi)時(shí)忘了自己的車牌號，就可以直接詢問自己的車牌照片是哪個(gè)，不需要翻閱手機(jī)里的大量照片了。

在比如，你可以問它女兒是什么時(shí)候?qū)W會(huì)游泳的？她的游泳是怎么進(jìn)步的？

Gemini 會(huì)識(shí)別眾多照片中的不同場景，將所有相關(guān)內(nèi)容匯總。

根據(jù)某些 Gemini 1.5 Pro 用戶的反饋，一些程序需要更低的延遲和服務(wù)成本。針對這一點(diǎn)，谷歌發(fā)布了 Gemini 1.5 Flash。

跟 Pro 比，F(xiàn)lash 是一個(gè)更輕量級的模型，專為那些對響應(yīng)速度要求極高的特定或頻繁任務(wù)優(yōu)化。

并且，它同樣具有多模態(tài)、1M tokens 長上下文的特點(diǎn)，只不過實(shí)現(xiàn)了輕量化、低延遲、高效推理，每百萬個(gè) token 的價(jià)格僅是 Pro 版的二十分之一。

今天起，Gemini 1.5 Flash 在 Google AI Studio 和 Vertex AI 中就可用了，開發(fā)者可以注冊申請兩百萬 token 的內(nèi)測版。

此外，為了方便開發(fā)者，谷歌還對 Gemini 的 API 功能進(jìn)行了三項(xiàng)優(yōu)化 —— 視頻幀提取、并行函數(shù)調(diào)用和上下文緩存。

第六代 TPU Trillium，4.7 倍性能提升

在背后給這些技術(shù)進(jìn)步提供基礎(chǔ)設(shè)施的，就是谷歌的 TPU。

簡單來說，相較于 TPU v5e，第六代 Trillium TPU 在性能上實(shí)現(xiàn)了高達(dá) 4.7 倍的提升，并在能效上提升了超過 67%。

為了實(shí)現(xiàn)這一飛躍，谷歌增大了矩陣乘法單元（MXUs）的規(guī)模并提升了時(shí)鐘速度。

并為 Trillium 配備了第三代 SparseCore—— 專門用于處理高級排序和推薦工作負(fù)載中常見的超大嵌入的加速器。

在這里，SparseCores 可以通過從 TensorCores 策略性地卸載隨機(jī)和細(xì)粒度訪問，有效加速了重嵌入型工作負(fù)載。

與此同時(shí)，谷歌還將高帶寬存儲(chǔ)器（HBM）的容量和帶寬翻倍，并將芯片間互連（ICI）的帶寬提升了一倍。

由此，Trillium 可以支持更加復(fù)雜的模型，擁有更多的權(quán)重和更大的鍵值緩存，并大幅縮短了大模型的訓(xùn)練時(shí)間和響應(yīng)延遲。

在一個(gè)高帶寬、低延遲的 Pod 中，Trillium 可以擴(kuò)展至 256 個(gè) TPU。

而通過多切片技術(shù)和 Titanium 智能處理單元（IPU），Trillium 還可以進(jìn)一步擴(kuò)展 —— 通過數(shù)百個(gè) Pod，連接數(shù)以萬計(jì)的芯片，并在一個(gè)多千兆位每秒的數(shù)據(jù)中心網(wǎng)絡(luò)支持下，組成一個(gè)超大規(guī)模的超級計(jì)算機(jī)。

更多的開源模型

最后，谷歌還發(fā)布了自家首個(gè)視覺-語言開源模型 ——PaliGemma，專門針對圖像標(biāo)注、視覺問答及其他圖像標(biāo)簽化任務(wù)進(jìn)行了優(yōu)化。

不僅如此，谷歌還將在 6 月推出規(guī)模更大的開源模型 ——Gemma 2 27B。

在性能方面，全新的 Gemma 27B 不僅超越了規(guī)模大了 2 倍還多的模型，而且還能在 GPU 或單個(gè) TPU 主機(jī)上高效運(yùn)行。

參考資料：

• https://blog.google/technology/developers/gemini-gemma-developer-updates-may-2024/

• https://cloud.google.com/blog/products/compute/introducing-trillium-6th-gen-tpus?e=48754805

• https://www.youtube.com/watch?v=XEzRZ35urlk

2024 谷歌 I/O 開發(fā)者大會(huì)專題

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。