原生多模態(tài)輸入、輸出的大模型時(shí)代來了。

原標(biāo)題：Gemini 2.0發(fā)布！主打Agent+多模態(tài)，性能超1.5 Pro、可直接生成音頻、圖片
文章來源：Founder Park
內(nèi)容字?jǐn)?shù)：5816字

谷歌發(fā)布Gemini 2.0 Flash，開啟多模態(tài)輸入輸出時(shí)代

谷歌在發(fā)布Gemini 2.0 Flash后，標(biāo)志著原生多模態(tài)輸入輸出的大模型時(shí)代的到來。DeepMind首席執(zhí)行官哈薩比斯表示，Gemini 2.0的表現(xiàn)與當(dāng)前的1.5 Pro型號相當(dāng)，但在成本效益、性能效率和速度上都有顯著提升。

1. 強(qiáng)大的多模態(tài)能力

Gemini 2.0 Flash不僅能夠生成音頻和圖像，還引入了新的多模態(tài)能力。該模型支持多種輸入形式，包括圖片、視頻和音頻，并能生成圖像與文本的混合內(nèi)容，以及可控的多語言文本轉(zhuǎn)語音（TTS）音頻。開發(fā)者可以通過單一API調(diào)用實(shí)現(xiàn)集成響應(yīng)，這一功能將于明年全面推廣。

2. Project Astra的重大更新

基于Gemini 2.0 Flash，谷歌的通用助手Project Astra經(jīng)歷了多項(xiàng)功能更新。它能夠更流暢地進(jìn)行多語言對話，理解不同口音，并能夠使用Google Search、Google Lens和Google Maps等工具來增強(qiáng)日常助手功能。此外，Project Astra的記憶能力得到了提升，能夠記住長達(dá)10分鐘的對話內(nèi)容。

3. Project Mariner與瀏覽器Agent

Project Mariner是一個(gè)基于Gemini 2.0的瀏覽器Agent，能夠理解和推理網(wǎng)頁信息，完成復(fù)雜任務(wù)。盡管目前僅限于受信任的測試人員使用，但它在WebVoyager基準(zhǔn)測試中展現(xiàn)了出色的工作效率，達(dá)到了83.5%。

4. AI代碼助手Jules

基于Gemini 2.0的AI代碼助手Jules，能夠與用戶的GitHub工作流程集成，處理Bug修復(fù)和其他任務(wù)。官方聲稱在SWE-bench Verified測試中，Jules的通過率達(dá)到了51.8%，提高了編碼效率。

5. 游戲Agent與深度研究

谷歌還推出了基于Gemini 2.0的游戲Agent，這些Agent能夠?qū)崟r(shí)指導(dǎo)用戶在游戲中導(dǎo)航。此外，新的深度研究功能能幫助用戶完成研究任務(wù)，生成主題報(bào)告。

總的來說，Gemini 2.0 Flash的發(fā)布為AI領(lǐng)域帶來了新的可能性，尤其是在多模態(tài)輸入輸出和智能助手的發(fā)展上，展現(xiàn)了谷歌在AI技術(shù)方面的持續(xù)創(chuàng)新。

聯(lián)系作者

文章來源：Founder Park
作者微信：
作者簡介：來自極客公園，專注與科技創(chuàng)業(yè)者聊「真問題」。