谷歌推出的原生多模態(tài)輸入輸出 + Agent 為核心的AI模型

產(chǎn)品名稱：Gemini 2.0
產(chǎn)品簡介：Gemini 2.0是谷歌最新推出的原生多模態(tài)輸入輸出的AI模型。Gemini 2.0 Flash是2.0家族第一個模型，以多模態(tài)輸入輸出和Agent技術(shù)為核心，速度比 1.5 Pro快兩倍，關(guān)鍵性能指標超過 1.5 Pro。模型支持原生工具調(diào)用和實時音視頻流輸入，提供文本、音頻和圖像的集成響應(yīng)，具備多語言音頻輸出能力。
詳細介紹：

Gemini 2.0是什么

Gemini 2.0是谷歌最新推出的原生多模態(tài)輸入輸出的AI模型。Gemini 2.0 Flash是2.0家族第一個模型，以多模態(tài)輸入輸出和Agent技術(shù)為核心，速度比 1.5 Pro快兩倍，關(guān)鍵性能指標超過 1.5 Pro。模型支持原生工具調(diào)用和實時音視頻流輸入，提供文本、音頻和圖像的集成響應(yīng)，具備多語言音頻輸出能力。Gemini 2.0致力于構(gòu)建自主理解、規(guī)劃和執(zhí)行任務(wù)的智能助手，谷歌基于Gemini 2.0推出了Jules、Colab數(shù)據(jù)科學代理等原型，展現(xiàn)在編程、數(shù)據(jù)分析等領(lǐng)域的應(yīng)用潛力。Gemini 2.0 Flash 及API目前免費提供，基于 Google AI Studio 和 Vertex AI 中的 Gemini API 使用，每分鐘最多15個提問，每天最多1500個提問，計劃于明年開放更多模型尺寸和功能。

Gemini 2.0的主要功能

• 原生多模態(tài)輸入輸出：支持圖像、視頻、音頻等多種數(shù)據(jù)類型的輸入與輸出。
• 增強的性能：在關(guān)鍵基準測試中，Gemini 2.0 Flash的性能超越前代產(chǎn)品Gemini 1.5 Pro，速度達到Gemini 1.5 Pro的兩倍。
• 全新的輸出模態(tài)：支持文本、音頻和圖像的集成響應(yīng)，包括多語言原生音頻輸出和原生圖像輸出。
• 原生工具使用：直接調(diào)用Google搜索、代碼執(zhí)行等工具，能基于函數(shù)調(diào)用使用自定義的第三方函數(shù)。
• 多模態(tài)實時API：支持實時音視頻流輸入，進行語音活動檢測，能集成多個工具完成復雜任務(wù)。
• AI“代理”應(yīng)用：基于Gemini 2.0 ，谷歌正在探索AI“代理”的應(yīng)用，打造能自主理解、規(guī)劃和執(zhí)行任務(wù)的智能助手，如Jules（編程助手）、Project Astra（多模態(tài)助手）等。

Gemini 2.0的技術(shù)原理

• 機器學習和深度學習算法：Gemini 2.0基于最新的機器學習和深度學習算法，提升神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和效率。
• 自然語言處理（NLP）：在自然語言處理領(lǐng)域表現(xiàn)出色，讓Gemini 2.0能更好地理解和生成自然語言。
• 定制硬件支持：基于谷歌定制的硬件第六代TPU Trillium構(gòu)建，為Gemini 2.0的培訓和推理提供100%算力支持。
• 全棧式AI創(chuàng)新研究：得益于谷歌長達10年的全棧式AI創(chuàng)新研究的投入，Gemini 2.0在技術(shù)前沿領(lǐng)域展現(xiàn)出卓越的性能。

基于Gemini 2.0的AI代理

• Project Astra：
  • 多模態(tài)智能體，能進行多語言和混合語言對話，理解不同口音和生僻單詞。
  • 基于Gemini 2.0，Project Astra能使用Google Search、Google Lens和Google Maps。
  • 增強記憶能力，能記住長達10分鐘的會話內(nèi)容，提供個性化服務(wù)。
  • 改進語音回復的延遲，能用接近人類對話的速度理解語言。
• Project Mariner：
  • 早期研究原型，探索人機交互的未來，從瀏覽器開始。
  • 能理解和推理瀏覽器頁面中的信息，包括像素和文本、代碼、圖像和表單等網(wǎng)頁元素。
  • 基于Chrome擴展程序使用為用戶完成任務(wù)。
• Jules：AI驅(qū)動的編碼智能體，直接集成到GitHub工作流中。用戶用自然語言描述問題，Jules能生成可直接合并到項目中的代碼。
• 游戲智能體：
  • 基于Gemini 2.0構(gòu)建的智能體，根據(jù)屏幕上的實時畫面分析游戲情況，為用戶提供行動建議。
  • 正在與游戲開發(fā)商如Supercell合作，在《部落沖突》和《海島奇兵》等游戲中測試這些智能體。

Gemini 2.0的項目地址

• 項目官網(wǎng)：google-deepmind/google-gemini-ai

Gemini 2.0的應(yīng)用場景

• 網(wǎng)頁交互和自動化任務(wù)：Gemini 2.0能讀取、總結(jié)甚至使用網(wǎng)站，基于生成式AI系統(tǒng)完成用戶與網(wǎng)站的交互，例如在超市網(wǎng)站創(chuàng)建購物車。
• 編程輔助：Jules作為AI編程伙伴，直接嵌入GitHub，用自然語言描述問題后生成代碼，一鍵合并至用戶原有代碼中。
• 數(shù)據(jù)分析和研究：基于Deep Research功能，作為研究助理，探索復雜主題并撰寫報告。
• 游戲輔助：Gemini 2.0能理解游戲屏幕內(nèi)容，實時提供游戲策略和建議。
• 多語言對話和助手服務(wù)：用Gemini 2.0改進對話能力，使用Google搜索、Lens和地圖等工具，增強記憶力和降低延遲，提供個性化服務(wù)。