谷歌推出的原生多模態輸入輸出 + Agent 為核心的AI模型

AI工具9個月前發布 AI工具集

607 0 0

產品名稱：Gemini 2.0
產品簡介：Gemini 2.0是谷歌最新推出的原生多模態輸入輸出的AI模型。Gemini 2.0 Flash是2.0家族第一個模型，以多模態輸入輸出和Agent技術為核心，速度比 1.5 Pro快兩倍，關鍵性能指標超過 1.5 Pro。模型支持原生工具調用和實時音視頻流輸入，提供文本、音頻和圖像的集成響應，具備多語言音頻輸出能力。
詳細介紹：

Gemini 2.0是什么

Gemini 2.0是谷歌最新推出的原生多模態輸入輸出的AI模型。Gemini 2.0 Flash是2.0家族第一個模型，以多模態輸入輸出和Agent技術為核心，速度比 1.5 Pro快兩倍，關鍵性能指標超過 1.5 Pro。模型支持原生工具調用和實時音視頻流輸入，提供文本、音頻和圖像的集成響應，具備多語言音頻輸出能力。Gemini 2.0致力于構建自主理解、規劃和執行任務的智能助手，谷歌基于Gemini 2.0推出了Jules、Colab數據科學代理等原型，展現在編程、數據分析等領域的應用潛力。Gemini 2.0 Flash 及API目前免費提供，基于 Google AI Studio 和 Vertex AI 中的 Gemini API 使用，每分鐘最多15個提問，每天最多1500個提問，計劃于明年開放更多模型尺寸和功能。

谷歌推出的原生多模態輸入輸出 + Agent 為核心的AI模型

Gemini 2.0的主要功能

原生多模態輸入輸出：支持圖像、視頻、音頻等多種數據類型的輸入與輸出。
增強的性能：在關鍵基準測試中，Gemini 2.0 Flash的性能超越前代產品Gemini 1.5 Pro，速度達到Gemini 1.5 Pro的兩倍。
全新的輸出模態：支持文本、音頻和圖像的集成響應，包括多語言原生音頻輸出和原生圖像輸出。
原生工具使用：直接調用Google搜索、代碼執行等工具，能基于函數調用使用自定義的第三方函數。
多模態實時API：支持實時音視頻流輸入，進行語音活動檢測，能集成多個工具完成復雜任務。
AI“代理”應用：基于Gemini 2.0 ，谷歌正在探索AI“代理”的應用，打造能自主理解、規劃和執行任務的智能助手，如Jules（編程助手）、Project Astra（多模態助手）等。

Gemini 2.0的技術原理

機器學習和深度學習算法：Gemini 2.0基于最新的機器學習和深度學習算法，提升神經網絡的結構和效率。
自然語言處理（NLP）：在自然語言處理領域表現出色，讓Gemini 2.0能更好地理解和生成自然語言。
定制硬件支持：基于谷歌定制的硬件第六代TPU Trillium構建，為Gemini 2.0的培訓和推理提供100%算力支持。
全棧式AI創新研究：得益于谷歌長達10年的全棧式AI創新研究的投入，Gemini 2.0在技術前沿領域展現出卓越的性能。

基于Gemini 2.0的AI代理

Project Astra：
- 多模態智能體，能進行多語言和混合語言對話，理解不同口音和生僻單詞。
- 基于Gemini 2.0，Project Astra能使用Google Search、Google Lens和Google Maps。
- 增強記憶能力，能記住長達10分鐘的會話內容，提供個性化服務。
- 改進語音回復的延遲，能用接近人類對話的速度理解語言。
Project Mariner：
- 早期研究原型，探索人機交互的未來，從瀏覽器開始。
- 能理解和推理瀏覽器頁面中的信息，包括像素和文本、代碼、圖像和表單等網頁元素。
- 基于Chrome擴展程序使用為用戶完成任務。
Jules：AI驅動的編碼智能體，直接集成到GitHub工作流中。用戶用自然語言描述問題，Jules能生成可直接合并到項目中的代碼。
游戲智能體：
- 基于Gemini 2.0構建的智能體，根據屏幕上的實時畫面分析游戲情況，為用戶提供行動建議。
- 正在與游戲開發商如Supercell合作，在《部落沖突》和《海島奇兵》等游戲中測試這些智能體。