Gemma 2

Gemma 2是谷歌DeepMind推出的一款先進開源人工智能模型，提供90億和270億參數的兩個版本。該模型以卓越的性能、高效的推理速度以及廣泛的硬件兼容性而聞名，能夠與更大參數模型（如Llama 3、Claude 3 Sonnet）相抗衡。Gemma 2旨在便于開發者集成，支持多種AI框架，并通過Google Cloud、Kaggle和Hugging Face等平臺免費提供。

Gemma 2是什么

Gemma 2是谷歌DeepMind推出的新一代開源人工智能模型，擁有90億（9B）和270億（27B）參數的版本。憑借其出色的性能和高效的推理速度，Gemma 2在諸多應用中展現了與更大參數模型相媲美的能力。該模型設計簡便，易于融入開發者的工作流程，支持多種AI框架，并通過多個平臺供用戶免費使用。

Gemma 2

主要功能

參數規模：Gemma 2提供90億和270億參數版本，適應不同的應用需求和資源條件。此外，后續計劃推出26億參數（2.6B）模型。
卓越性能：270億參數的Gemma 2在性能上能夠與參數數量超過其兩倍的模型相媲美。在LMSYS Chatbot Arena中，270億參數的Gemma 2指令微調模型成功擊敗700億參數的Llama 3，并超越Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，成為開源權重模型中的佼佼者。
高效推理：Gemma 2經過特別優化，能夠在單個高性能GPU或TPU上以全精度運行，且無需額外硬件資源，從而顯著降低了使用成本。
廣泛的硬件兼容性：Gemma 2能夠在多種硬件平臺上快速運行，包括個人電腦、工作站、游戲筆記本和云服務器等。
開放許可：Gemma 2采用商業友好的許可協議，允許開發者和研究人員分享、使用及商業化其應用。
框架支持：Gemma 2與主流AI框架兼容，如Hugging Face Transformers、JAX、PyTorch和TensorFlow，使開發者可以根據個人偏好選擇合適的工具。
部署工具：谷歌推出了Gemma Cookbook，這是一個包含實用示例和指南的資源庫，幫助用戶構建應用和微調Gemma 2模型。
負責任的AI：谷歌提供了一系列工具和資源，如Responsible Generative AI Toolkit和LLM Comparator，以支持開發者和研究人員以負責任的方式構建和部署AI。

如何使用Gemma 2

Gemma 2能夠與用戶的日常工具和工作流程無縫集成，兼容Hugging Face Transformers、JAX、PyTorch和TensorFlow等主流AI框架。用戶可以通過原生Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama進行操作。此外，Gemma 2還通過NVIDIA TensorRT-LLM進行了優化，可以在NVIDIA的加速基礎設施上運行，或者作為NVIDIA NIM推理微服務使用，并將針對NVIDIA的NeMo進行優化。

目前，Gemma 2已在Google AI Studio中推出，用戶可以在無需硬件要求的情況下以27B的速度測試其全部性能。開發者也可以從Kaggle和Hugging Face Models下載Gemma 2的模型權重，而Vertex AI Model Garden也即將推出。

為方便研究和開發，Gemma 2還可以通過Kaggle或Colab筆記本免費使用。首次使用Google Cloud的用戶可獲得300美元的信用額度。學術研究人員可以申請Gemma 2學術研究計劃，以獲得Google Cloud信用額度，助力他們的研究進展。申請開放時間為即日起至8月9日。

閱讀原文