連結:https://blog.google/technology/developers/google-gemma-2/
Gemma 2是谷歌DeepMind推出的下一代開源AI模型,提供9億和27億引數版本,具有卓越的效能和推理效率,支援在不同硬體上以全精度高效執行,大幅降低部署成本。Gemma 2在27億引數版本中,提供了兩倍於其大小模型的競爭力,並且可以在單個NVIDIA H100 Tensor Core GPU或TPU主機上實作,顯著降低部署成本。
需求人群:
“Gemma 2的目標受眾是研究人員和開發者,他們需要高效能且易於整合式AI模型來構建和部署各種應用。無論是在學術研究還是商業產品開發中,Gemma 2都能提供所需的工具和資源,以負責任和高效的方式推進AI技術的發展。”
使用場景示例:
Navarasa利用Gemma建立了基於印度語言多樣性的模型。
開發者可以使用Gemma 2進行檢索增強型生成等常見任務。
學術研究人員可以申請Gemma 2 Academic Research Program,以獲得Google Cloud積分來加速研究。
產品特色:
提供9億和27億引數大小的模型,滿足不同需求。
在27億引數版本中,效能可與兩倍於其大小的模型競爭。
設計用於在Google Cloud TPU、NVIDIA A100和H100 GPU上高效執行。
與Hugging Face、NVIDIA和Ollama等合作伙伴輕鬆整合。
支援主要AI框架,如Hugging Face Transformers、JAX、PyTorch和TensorFlow。
透過Google Cloud的Vertex AI輕鬆部署和管理。
遵循內部安全流程,進行資料過濾和全面測試,以辨識和減輕潛在偏見和風險。
使用教學:
訪問Google AI Studio,無需硬體要求即可測試Gemma 2的27億引數版本。
從Kaggle和Hugging Face Models下載Gemma 2的模型權重。
使用Vertex AI Model Garden進行部署和管理(即將推出)。
利用Keras和Hugging Face進行微調。
透過Gemma Cookbook學習如何使用Gemma 2構建應用和微調模型。
使用Responsible Generative AI Toolkit和LLM Comparator進行負責任的AI開發和模型評估。
對於Hugging Face Transformer使用者,微調Gemma 2時需要使用支援注意力軟封頂的_eager_注意力實作。