C++

gemma.cpp是谷歌為Gemma模型開發的輕量級、獨立的C++推理引擎。它專注於為Gemma 2B和7B模型提供簡潔、直接的實現，旨在支援研究和實驗用例，易於嵌入其他專案且具有高度的可修改性。gemma.cpp利用Google Highway庫，最佳化了CPU推理效能。