Web LLM:將大型語言模型和聊天引入到 Web 瀏覽器中

Link:web-llm
Web LLM 是一個模組化、可定製的 JavaScript 包,可直接將語言模型聊天引入到 Web 瀏覽器中。一切都在瀏覽器內部執行,無需伺服器支援,並且透過 WebGPU 進行加速。它可以為大家構建 AI 助手提供很多有趣的機會,並在享受 GPU 加速時保護隱私。此專案是 MLC LLM 的附屬專案,MLC LLM 可以在 iPhone 和其他本地環境中本地執行 LLM。

需求人群:

"Web LLM 可以用於構建 AI 助手,實現在 Web 瀏覽器上的聊天功能"

產品特色:

將語言模型聊天直接引入到 Web 瀏覽器

一切都在瀏覽器內部執行,無需伺服器支援

透過 WebGPU 進行加速

返回頂端