Link:web-llm
Web LLM 是一個模組化、可定製的 JavaScript 包,可直接將語言模型聊天引入到 Web 瀏覽器中。一切都在瀏覽器內部執行,無需伺服器支援,並且透過 WebGPU 進行加速。它可以為大家構建 AI 助手提供很多有趣的機會,並在享受 GPU 加速時保護隱私。此專案是 MLC LLM 的附屬專案,MLC LLM 可以在 iPhone 和其他本地環境中本地執行 LLM。
需求人群:
"Web LLM 可以用於構建 AI 助手,實現在 Web 瀏覽器上的聊天功能"
產品特色:
將語言模型聊天直接引入到 Web 瀏覽器
一切都在瀏覽器內部執行,無需伺服器支援
透過 WebGPU 進行加速