連結:https://github.com/addyosmani/chatty
Chatty是一個利用WebGPU技術在瀏覽器中本地且私密地執行大型語言模型(LLMs)的私人AI聊天工具。它提供了豐富的瀏覽器內AI體驗,包括本地資料處理、離線使用、聊天曆史管理、支援開源模型、響應式設計、直觀UI、Markdown和程式碼高亮顯示、檔案聊天、自訂記憶體支援、匯出聊天記錄、語音輸入支援、重新生成響應以及明暗模式切換等功能。
需求人群:
- Chatty適合需要隱私保護、希望在本地處理資料、需要離線使用AI聊天功能、對開源模型有興趣、需要在不同設備上使用聊天工具、需要管理聊天曆史、需要檔案聊天功能以及希望有個性化響應的使用者。
使用場景示例:
- 使用Chatty與Gemma模型進行日常對話。
- 在沒有網際網路的情況下,使用Chatty的離線功能進行資訊查詢。
- 利用Chatty的檔案聊天功能,向模型諮詢特定文檔的問題。
產品特色:
- 瀏覽器內隱私:所有AI模型在本地執行,確保資料只在您的電腦上處理。
- 離線使用:初始模型下載後,無需網際網路連線即可使用。
- 聊天曆史:訪問和管理您的對話歷史。
- 支援新開源模型:支援與Gemma、Llama2 & 3和Mistral等流行開源模型聊天。
- 響應式設計:如果行動電話支援WebGL,可以在行動電話上使用Chatty。
- 直觀UI:受Gemini和ChatGPT等流行AI介面啟發,提升使用者體驗。
- Markdown和程式碼高亮:Markdown訊息將如此顯示,包含程式碼的訊息將被高亮。
- 檔案聊天:載入檔案並詢問模型相關問題,完全在地化。
- 自訂記憶體支援:新增自訂指令/記憶體以獲得更個性化的響應。
- 匯出聊天記錄:生成並儲存聊天訊息為json或markdown格式。
- 語音輸入支援:使用語音互動與模型互動。
- 重新生成響應:快速重新生成響應,無需重寫提示。
- 明暗模式:在明暗模式間切換。
使用教學:
訪問Chatty的GitHub頁面或官方網站。
根據頁面指示,克隆倉庫或直接在網站上體驗應用。
如果選擇本地執行,確保全裝了Node.js 和 npm。
按照安裝說明,克隆倉庫到本地目錄,安裝依賴並啟動開發伺服器。
訪問localhost:3000,開始與Chatty進行聊天。