連結：https://github.com/addyosmani/chatty
Chatty是一個利用WebGPU技術在瀏覽器中本地且私密地執行大型語言模型(LLMs)的私人AI聊天工具。它提供了豐富的瀏覽器內AI體驗，包括本地資料處理、離線使用、聊天曆史管理、支援開源模型、響應式設計、直觀UI、Markdown和程式碼高亮顯示、檔案聊天、自訂記憶體支援、匯出聊天記錄、語音輸入支援、重新生成響應以及明暗模式切換等功能。
需求人群：
- Chatty適合需要隱私保護、希望在本地處理資料、需要離線使用AI聊天功能、對開源模型有興趣、需要在不同設備上使用聊天工具、需要管理聊天曆史、需要檔案聊天功能以及希望有個性化響應的使用者。
使用場景示例：
- 使用Chatty與Gemma模型進行日常對話。
- 在沒有網際網路的情況下，使用Chatty的離線功能進行資訊查詢。
- 利用Chatty的檔案聊天功能，向模型諮詢特定文檔的問題。
產品特色：
- 瀏覽器內隱私：所有AI模型在本地執行，確保資料只在您的電腦上處理。
- 離線使用：初始模型下載後，無需網際網路連線即可使用。
- 聊天曆史：訪問和管理您的對話歷史。
- 支援新開源模型：支援與Gemma、Llama2 & 3和Mistral等流行開源模型聊天。
- 響應式設計：如果行動電話支援WebGL，可以在行動電話上使用Chatty。
- 直觀UI：受Gemini和ChatGPT等流行AI介面啟發，提升使用者體驗。
- Markdown和程式碼高亮：Markdown訊息將如此顯示，包含程式碼的訊息將被高亮。
- 檔案聊天：載入檔案並詢問模型相關問題，完全在地化。
- 自訂記憶體支援：新增自訂指令/記憶體以獲得更個性化的響應。
- 匯出聊天記錄：生成並儲存聊天訊息為json或markdown格式。
- 語音輸入支援：使用語音互動與模型互動。
- 重新生成響應：快速重新生成響應，無需重寫提示。
- 明暗模式：在明暗模式間切換。
使用教學：
訪問Chatty的GitHub頁面或官方網站。
根據頁面指示，克隆倉庫或直接在網站上體驗應用。
如果選擇本地執行，確保全裝了Node.js 和 npm。
按照安裝說明，克隆倉庫到本地目錄，安裝依賴並啟動開發伺服器。
訪問localhost:3000，開始與Chatty進行聊天。