Farfalle是一個開源的AI驅動搜尋引擎，它允許使用者執行本地大型語言模型(LLMs)或使用雲模型。它是基於Perplexity克隆的，可以與多種技術棧整合，如Next.js前端、FastAPI後端、Tavily搜尋API等。它還提供了自訂設定的文檔和演示影片，以幫助使用者快速開始。
連結：https://www.farfalle.dev
需求人群：
Farfalle適合開發者和技術人員，特別是那些對AI驅動搜尋技術感興趣的人。它提供了一個開源的解決方案，使得個人和企業能夠利用大型語言模型來增強搜尋能力，無論是本地還是雲端部署。
使用場景示例：
- 開發者可以利用Farfalle建立個性化的AI搜尋引擎。
- 企業可以部署Farfalle來提供內部搜尋服務，提高員工的工作效率。
- 教育機構可以利用Farfalle作為教學工具，幫助學生更好地獲取資訊。
產品特色：
- 支援本地執行大型語言模型如llama3、gemma、mistral。
- 支援雲模型，如Groq/Llama3、OpenAI/gpt4-o。
- 提供Docker部署設定，方便使用者部署。
- 整合了Tavily搜尋API，無需外部依賴。
- 使用Logfire進行日誌記錄。
- 使用Redis進行速率限制。
- 提供詳細的自訂設定文檔。
使用教學：
- 首先，確保全裝了Docker和Ollama（如果執行本地模型）。
- 下載支援的模型之一：llama3、mistral或gemma。
- 啟動Ollama伺服器：ollama serve。
- 獲取Tavily、OpenAI（可選）和Groq（可選）的API金鑰。
- 克隆Farfalle倉庫到本地。
- 在.env檔案中新增必要的環境變數。
- 使用Docker Compose執行容器。
- 訪問http://localhost:3000來檢視應用程式。