Farfalle:開源AI搜尋引擎,支援本地或雲LLMs

Farfalle是一個開源的AI驅動搜尋引擎,它允許使用者執行本地大型語言模型(LLMs)或使用雲模型。它是基於Perplexity克隆的,可以與多種技術棧整合,如Next.js前端、FastAPI後端、Tavily搜尋API等。它還提供了自訂設定的文檔和演示影片,以幫助使用者快速開始。

連結:https://www.farfalle.dev

需求人群:

Farfalle適合開發者和技術人員,特別是那些對AI驅動搜尋技術感興趣的人。它提供了一個開源的解決方案,使得個人和企業能夠利用大型語言模型來增強搜尋能力,無論是本地還是雲端部署。

使用場景示例:

  • 開發者可以利用Farfalle建立個性化的AI搜尋引擎。
  • 企業可以部署Farfalle來提供內部搜尋服務,提高員工的工作效率。
  • 教育機構可以利用Farfalle作為教學工具,幫助學生更好地獲取資訊。

產品特色:

  • 支援本地執行大型語言模型如llama3、gemma、mistral。
  • 支援雲模型,如Groq/Llama3、OpenAI/gpt4-o。
  • 提供Docker部署設定,方便使用者部署。
  • 整合了Tavily搜尋API,無需外部依賴。
  • 使用Logfire進行日誌記錄。
  • 使用Redis進行速率限制。
  • 提供詳細的自訂設定文檔。

使用教學:

  • 首先,確保全裝了Docker和Ollama(如果執行本地模型)。
  • 下載支援的模型之一:llama3、mistral或gemma。
  • 啟動Ollama伺服器:ollama serve。
  • 獲取Tavily、OpenAI(可選)和Groq(可選)的API金鑰。
  • 克隆Farfalle倉庫到本地。
  • 在.env檔案中新增必要的環境變數。
  • 使用Docker Compose執行容器。
  • 訪問http://localhost:3000來檢視應用程式。
返回頂端