crawler

Crawlee 是一個用於構建可靠爬蟲的 Python 網路爬蟲和瀏覽器自動化庫，提取資料用於AI、LLMs、RAG或GPTs。它提供了統一的接口來處理 HTTP 和無頭瀏覽器爬取任務，支援自動並行爬取，基於系統資源進行調整。Crawlee 用 Python 編寫，包含型別提示，增強了開發體驗並減少了錯誤。它具備自動重試、整合代理輪換和會話管理、可配置的請求路由、持久化 URL 佇列、可插拔的儲存選項等功能。