連結：https://crawlee.dev/python/
Crawlee是一個用於構建可靠網路爬蟲的Python庫。它由專業的網路爬蟲開發者構建，每天用於抓取數百萬頁面。Crawlee支援JavaScript渲染，無需重寫程式碼即可輕鬆切換到瀏覽器爬蟲。此外，它還提供自動擴充和代理管理功能，能夠基於系統資源智慧管理並輪換代理，丟棄那些經常超時或返回網路錯誤的代理。
需求人群：
- Crawlee for Python適用於需要進行大規模網路資料抓取的開發者和資料科學家。它透過提供快速、可靠的爬蟲構建方式，幫助使用者高效地獲取和處理網路資料，尤其適合需要處理JavaScript渲染或需要高度自訂爬蟲行為的場景。
使用場景示例：
- 社交媒體資料抓取，用於市場分析和使用者行為研究。
- 電子商務網站的產品資訊抓取，用於價格比較和庫存監控。
- 資訊網站內容抓取，用於內容聚合和資訊分析。
產品特色：
- 使用現代Python編寫，包含型別提示，提供IDE中的程式碼自動完成功能。
- 基於Playwright構建，可在3行程式碼內將爬蟲從HTTP切換到無頭瀏覽器。
- 支援Chrome、Firefox等多種瀏覽器。
- 自動管理並輪換代理，智慧丟棄表現不佳的代理。
- 提供CLI工具，快速建立新專案並新增樣板程式碼。
- 支援資料提取和資料集匯出功能，方便資料管理和分析。
使用教學：
1. 安裝Crawlee和Playwright：使用pip安裝Crawlee，並執行playwright install安裝瀏覽器二進位制檔案。
2. 使用CLI建立新專案：透過pipx run crawlee create my-crawler命令建立新的爬蟲專案。
3. 編寫爬蟲邏輯：在專案中編寫爬蟲邏輯，包括請求處理、資料提取和代理管理。
4. 執行爬蟲：使用asyncio執行main函式，開始爬取指定的URLs。
5. 資料處理：爬蟲執行結束後，可以匯出資料集到JSON檔案或直接使用資料。
6. 最佳化和維護：根據需要調整爬蟲引數，最佳化代理使用策略，維護爬蟲的穩定性和效率。