firecrawl-scraper

此技能提供與 Firecrawl API 的強大整合，專為需要從複雜網站提取高保真數據的 AI 代理設計。它超越了簡單的 HTML 抓取，能夠處理依賴 JavaScript 的頁面、模擬瀏覽器互動（如點擊與滾動），並將網頁內容轉換為 Markdown 或純文字等結構化格式。對於需要進行自動化研究、內容聚合或全站爬取的工程師、研究人員和數據分析師而言，這是無需構建自定義無頭瀏覽器架構的關鍵工具。

• 深度內容提取：將完整網頁轉換為適合大語言模型的 Markdown 或結構化數據對象。

• 瀏覽器模擬：執行 JavaScript，處理滾動、點擊，並等待動態內容載入後再進行提取。

• 視覺與文檔處理：直接從網頁生成高品質截圖並解析複雜的 PDF 文件。

• 批次作業：高效並發抓取多個 URL，以構建用於訓練、分析或監控的數據集。

• 結構化輸出：返回針對檢索增強生成 (RAG) 管線優化的乾淨、無雜訊文本。

• 使用說明：在開始調用前，請確保您的 Firecrawl API 金鑰已安全存儲在環境變量中。

• 輸入：需要目標 URL 以及用於互動的選用參數（等待時間、點擊選擇器、截圖設定）。

• 約束：遵守 robots.txt 與網站服務條款；在爬取大型網域時確保適當的速率限制，以避免 IP 被封禁。

• 故障排除：如果頁面渲染失敗或內容遺失，請檢查瀏覽器互動參數，確保選擇器能正確定位動態元素。

• 整合：最適宜與研究型工具或自動化爬取工作流結合使用。