資料擷取工具比較：四類路線與反爬應對成本

寫一個能跑通的擷取腳本不難，難的是讓它跑上幾個月仍然穩定。現在要處理的事情比幾年前更多：JavaScript 渲染的頁面、驗證碼、存取頻率限制、Cookie 驗證、裝置指紋辨識。當工具清單越拉越長時，第一個問題不是選哪一款，而是你的任務屬於哪一類能力路線。

純 HTTP 請求函式庫

直接發送請求取得 HTML，不啟動瀏覽器。動態內容基本拿不到，靠腳本渲染的頁面部分通常是空的。它的優勢是併發與成本，單機可以拉到很高的併發，資源占用最低。代價是反爬必須全部自己處理：請求標頭、工作階段、代理與頻率控制都得自己寫；目標網站一旦升級偵測策略，也要由你自行跟進。合規上最容易出問題，沒有節制的高頻請求會直接對目標網站造成壓力，也最容易踩到服務條款。

瀏覽器自動化框架

驅動真實瀏覽器，進行點擊、輸入、等待並讀取 DOM。對動態內容的支援最完整，JS 渲染、互動流程與登入都能涵蓋。併發需要付出實際成本，每個執行個體都會消耗記憶體與 CPU；規模上來之後，程序管理、當機重試與資源回收都得自己實作，這部分工作量常常超過擷取邏輯本身。反爬方面，拿到的是真實渲染結果，但自動化特徵本身仍可能被辨識，例如自動化標誌或 headless 模式的痕跡，需要另外處理。合規風險相對可控，主要問題出現在把自動化用於違反網站條款的用途。

具備環境隔離能力的瀏覽器

在瀏覽器自動化基礎上，每個擷取身分擁有獨立的瀏覽器指紋、Cookies、本機儲存空間與網路出口。指紋可與 IP 地理資訊配套設定，IP 位於哪個地區，時區與語言就對應到該地區。動態內容支援與上一類相同。併發成本多了一層：環境應按需啟動，執行完就釋放，否則資源會被一批閒置環境占用。反爬方面，它的價值是把身分隔離得更乾淨，降低因環境單一而被關聯的機率，但它不會提高擷取速度，也不會替你處理目標網站的規則。合規上，隔離解決的是多個合法身分彼此不干擾，而不是繞過規則。PurpleMark 屬於這一類，提供瀏覽器環境的隔離與集中管理，每個擷取身分對應一個獨立環境。

雲端擷取服務

把代理輪替、頁面渲染與人機驗證處理包成一個 API；你送出一個網址，它回傳一段內容。通常支援動態內容，但渲染往往是獨立模式，按次或按用量計費。它上手最快，不需要維護基礎設施，但單次請求成本最高，量一大就會成為主要支出。反爬應對表面上最省事，實際上只是轉換成依賴：當目標網站改版或升級辨識策略時，你無法自行介入，只能等供應商更新，業務節奏因而受制於供應商。合規責任也容易變得模糊，但使用託管服務並不會轉移擷取行為本身的責任。

動手之前先回答四個問題

需要登入狀態嗎？需要的話，純請求函式庫基本可以排除。需要地區視角嗎？需要的話，環境要能把 IP、時區與語言配套綁定；只換出口、不改內部參數的意義不大。併發規模多大？超過幾十個同時身分後，應優先考慮具備環境管理與排程能力的路線，而不是單純增加機器硬撐。資料價值能覆蓋單位成本嗎？高價值、小批量時，雲端服務可以接受；大批量、低價值時，通常只能自建來壓低成本。

合規邊界

擷取行為應遵守目標網站的 robots 規則、服務條款與當地法律，不蒐集個人資訊、不繞過技術保護措施，也不影響對方服務的正常運作。身分隔離解決的是多個合法身分之間如何互不干擾，不是如何規避規則。

僅供技術研究與開發實務分享，請在合法合規的前提下使用相關技術。