スクレイピングツールは増え続けていますが、成否を左右するのは適切な能力モデルを選べるかどうかです。4つの方式を、アンチボット対応、動的コンテンツ、並行実行コスト、コンプライアンス境界の観点から比較します。
一度動くスクレイピングスクリプトを書くこと自体は難しくありません。難しいのは、何か月も安定して動かし続けることです。数年前より対処すべき要素は増えています。JavaScript で描画されるページ、CAPTCHA、アクセス頻度制限、Cookie の検証、デバイスフィンガープリントなどです。ツールの候補が増えたとき、最初に考えるべきなのは製品名ではなく、自分のタスクがどの能力モデルに属するかです。
純粋な HTTP リクエストライブラリ
ブラウザを起動せず、直接 HTML を取得します。動的コンテンツは基本的に取得できず、スクリプトで描画される部分は空のままになります。強みは並行性とコストで、1台のマシンでも少ないリソースで高い並列度を実現できます。その代わり、アンチボット対応はすべて自前です。ヘッダー、セッション、プロキシ、頻度制御を自分で実装し、対象サイトが検知戦略を変更すれば自分で追随する必要があります。コンプライアンス上の問題も起きやすく、制御されていない高頻度アクセスは対象サイトへ直接負荷をかけ、利用条件に抵触しやすくなります。
ブラウザ自動化フレームワーク
実際のブラウザを操作し、クリック、入力、待機、DOM の読み取りを行います。JS レンダリング、対話フロー、ログインまで含め、動的コンテンツへの対応は最も充実しています。一方、並行実行には明確なコストがあります。各インスタンスがメモリと CPU を消費し、規模が大きくなると、プロセス管理、クラッシュ後の再試行、リソース解放まで自分で実装する必要があります。この運用部分の作業量が、スクレイピングロジックそのものを上回ることも珍しくありません。アンチボット面では実際に描画された結果を取得できますが、自動化フラグや headless モードの痕跡など、自動化特有のシグナルは検知され得るため、別途対処が必要です。コンプライアンスリスクは比較的管理しやすく、主な問題はサイトの利用条件に反する目的で自動化を使う場合に発生します。
環境分離機能を備えたブラウザ
ブラウザ自動化に加え、各スクレイピングIDが独立したブラウザフィンガープリント、Cookies、ローカルストレージ、ネットワーク出口を持ちます。フィンガープリントと IP の位置情報を合わせて設定でき、IP の地域に応じてタイムゾーンと言語も整合させられます。動的コンテンツへの対応は前の方式と同じです。並行実行ではコストが一段増え、環境は必要なときに起動し、処理後すぐ解放しなければなりません。そうしないと、アイドル状態の環境がリソースを消費します。アンチボット面での価値は、IDをきれいに分離し、単一環境の共有による関連付けの可能性を下げることです。スクレイピング速度を上げるものではなく、対象サイトのルールを代わりに処理するものでもありません。コンプライアンス上、分離は複数の正当なIDを相互に干渉させないためのものであり、ルール回避の手段ではありません。PurpleMark はこのカテゴリに属し、各スクレイピングIDに独立した環境を割り当て、ブラウザ環境を分離・集中管理します。
クラウド型スクレイピングサービス
プロキシのローテーション、ページレンダリング、人間・機械判定への対応を1つの API にまとめ、URL を送るとコンテンツが返ってくる形です。動的コンテンツには通常対応していますが、レンダリングは別モードとして、リクエスト単位または利用量で課金されることがよくあります。導入は最も早く、インフラ保守も不要ですが、1リクエストあたりのコストは最も高く、量が増えると主要な支出になります。アンチボット対応は表面的には最も簡単ですが、実際には依存関係に置き換わります。対象サイトが構成や検知戦略を変更しても自分では直接介入できず、事業の進行がベンダーの更新に左右されます。コンプライアンス上の責任も曖昧に見えがちですが、マネージドサービスを使ったからといって、スクレイピング行為の責任が移るわけではありません。
始める前に4つの質問に答える
ログイン状態が必要ですか。必要なら、純粋なリクエストライブラリはほぼ除外できます。地域ごとの視点が必要ですか。必要なら、IP、タイムゾーン、言語を環境内で一体として設定する必要があり、ネットワーク出口だけ変えて内部パラメータを変えない方法にはあまり意味がありません。どの程度の並行規模が必要ですか。数十を超える同時IDを扱うなら、単にマシンを増やすのではなく、環境管理とスケジューリング機能を持つ方式を優先すべきです。データの価値は単位コストをカバーできますか。高価値・小規模ならクラウドサービスも許容できますが、低価値・大規模ならコストを抑えるために自前運用が基本になります。
コンプライアンスの境界
スクレイピングは、対象サイトの robots ルール、利用規約、現地法に従う必要があります。個人情報を収集せず、技術的保護措置を回避せず、相手のサービスの正常な運用を妨げないことが重要です。ID分離は複数の正当なIDを相互に干渉させないためのもので、ルールを回避するためのものではありません。
技術研究と開発実践の共有のみを目的としています。関連技術は必ず合法かつ適切な範囲で使用してください。
