AI AgentにWeb操作を任せる前に、環境とAgentをつなぐ経路を4層で検証します。単一ステップのスモークテスト、複数ステップのタスク、並行負荷テスト、異常注入を行い、各層で見るべき指標を確認します。
デモ環境で一度動いたことと、その経路を毎日安定して使えることは別の話です。
判断するにはテストを分けます。環境は環境の層で、AgentはAgentの層で検証し、最後に両者を接続した状態でも安定するかを確認します。
単一ステップのスモークテスト：4つの操作を個別に実行
スモークテストでは4つだけを行い、連結せず1つずつ独立して試します。指定ページを開く、ページ上の要素を特定する、クリックする、その要素のテキストを取得する、の4つです。すべて通れば、接続、セッション、要素アクセスという基礎部分は機能しています。
4項目だけに絞ると、失敗箇所を狭くできます。ページを開けない場合は、ネットワークの出口やアクセス権が原因であることが多いです。開けても要素を特定できない場合は、読み込み完了前に取得しているか、特定方法が現在のレイアウトに依存しすぎている可能性があります。特定できてもクリックできない場合は、要素が覆われていないか、iframe内にないかを確認します。取得テキストが空なら、初期HTMLではなくレンダリング後の内容を読んでいるかを先に確認します。
ここでは、単一ステップ成功率、単一ステップ所要時間、エラー種別の分布という3つの数値を見ます。スモーク段階ですでに安定しているべきです。単一ステップ成功率が80～90％前後で揺れるだけなら、その後のテストに大きな意味はありません。
複数ステップのタスク：ステップ数より分岐が重要
先ほどの4操作を実タスクとしてつなげます。たとえばフォーム入力、複数ページの移動、条件による絞り込み、結果のローカル書き戻しです。ステップが増えるのは量の変化にすぎず、本当の難しさは分岐です。途中で通知が出る、対象要素が消える、ページが自動遷移する、人の確認が必要な検証に当たる、といった状況です。
ここで見るのはタスク完了率であり、各ステップの成功率ではありません。失敗後にAgentが経路を調整できるか、いつ停止して明確に報告すべきか判断できるかのほうが、最後まで走り切れること以上に重要です。
見落とされやすい指標として、人の介入回数もあります。同じタスクを20回実行したとき、何回介入が必要だったか、毎回どのステップで止まったかは、全体の完了率以上に経路の成熟度を示します。
並行実行と異常注入
単一の経路が安定したら、次に並行実行を加えます。複数の環境で同種のタスクを同時に走らせ、環境同士が干渉しないか、並行数が増えるほど失敗率が悪化しないかを見ます。この段階の失敗は、Agentロジックの誤りではなく、リソースやセッションの圧迫が原因であることがよくあります。
異常注入は最も省略されやすい一方で、特に必要なテストです。タイムアウト、途中での要素消失、セッション期限切れ、CAPTCHA出現を意図的に発生させ、経路の反応を観察します。タイムアウト後に再試行で復旧するのか、それとも停止したままになるのか。セッション期限切れ後に明確なエラーを出すのか、無効な認証情報で処理を続けるのかを確認します。
記録する指標は3つです。並行実行時の失敗率曲線、異常発生後の復旧成功率、1回の異常で増える追加時間です。復旧成功率が低ければ、その経路は条件が良いときにしか安定しません。
環境層は別に検証する
上記のテストは1つの環境内で行いますが、複数環境を同時に使う場合はもう1層を個別に検証する必要があります。各環境が独立して起動でき、自分のセッションとキャッシュを保持し、独自の出口IPにバインドされていることを確認します。
複数アカウントを運用するチームでは、通常アカウントごとに環境を分けて管理します。PurpleMarkのようなツールは環境分離を提供し、各アカウントに独立した実行空間を用意します。テストでは複数環境を並行起動し、Cookie、キャッシュ、出口が相互に混ざらないことを確認します。
この層では、環境起動成功率、環境間のデータ混線（通常はゼロ）、環境を再構築した後にセッションを継続できるか、という3点を見ます。
失敗後の原因切り分け
経路に問題が出たとき、すぐAgentのスクリプトを直すのはよくある誤りです。より適切な順序は、まず環境が起動できるか、セッションが期限切れでないかを確認し、次にネットワーク出口とノードを調べ、最後にAgentの要素特定やタスク計画を疑うことです。順序を逆にすると、誤った場所を何度も修正することになります。
単一ステップの4操作は、原因切り分けの道具でもあります。どの失敗でも、まず4操作を個別にやり直し、どの箇所が最初に切れるかを確認します。多くの場合、その段階で原因が見つかります。
