AI Agent가 웹사이트를 조작하기 전에 환경과 Agent 사이의 전체 경로를 4단계로 검증해야 합니다. 단일 단계 스모크 테스트, 다단계 작업, 동시성 부하 테스트, 장애 주입을 수행하고 각 단계의 핵심 지표를 확인합니다.
데모 환경에서 한 번 성공한 것과 같은 경로를 매일 안정적으로 사용할 수 있는 것은 서로 다른 문제입니다.
판단하려면 테스트를 분리해야 합니다. 환경은 환경 계층에서, Agent는 Agent 계층에서 검증하고, 마지막으로 두 계층을 연결했을 때도 안정적인지 확인합니다.
단일 단계 스모크 테스트: 네 가지 작업을 각각 수행
스모크 테스트는 네 가지 작업만 하며 서로 연결하지 않고 하나씩 독립적으로 실행합니다. 지정한 페이지 열기, 페이지에서 특정 요소 찾기, 클릭하기, 해당 요소의 텍스트 가져오기입니다. 네 가지가 모두 통과하면 연결, 세션, 요소 접근의 기본 인프라는 정상입니다.
네 가지 작업만 따로 검사하면 실패 범위가 좁아집니다. 페이지를 열지 못하면 네트워크 egress나 접근 권한 문제일 가능성이 큽니다. 페이지는 열리지만 요소를 찾지 못하면 로딩이 끝나기 전에 찾았거나 현재 레이아웃에 지나치게 의존하는 locator를 썼을 수 있습니다. 요소는 찾았지만 클릭할 수 없다면 다른 요소에 가려졌는지, iframe 안에 있는지 확인합니다. 가져온 텍스트가 비어 있다면 초기 HTML이 아니라 렌더링된 내용을 읽고 있는지 먼저 확인합니다.
이 단계에서는 단일 단계 성공률, 단일 단계 소요 시간, 오류 유형 분포라는 세 가지 수치를 봅니다. 스모크 단계에서 이미 안정적이어야 합니다. 단일 단계 성공률이 80~90% 정도에서만 오르내린다면 이후 테스트의 의미가 크지 않습니다.
다단계 작업: 단계 수보다 분기가 더 중요
앞의 네 가지 작업을 실제 작업으로 연결합니다. 예를 들어 폼 입력, 여러 페이지 넘기기, 조건별 필터링, 결과를 로컬에 다시 쓰는 작업입니다. 단계가 많아지는 것은 양적인 변화일 뿐이고 진짜 어려움은 분기입니다. 중간에 알림이 뜨거나, 목표 요소가 사라지거나, 페이지가 자동으로 이동하거나, 사람의 확인이 필요한 검증 단계에 걸릴 수 있습니다.
여기서는 단계 성공률이 아니라 작업 완료율을 봅니다. 실패 후 Agent가 경로를 스스로 조정할 수 있는지, 언제 중단하고 문제를 명확히 보고해야 하는지 판단할 수 있는지가 끝까지 실행하는 것보다 더 중요합니다.
또 하나 놓치기 쉬운 수치는 사람의 개입 횟수입니다. 같은 작업을 20번 실행했을 때 몇 번 개입이 필요했는지, 매번 어느 단계에서 막혔는지가 전체 완료율보다 경로의 성숙도를 더 잘 보여줄 수 있습니다.
동시성과 장애 주입
단일 경로가 안정되면 동시성을 추가합니다. 여러 환경에서 같은 유형의 작업을 동시에 실행하면서 환경끼리 서로 간섭하는지, 동시 실행 수가 늘수록 실패율이 악화되는지 봅니다. 이 단계에서 발생하는 실패는 Agent 로직 오류보다 리소스나 세션 압박 때문인 경우가 많습니다.
장애 주입은 가장 자주 생략되지만 반드시 필요한 테스트입니다. timeout, 실행 중 요소 사라짐, 세션 만료, CAPTCHA 발생을 의도적으로 만들고 경로의 반응을 봅니다. timeout 뒤 재시도로 복구되는지 아니면 멈춘 채로 남는지, 세션 만료 뒤 명확한 오류를 내는지 아니면 무효한 자격 증명으로 계속 진행하는지 확인합니다.
세 가지 지표를 기록합니다. 동시성에 따른 실패율 곡선, 장애 발생 후 복구 성공률, 한 번의 장애가 추가하는 소요 시간입니다. 복구 성공률이 낮다면 이 경로는 조건이 좋을 때만 안정적입니다.
환경 계층은 별도로 검증
위 테스트는 하나의 환경 안에서 수행하지만 여러 환경을 함께 사용할 때는 환경 계층을 따로 검증해야 합니다. 각 환경이 독립적으로 시작되고, 자체 세션과 캐시를 유지하며, 각각의 egress IP에 바인딩되어야 합니다.
여러 계정을 운영하는 팀은 보통 계정별로 환경을 분리해 관리합니다. PurpleMark 같은 도구는 환경 격리를 제공해 각 계정에 독립적인 실행 공간을 줍니다. 테스트에서는 여러 환경을 동시에 시작하고 Cookies, 캐시, egress가 서로 섞이지 않는지 확인합니다.
이 계층에서는 환경 시작 성공률, 환경 간 데이터 혼선(정상이라면 0), 환경을 재구성한 뒤 세션이 이어지는지라는 세 가지 수치를 봅니다.
실패 원인 구분 방법
경로에 문제가 생겼을 때 가장 흔한 실수 중 하나는 바로 Agent 스크립트를 수정하는 것입니다. 더 합리적인 순서는 먼저 환경이 시작되는지와 세션이 만료되지 않았는지 확인하고, 다음으로 네트워크 egress와 노드를 점검한 뒤, 마지막에 Agent의 요소 탐색과 작업 계획을 의심하는 것입니다. 순서를 거꾸로 하면 잘못된 곳을 반복해서 수정하게 됩니다.
단일 단계 스모크 테스트의 네 가지 작업은 원인 구분 도구이기도 합니다. 어떤 실패든 네 가지를 다시 각각 실행해 어느 연결이 먼저 끊기는지 확인합니다. 대부분은 이 단계에서 원인을 찾을 수 있습니다.
