Bir AI Agent’a web sitelerinde işlem yaptırmadan önce ortam ile Agent arasındaki zinciri dört katmanda doğrulayın: tek adımlı smoke test, çok adımlı görev, eşzamanlılık yük testi ve hata enjeksiyonu; her katmanda izlenecek metrikleri belirleyin.
Bir demo ortamında bir kez başarıyla çalışmak ile aynı zincirin her gün güvenilir biçimde kullanılabilmesi aynı şey değildir.
Sağlıklı bir değerlendirme için testleri ayırmak gerekir: ortamı kendi katmanında, Agent’ı kendi katmanında doğrulayın; ardından ikisi bağlandığında birlikte kararlı kalıp kalmadığını kontrol edin.
Tek adımlı smoke test: dört işlemi ayrı ayrı yapın
Smoke test yalnızca dört işlemi kapsar ve bunlar zincir hâline getirilmeden tek tek denenir: belirli bir sayfayı açmak; sayfada bir öğeyi bulmak; öğeye tıklamak; o öğenin metnini almak. Dördü de geçerse bağlantı, oturum ve öğe erişimi için temel altyapı çalışıyor demektir.
Dört ayrı işlemle sınırlı kalmak hata alanını daraltır. Sayfa açılamıyorsa sorun çoğunlukla ağ çıkışı veya erişim iznidir. Sayfa açılıyor ancak öğe bulunamıyorsa sayfa henüz yüklenmemiş olabilir ya da locator mevcut düzene fazla bağımlıdır. Öğe bulunuyor ancak tıklanamıyorsa üstünün kapalı olup olmadığını veya iframe içinde bulunup bulunmadığını kontrol edin. Dönen metin boşsa önce başlangıç HTML’i yerine render edilmiş içeriği okuduğunuzdan emin olun.
Burada üç sayıyı izleyin: tek adım başarı oranı, tek adım süresi ve hata türlerinin dağılımı. Bunlar smoke aşamasında bile kararlı olmalıdır. Tek adım başarı oranı yalnızca %80–90 civarında dalgalanıyorsa sonraki testlerin anlamı azalır.
Çok adımlı görevler: dallanmalar adım sayısından daha önemlidir
Dört işlemi gerçek bir göreve bağlayın; örneğin form doldurma, birkaç sayfada gezinme, koşullara göre filtreleme ve sonucu yerel olarak geri yazma. Adım sayısının artması yalnızca nicel bir değişikliktir; asıl zorluk dallanmalardır: arada bir uyarı çıkması, hedef öğenin kaybolması, sayfanın kendiliğinden yönlendirmesi veya insan onayı gerektiren bir doğrulama adımıyla karşılaşılması.
Burada ölçülen şey adım başarı oranı değil, görev tamamlama oranıdır. Bir hatadan sonra Agent’ın yolu değiştirebilmesi ve ne zaman durup sorunu açıkça bildirmesi gerektiğini anlayabilmesi, akışı her koşulda sonuna kadar yürütmesinden daha önemlidir.
Kolayca gözden kaçan bir başka sayı insan müdahalesi adedidir. Aynı görev yirmi kez çalıştırıldığında kaç kez müdahale gerektiği ve her seferinde hangi adımda takıldığı, zincirin olgunluğunu genel tamamlama oranından daha iyi gösterebilir.
Eşzamanlılık ve hata enjeksiyonu
Tek bir zincir kararlı hâle geldikten sonra eşzamanlılık ekleyin. Aynı tür görevi yapan birden fazla ortamı aynı anda başlatın ve ortamların birbirini etkileyip etkilemediğini ve eşzamanlılık arttıkça hata oranının kötüleşip kötüleşmediğini gözlemleyin. Bu aşamadaki hatalar çoğu zaman Agent mantığından değil, kaynak veya oturum baskısından kaynaklanır.
Hata enjeksiyonu en sık atlanan testlerden biridir ve aynı zamanda en gerekli olanlardandır. Timeout, işlem sırasında öğenin kaybolması, oturumun süresinin dolması ve CAPTCHA gibi durumları bilinçli olarak oluşturun ve tepkiyi gözlemleyin: timeout sonrasında retry başarılı oluyor mu yoksa süreç takılı mı kalıyor; oturum süresi dolduğunda açık bir hata mı veriliyor yoksa geçersiz kimlik bilgileriyle devam mı ediliyor?
Üç metriği kaydedin: eşzamanlılık altındaki hata oranı eğrisi, hata sonrası kurtarma başarı oranı ve tek bir hatanın eklediği süre. Kurtarma başarı oranı düşükse zincir yalnızca koşullar uygun olduğunda çalışıyordur.
Ortam katmanını ayrı doğrulayın
Yukarıdaki testler tek bir ortamda yapılır; ancak birden fazla ortam birlikte kullanıldığında ek bir katman ayrıca doğrulanmalıdır. Her ortam bağımsız başlamalı, kendi oturumunu ve önbelleğini tutmalı ve kendi egress IP’sine bağlanmalıdır.
Birden fazla hesap işleten ekipler genellikle ortamları hesap bazında ayırır. PurpleMark gibi araçlar, her hesaba bağımsız bir çalışma alanı vermek için ortam izolasyonu sağlar. Testte birkaç ortamı eşzamanlı başlatın ve Cookies, önbellek ve egress’in birbirine karışmadığını doğrulayın.
Bu katmanda üç sayı izlenir: ortam başlatma başarı oranı, ortamlar arası veri karışması (normalde sıfır olmalı) ve ortam yeniden oluşturulduktan sonra oturumun devam edip edememesi.
Hata nedenini nasıl ayırırsınız
Zincirde sorun çıktığında yaygın bir hata hemen Agent betiğini değiştirmektir. Daha doğru sıra, önce ortamın başlayıp başlamadığını ve oturumun süresinin dolup dolmadığını kontrol etmek, sonra ağ çıkışını ve düğümleri incelemek, en son Agent’ın öğe bulma ve görev planlama tarafını sorgulamaktır. Sıra ters çevrilirse yanlış yerde tekrar tekrar değişiklik yapılır.
Tek adımlı smoke testteki dört işlem aynı zamanda neden ayırma aracıdır. Her hata sonrasında bu dört işlemi yeniden ayrı ayrı çalıştırın ve hangi halkanın önce koptuğunu görün. Çoğu zaman cevap bu aşamada ortaya çıkar.
