Agent Browser, önceden kodlanmış adımları izlemek yerine bir modelin web sayfasında nasıl ilerleyeceğine karar vermesini sağlar. Temel farklar kararın kim tarafından verildiği, sayfanın nasıl anlaşıldığı, eylemlerin nasıl uygulandığı ve bugünkü pratik sınırlarındadır.
Betiklerle tarayıcı otomasyonu tanıdık bir yöntemdir: öğeleri bulursunuz, yolları yazarsınız, hata yönetimi eklersiniz ve sayfa değişene kadar sistem oldukça kararlı çalışır. Değişiklik kritik bir noktaya denk gelirse tüm betiği yeniden yazmak gerekebilir; çünkü kod belirli bir yapıyı tanır ve en kolay değişen şey de çoğu zaman yapının kendisidir.
Agent Browser farklı bir yaklaşım kullanır. Modelin sayfa içeriğine bakıp bir sonraki adımın ne olacağına karar vermesini sağlar. Bu nedenle tasarım değişikliklerine karşı da daha az hassastır.
Fark 1: Sonraki adıma kim karar verir
Geleneksel bir betikte yolu insan yazar. Önce nereye tıklanacağı, sonra ne doldurulacağı ve ne kadar bekleneceği önceden belirlenir. Çalışma sırasında betik yalnızca bu talimatları uygular.
Agent Browser kararı modele bırakır. Siz hedefi tanımlarsınız; örneğin belirli bir kaynaktaki içeriği bazı koşullara göre tabloya dönüştürmek. Hangi sayfanın açılacağı, önce filtreleme mi yoksa sayfalama mı yapılacağı ve bir açılır pencerenin nasıl ele alınacağı çalışma sırasında hesaplanır.
Bu fark kolayca küçümsenebilir. Bakım maliyeti kod yazmaktan gereksinimleri açık ifade etmeye kayar. Teknik zorluk azalır, ancak hedefi doğru anlatmanın önemi artar.
Fark 2: Sayfada ne olduğunu nasıl anlar
Betikler öğeleri seçicilerle tanır. XPath ve CSS seçicileri bir düğümün yapı içindeki konumunu gösterir. Konum değişirse seçici çalışmaz.
Agent Browser ise sayfanın yapısal bilgisini veya ekran görüntüsünü modele gönderir. Model bunun giriş düğmesi, şunun arama kutusu ve diğer alanın ürün fiyatı olduğuna karar verir. Koordinatlardan çok anlama dayanır.
Bunun gerçek bir maliyeti vardır. Modelin sayfayı anlaması için DOM yapısı veya ekran görüntüleri gönderilmelidir; sayfa karmaşıklaştıkça gönderilecek veri de artar. Uzun görevlerde bu gider küçümsenemez. Ayrıca her adım model çıkarımının dönmesini bekler, bu yüzden toplam süreç sabit kodlanmış bir betikten belirgin şekilde daha yavaştır.
Fark 3: Eylemler nasıl uygulanır
Karar verildikten sonra eylemin gerçekten yapılması gerekir. Bu tür araçlar tarayıcı özelliklerini genellikle çağrılabilir eylemler olarak paketler: sayfa açma, tıklama, form doldurma, giriş yapma, dosya yükleme, kaydırma veya sayfalama ve veri çıkarma. Model hangi eylemin hangi parametrelerle çağrılacağını üretir. Tarayıcı bunu uygular ve sonucu sonraki tur için giriş olarak modele geri gönderir.
Görevi parçalara ayırma ve hata düzeltme de bu katmanda gerçekleşir. Bir hedef birkaç adıma bölünür ve sırayla uygulanır. Model yanlış yola girdiğini fark ederse hemen hata verip durmak yerine başka bir giriş noktasını deneyebilir. Bu özellik, yapısı düzensiz sayfalarda özellikle önemlidir; tamamlanma oranı büyük ölçüde kurtarma davranışına bağlıdır.
Bugün ne kadarını yapabiliyor
Belirliliği yüksek ve adımları açık görevler artık gerçekleştirilebiliyor: koşullara göre herkese açık bilgileri toplamak ve yapılandırılmış veriye dönüştürmek; kendi sistemlerinizde tekrarlı veri girişi ve biçimlendirilmiş gönderim yapmak; ya da belirli bir sayfayı izleyip fiyat, stok veya duyuru değiştiğinde bildirim vermek. Bu senaryoların ortak noktası yolun tahmin edilebilir olması, hataların yeniden denenebilmesi ve sonucun bir insan tarafından kontrol edilebilmesidir.
Hâlâ kararsız olduğu yerler
Sorunlar en kolay semantik anlamlandırma gereken yerlerde ortaya çıkar. Bir düğmeye tıklanıp tıklanmayacağına karar vermek için modelin önce iş bağlamındaki anlamını kavraması gerekir. Sayfa yapısı karmaşık olduğunda veya metin alışılmadık biçimde yazıldığında yanlış değerlendirmeler görülür: yanlış giriş noktası seçilir ya da yanlış alan çekilir. Akış ne kadar derinse hataların birikmesi o kadar kolaydır. Başlangıçtaki küçük bir sapma daha sonra düzeltilemez hâle gelebilir.
Güçlü engelleme içeren senaryolar daha da zordur. CAPTCHA'lar, risk kontrolü engelleri ve süresi dolan oturumlar modelden çok temel ortama bağlıdır. Model ne kadar akıllı olursa olsun reddedilen bir isteği başarılı hâle getiremez. Bulutta barındırılan yürütme ve hizmet sağlayıcı tarafından yönetilen proxy'ler bunun bir bölümünü çözebilir, ancak kullanıma bağlı maliyet ve üçüncü taraf altyapıya bağımlılık getirir.
Araç seçerken bakılması gerekenler
Yürütmenin izlenip yeniden oynatılabilmesi sıkça gözden kaçar, ancak bir sorun çıktığında teşhis için en önemli yöntemdir. Hata düzeltme biçimine de bakın: araç hata verip duruyor mu, yoksa başka bir yol mu deniyor? Model seçiminin ve maliyetlerin kontrol edilip edilemediğini değerlendirin; uzun görevler genellikle beklenenden daha pahalıdır. Özel araç ve akışların bağlanıp bağlanamadığını ve son olarak oturum açma durumunun nasıl korunduğunu kontrol edin. Oturum kaybolduğu için her şeyi yeniden yapmak oldukça can sıkıcıdır.
Kullanmadan önce kuralları netleştirin
Teknik olarak yapılabilen bir şey, izin verilen bir şey olmak zorunda değildir. Önce hedef platformun hizmet şartlarının otomatik erişime izin verip vermediğini ve istek sıklığının hizmet üzerinde baskı oluşturup oluşturmayacağını kontrol edin. Bu tür araçlarla toplu hesap açmak veya kazanç karşılığında platform görevlerini otomatik yürütmek platform kurallarını ihlal eder. Platformlar işlem ritmini, davranış yollarını ve ortam tutarlılığını tespit etmede giderek gelişiyor; yaptırım uygulandığında çoğu zaman bir grup hesap birlikte etkileniyor.
Görevin kendisi kurallara uygunsa ancak birden fazla hesabın oturum durumlarının birbirinden ayrılması gerekiyorsa ortam izolasyonu önem kazanır. PurpleMark örneğin bağımsız ortamlar sağlar; böylece her hesabın oturumu ve depolaması diğerlerinden görünmez olur.
Pratik bir doğrulama yöntemi, iyi bildiğiniz ve adımları net küçük bir görev seçmek, aracı baştan sona çalıştırmak, sonucu manuel yapılan işle karşılaştırmak, hata olduğunda nasıl tepki verdiğini not etmek ve gerçek süreyi hesaplamaktır. Küçük bir görev sorunsuz çalışıyorsa kapsam daha sonra genişletilebilir. İlk günden tüm süreci otomatikleştirmeye çalışmak çoğu zaman aradaki bir adımda takılmayla sonuçlanır.
