Oturum açılarak yapılan veri toplama çoğu zaman birden fazla hesap gerektirir ve kısıtlamaların nedeni her zaman betiğin kendisi değildir. İlişkilendirme riskini cihaz özellikleri, ağ çıkışı, oturum durumu ve istek ritmi olarak ayırmak hangi değişkenlerin gerçekten kontrol edilebildiğini netleştirir.
E-ticaret veri toplama genel olarak iki türe ayrılır: giriş gerektirmeyen herkese açık sayfaların toplanması ve oturum açılmış halde veri toplanması; örneğin rakiplerin arka ofis verilerini görüntülemek veya kişiselleştirme sonrasında gösterilen sonuçları almak.
İlk türde çoğu zaman frekansı kontrol etmek yeterlidir. İkinci tür birden fazla hesap içerdiğinde, başarı artık betiğin ne kadar akıllı olduğundan çok bu hesapların birbirinden bağımsız biçimde var olup olamadığına bağlıdır. Bu katman doğru kurulmazsa hız sınırlamaları ve engellemeler rastgele görünür; betiği değiştirmek, frekansı düşürmek veya seçicileri yenilemek sorunu çözmez.
Risk nereden gelir?
Platformlar birkaç hesabın aynı tarafça yönetilip yönetilmediğini çapraz kontrollerle değerlendirir: ağ adresleri, tarayıcı ve cihaz özellikleri, Cookie ve oturum verileri ile kullanım kalıpları. Bu kategorilerden herhangi birinde yüksek benzerlik, hesapların aynı operatör altında gruplandırılmasına yol açabilir.
Burada açık bir sınır çizmek gerekir. Tespit mantığı sürekli güncellenir; geçici yöntemlerle buna karşı koymaya çalışmak kısa süreli kazanç ve yüksek maliyet getirir. Bu nedenle burada risk kontrollerinin nasıl aşılacağı ele alınmıyor. Asıl yararlı soru şudur: risk kaynakları netleştirildiğinde, hangi değişkenleri kontrol edip uzun vadede istikrarlı tutabiliriz? Birden fazla meşru hesabın birbirini etkileyip etkilemeyeceğini bu değişkenler belirler.
Cihaz ve tarayıcı özellikleri
En kolay sorun çıkaran düzenlerden biri aynı makinede birden fazla pencere açıp farklı hesaplarla giriş yapmaktır. Önbellek temizlense veya gizli mod kullanılsa bile bu pencereler aynı sistem ortamını ve tarayıcı verilerini paylaşmaya devam eder. Özellikler örtüşür ve platform tek bir cihazın tekrar tekrar kimlik değiştirdiğini görür.
Kontrol edilebilir yaklaşım, her hesaba kendi ortamını vermektir: her hesap için bağımsız bir ortam, ayrı fingerprint, Cookies ve yerel depolama. Önemli olan bu ortamı hesaba sabitlemek, her başlangıçta rastgele yeni bir kombinasyon üretmemektir. Rastgele kombinasyonlar çoğu zaman kendi içinde çelişir: saat dilimi, dil, çözünürlük ve UA birbiriyle uyuşmayabilir; bu da istikrarlı bir yapılandırmadan daha sıra dışı görünür.
Sonuçta istikrar rastgelelikten değil, tutarlılıktan gelir.
Ağ çıkışı
Çıkış hesaba bağlanmalıdır: bir ortam, bir çıkış ve çıkış bölgesi hesap profili, saat dilimi ve dil ile uyumlu olmalıdır. Birden fazla hesabın ortamları ayrı olsa bile aynı çıkışı paylaşmaları, önceki yalıtımın büyük bölümünü etkisiz hale getirir.
Çıkışın da görece istikrarlı kalması gerekir. Bölgenin sık değişmesi hesabın konum sinyalini açıklamayı zorlaştırır. Çıkış seçerken konut tipi adresler genellikle veri merkezi adreslerine göre normal kullanıcı erişimine daha çok benzer. Ayrıca yoğun biçimde kullanılmış adreslerden kaçınmak gerekir; bu tür adresler zaten daha yakından izleniyor olabilir.
Cookies ve oturumlar
Oturum durumu başlı başına bir kimlik kaydıdır. Birden fazla hesap aynı Cookies veya yerel depolamayı paylaşıyorsa, diğer ortamlar ne kadar iyi ayrılmış olursa olsun aralarında doğrudan bir bağ oluşur.
Yeni bir ortamdaki oturum da ilk andan itibaren yüksek yoğunlukta kullanılmamalıdır. Önce normal gezinmeden oluşan bir geçmiş biriktirmek, sonra görev yükünü kademeli artırmak daha uygundur. Bu ilke veri toplama dışındaki durumlarda da geçerlidir: bir hesabın kullanım geçmişine sahip olup olmaması, ne kadar etkinliği makul biçimde taşıyabileceğini doğrudan etkiler.
İstek ritmi
İstek yoğunluğu davranışsal bir sinyaldir. Betiklerin tipik özelliği düzenli ritimdir: sabit erişim aralıkları, sabit sayfa sırası ve veri toplama dışında hiçbir davranış olmaması. Bu düzenlilik yalnızca rastgele sayılar ekleyerek çözülemez, çünkü asıl sorun toplam hacimdedir.
Kontrol edilebilir yön, görev yükünü makul bir aralıkta tutmaktır: farklı hesapların çalışma zamanlarını dağıtmak, tüm hesapları aynı anda tam kapasiteye çıkarmamak, sayfalar arasında makul aralıklar bırakmak ve yüksek öncelikli görevlerle düşük öncelikli görevleri ayırmak. Sınır nettir: veri toplama hedef hizmete baskı oluşturmamalıdır. Karşı tarafın hizmetini etkileyerek elde edilen hız, geçerli bir optimizasyon değildir.
Hesap başına sabit ortam neden rastgele değiştirmeden daha istikrarlıdır?
Rastgele değiştirmenin amacı her seferinde farklı görünmektir; ancak ilişkilendirme kontrolleri, farklı boyutlardaki sinyallerin istikrarlı olup olmadığına ve birbirleriyle çelişip çelişmediğine bakar. Bir hesap bugün bir konumdan, yarın başka bir konumdan çıkıyor ve her seferinde özellik kombinasyonu değişiyorsa, bu tutarsızlık başlı başına olağandışı bir sinyaldir.
Sabit ortam tam ters mantıkla çalışır. Hesap kayıt anından itibaren tutarlı bir kimliğe sahiptir: sabit ortam, sabit çıkış, birbiriyle uyumlu saat dilimi ve dil ve zamanla biriken oturum geçmişi. Bu tutarlılık ne kadar uzun sürerse etkinliğin normal bir kullanıcıya benzemesi o kadar kolaylaşır. Ortam katmanının değeri burada yatar: gösterişli değişiklikler değil, uzun vadeli istikrar.
Bu durum veri toplama betiğinin tarayıcı örneklerini neden kendi başına yönetmemesi gerektiğini de açıklar. Farklı hesaplara özel ortamlar atanabilmesi için ortamların bağımsız zamanlanabilmesi; olağandışı ortamlar ve artık geçerli olmayan hesapların bulunabilmesi için durumlarının sorgulanabilmesi; uzun süreli çalışmalarda zombi örneklerin birikmemesi için ortamların geri kazanılabilmesi gerekir. Ayrıca veri toplama görevleri yeniden denendiğinde çoğu zaman ortam değiştirmek gerekir; bu da yalnızca ortamlar bağımsız planlanabildiğinde sağlıklı biçimde yapılabilir. Bu tür bir mimaride PurpleMark ortam kaynakları katmanıdır. Betik yalnızca veri toplama mantığını yönetir; kimlik ve kaynaklar ortam katmanına bırakılır.
Uyumluluk sınırları
Aşağıdaki noktalar yukarıdaki tüm optimizasyonlardan daha önemlidir.
Hedef sitenin hizmet koşullarına ve robots kurallarına uyun. Birçok e-ticaret platformu koşullarında otomatik erişimi açıkça sınırlar; başlamadan önce planlanan kullanımın izinli olup olmadığını doğrulayın. Yalnızca herkese açık ürün, fiyat ve stok bilgilerini toplayın; kişisel bilgi toplamayın. Teknik koruma önlemlerini aşmayın. CAPTCHA veya şifrelenmiş arayüzler gibi korumalarla karşılaştığınızda bunları kırmaya çalışmak yerine veri toplama stratejisini değiştirin veya izin isteyin. Kaç hesabınız olursa olsun istek frekansını kontrol edin ve hedef hizmetin normal çalışmasını etkilemeyin.
Bu tartışmanın ön kabulü, birden fazla meşru hesabın birbirinden bağımsız ve müdahalesiz biçimde nasıl çalışabileceğidir; platform kurallarının nasıl aşılacağı değildir. İlki operasyonel hijyendir, ikincisi ise başka bir konudur.
