Datacenter IP Neden Engellenir? ASN ve IP İtibarı

Hedef site bir IP’nin datacenter olduğunu nereden bilir?

İnternetteki her IP bloğu bir otonom sisteme kayıtlıdır ve bu kayıt herkese açıktır. RIPE, ARIN gibi bölgesel kayıt kuruluşlarının WHOIS verisi, IP’nin hangi kuruma tahsis edildiğini ve o kurumun ASN numarasını gösterir. Bulut ve barındırma şirketlerinin ASN’leri bilinir; ticari IP veri tabanları bu bilgiyi “hosting”, “ISP”, “mobile”, “business” gibi etiketlere çevirip hedef sitelere satar.

Hedef sitenin yaptığı iş bu yüzden basittir: gelen isteğin IP’sini veri tabanında arar, etiket “hosting” ise politikasını uygular. Bazı siteler bu sınıfı tamamen reddeder, bazıları yalnız doğrulama (captcha, JavaScript challenge) ister, bazıları ise hiç umursamaz. Aynı IP’nin bir sitede sorunsuz çalışıp diğerinde 403 almasının nedeni budur; adres değişmemiştir, politika farklıdır.

Bu sınıflandırma blok düzeyinde yapılır. Yeni açılmış, hiç kullanılmamış bir datacenter IP bile ilk istekte “hosting” olarak görünür. Datacenter proxy’yi residential gibi göstermenin bir yolu yoktur; doğru yaklaşım hedefin hosting trafiğine nasıl davrandığını önceden öğrenmektir.

IP itibarı: aynı ASN içinde adresler neden farklı davranır?

ASN etiketi bloğun tamamını kapsar, ama engeller çoğu zaman tek tek IP’lere veya /24 subnet’lere uygulanır. Burada devreye IP itibarı girer: adresin geçmişte hangi davranışlarla ilişkilendirildiği. Spam listelerine girmiş, kötü amaçlı yazılım trafiği üretmiş ya da bir hedefte yoğun istekle yakalanmış adresler kara listelere düşer ve bu listeler siteler arasında paylaşılır.

Datacenter IP’lerde bu geçmiş genellikle önceki kiracıdan kalır. Adres size tahsis edilmeden önce başka bir müşteri aynı adresle agresif scraping yapmış olabilir. Siz ilk isteğinizde 429 alırsınız ve yanlış yere bakarsınız. Bu yüzden teslim alınan her IP havuzu kullanılmadan önce hedef bazında test edilir; temiz görünen ve engelli görünen adresler ayrılır.

İtibarın ikinci boyutu subnet seviyesidir. Hedef site bir /24 bloğundaki birkaç adresten kötü davranış görürse genellikle bloğun tamamını işaretler. Aynı subnet’ten yüz IP almak, tek bir IP’nin hatasının yüz IP’yi yakmasına yol açar. Statik paketlerde adreslerin farklı subnet’lere dağılması bu riski azaltır; dönen havuzlarda ise rotasyon her istekte farklı bloğa geçtiği için subnet etkisi daha az hissedilir.

Üçüncü boyut hedefin kendi hafızasıdır. Büyük siteler kendi gördükleri trafiği de kaydeder: hangi IP’nin geçen hafta kaç istek attığı, kaçının hata döndüğü. Bu veriyi dışarıdan göremezsiniz; ancak aynı hedefe aynı IP ile uzun süre, ölçülü hızda ve hata üretmeden gitmek bu puanı zamanla düzeltir.

Davranış katmanı: engelin IP ile ilgisi olmayabilir

ASN ve itibar temiz olsa bile istek davranışı engel üretir. Saniyede onlarca istek, tarayıcı olmayan bir User-Agent, eksik HTTP başlıkları, aynı sırayla gezilen yüzlerce sayfa, hiç çerez taşımayan oturumlar ve TLS parmak izinin bir tarayıcıya benzememesi hedefin bot sınıflandırmasını tetikler. Bu durumda IP değiştirmek bir süre işe yarar gibi görünür, sonra yeni IP de aynı akıbete uğrar.

Davranış kaynaklı engelin ayırt edici işareti şudur: aynı IP ile tarayıcıdan elle girince sayfa açılır, otomasyon aracıyla açılmaz. Bu testi yapmadan IP havuzunu suçlamak zaman kaybıdır. Datacenter proxy sağlayıcısının değiştirebileceği tek şey adrestir; istek hızı, başlıklar ve oturum yönetimi tamamen istemci tarafındadır.

Engeli teşhis etme sırası

Hata kodu ve davranış birlikte okunur. Aşağıdaki sıra, engelin hangi katmandan geldiğini en az istekle bulmak için düzenlenmiştir.

Birinci adım: HTTP durum kodunu ve yanıt gövdesini kaydedin. Bağlantı aşamasında kopan istek (TCP reset, hiç yanıt yok) genellikle ASN seviyesinde ağ katmanı engelidir; hedef, barındırma bloklarını güvenlik duvarında reddediyordur. 403 ve beraberinde bir doğrulama sayfası çoğunlukla hosting etiketi veya itibar engelidir. 429 ise neredeyse her zaman hız ve davranış ile ilgilidir; IP temiz olsa da istek sayısı sınırı aşmıştır.

İkinci adım: aynı hedefe havuzdan beş farklı subnet’ten birer IP ile tek istek atın. Beşi de reddediliyorsa engel ASN seviyesindedir ve o hedef için datacenter sınıfı kabul edilmiyor demektir. Bazıları geçiyor, bazıları geçmiyorsa engel itibar seviyesindedir; geçmeyen adresleri o hedef için havuzdan düşün. Hepsi geçiyor ama tam hızda çalışınca engel başlıyorsa sorun davranıştadır.

Üçüncü adım: başarı oranını hedef bazında, IP bazında ve saat bazında ayrı ayrı ölçün. Tek bir toplam oran yanıltır. Belirli bir subnet’in başarı oranı diğerlerinin yarısıysa o subnet işaretlenmiştir; belirli saatlerde oran düşüyorsa hedefin koruma seviyesi yoğun saatlerde artıyordur.

Dördüncü adım: hata üretmeyi durdurun. Engellenmiş bir IP ile istek atmaya devam etmek itibarı daha da bozar ve aynı subnet’teki temiz adresleri de riske atar. Engel görülen adres en az birkaç saat o hedef için devre dışı bırakılır.

Datacenter altyapısında ne yapılabilir?

Hedef hosting sınıfını toptan reddediyorsa datacenter proxy ile o hedefe gidilmez; bu sınır bu sitenin ürün ailesi için de geçerlidir. Hedef yalnız itibar ve davranışa bakıyorsa, ki çoğu hedef bu gruptadır, üç karar alanı vardır.

Birincisi adres ve subnet seçimidir. Statik IPv4 paketlerinde adreslerin kaç farklı subnet’e dağıldığını teslimat sonrası kontrol edin ve işaretli çıkan adresleri hedef bazında ayırın. Kısa süreli yüksek hacimli işlerde dönen IPv4 havuzu subnet yoğunlaşmasını kendiliğinden dağıtır. IPv6 tarafında adres uzayı çok geniş olduğu için tek tek IP itibarı daha az birikir; ancak hedefin IPv6 kabul edip etmediği önceden doğrulanmalıdır.

İkincisi istek disiplinidir. Hedef başına eş zamanlılık sınırı, istekler arası rastgele bekleme, gerçekçi başlık seti, oturum bazında çerez taşıma ve 429 görüldüğünde üstel geri çekilme, IP itibarını koruyan asıl araçlardır. Bu kurallar olmadan en temiz havuz da birkaç gün içinde işaretlenir.

Üçüncüsü ölçüm ve havuz hijyenidir. Her IP için hedef bazında başarı oranı tutulur, eşik altına düşen adres dinlendirilir, dönem sonunda sürekli düşük kalan adresler yenilenir. Bu döngü kurulduğunda engel oranı tahmin edilebilir hale gelir ve havuz büyüklüğü ihtiyaca göre planlanır.

Residential’e geçmek ne zaman doğru karardır?

Bu site residential satmaz. Yine de hedef ASN seviyesinde hosting reddediyorsa ve beş farklı subnet testinde hiçbir datacenter adresi geçmiyorsa, o hedef için datacenter proxy doğru araç değildir. Zaman kaybetmeden farklı bir IP kaynağına bakılmalıdır.

Hedef yalnız itibar ve davranışa bakıyorsa datacenter çoğu zaman yeterlidir ve maliyet avantajı belirgindir. Karar yukarıdaki subnet testinin sonucuna dayandırılır.