Datacenter Proxy Hataları: ASN Engeli mi, Bağlantı Sorunu mu?

Üç katman: hata nereden geliyor?

Birinci katman istemci ile proxy sunucusu arasındadır. Kullanıcı adı ve parola, IP izni, gateway adresi ve port, protokol şeması bu katmanda doğrulanır. Buradaki hata hedefe hiç ulaşılmadan oluşur ve proxy sunucusunun kendi yanıtıyla gelir: 407 kimlik reddi, bağlantı reddi ya da protokol uyumsuzluğunda anlamsız bayt dizisi. Bu katmanın genel teşhisi proxy türünden bağımsızdır; datacenter’a özgü tarafı IP izni yöntemidir, çünkü sunucudan çalışan toplayıcıların çıkış adresi sabittir ve çoğu zaman izin listesiyle tanımlanır.

İkinci katman proxy ile hedef arasındaki ağdır. Proxy isteği kabul etmiş, hedefe yönlendirmiştir; hedef yanıt vermiyor ya da geç veriyordur. Belirtisi zaman aşımı ve bazen proxy’nin ürettiği 502 ya da 504 yanıtıdır. Bu katmanda hedefin gerçekten yavaş olması ile hedefin o adrese kasıtlı yanıt vermemesi aynı görünür; ayrımı aşağıdaki deney yapar.

Üçüncü katman hedefin politikasıdır. Hedef isteği almış, adresin bir barındırma ASN’sine ait olduğunu görmüş ve bir karar vermiştir: düşürmek, reddetmek, farklı içerik göstermek ya da doğrulama istemek. Bu katmanın belirtileri ilk iki katmanınkine benzediği için en sık yanlış teşhis edilen katmandır.

Proxy katmanı hataları: hedefe ulaşmadan biten istekler

407 Proxy Authentication Required yanıtı proxy sunucusundan gelir ve kimlik bilgisinin reddedildiğini söyler. Üç neden vardır: kullanıcı adı ya da parola yanlıştır, IP izniyle çalışan bir hesapta isteği gönderen sunucunun adresi listede yoktur ya da kimlik bilgisi doğru olduğu halde istemci onu göndermemektedir. Üçüncü durum en sinsisidir: bazı HTTP kütüphaneleri HTTPS hedeflerde CONNECT isteğine kimlik başlığı eklemez ve yalnız HTTPS hedefler 407 alır.

Bağlantı reddi ve protokol uyumsuzluğu da bu katmandadır. HTTP portuna SOCKS5 el sıkışması gönderen istemci ya bağlantı reddi ya da okunamayan bir yanıt alır; port ve şema ürün panelindeki değerlerle birebir karşılaştırılır. DatacenterProxy ürünlerinde HTTP, HTTPS ve SOCKS5 birlikte sunulur; hangi portun hangi protokole ait olduğu panelde yazar ve karıştırmak en yaygın ilk gün hatasıdır.

Bu katmanın ayırt edici özelliği hedef bağımsızlığıdır. Aynı proxy ile hangi hedefe giderseniz gidin hata aynıdır. Hedef değiştirince hata kayboluyorsa sorun bu katmanda değildir ve aşağıya inilir.

Zaman aşımı: ağ yavaşlığı mı, sessiz engel mi?

Zaman aşımı iki katmanın ortak belirtisidir. Ağ katmanındaki zaman aşımında hedef genel olarak yavaştır: aynı hedef başka ağlardan da geç yanıt verir, gecikme günün saatine göre dalgalanır ve istekler bazen başarıyla biter. Politika katmanındaki zaman aşımında ise hedef, barındırma bloklarından gelen bağlantıyı bilerek yanıtsız bırakır; başka ağlardan anında yanıt verirken datacenter adreslerinden gelen TCP el sıkışmasını ya hiç tamamlamaz ya da tamamlayıp hiç veri göndermez.

İki durumu ayıran ölçüm bağlantının hangi aşamada durduğudur. TCP el sıkışması bile tamamlanmıyorsa ve bu durum aynı subnet’teki tüm adreslerde tekrarlanıyorsa, hedefin güvenlik duvarı bloğu adres düzeyinde düşürüyordur. El sıkışma tamamlanıp TLS kuruluyor, ancak ilk HTTP yanıtı gelmiyorsa hedef uygulama katmanında bekletiyordur; bu da kasıtlı olabilir, ama ağ yavaşlığından ayırmak için aynı isteğin farklı bir ağ türünden ölçülmesi gerekir. Gecikme ölçüm yöntemini ve aşama aşama zamanlamayı proxy gecikme ölçümü rehberinde anlattık.

Pratik kural: zaman aşımı yalnız belirli hedeflerde, yalnız datacenter adreslerinden ve aynı subnet’in tamamında görülüyorsa sessiz engel varsayılır. Timeout süresini yükseltmek bu durumda hiçbir şey kazandırmaz; yalnız bekleme süresini uzatır ve eşzamanlı bağlantıları meşgul eder.

ASN engelinin dört görünümü

Birinci görünüm sessiz düşürmedir: bağlantı kurulmaz ya da kurulup veri gelmez, hata kodu yoktur. Çoğu zaman güvenlik duvarı düzeyinde bir ASN ya da subnet listesinden gelir ve en zor fark edilen biçimdir, çünkü loglara yalnız zaman aşımı olarak yazılır.

İkinci görünüm açık rettir: TLS kurulur, istek gönderilir ve hedef 403 ile ya da kısa bir erişim engeli sayfasıyla döner. Bazı hedefler bu sayfada engelin nedenini yazar; çoğu yazmaz. Ayırt edici işaret, aynı isteğin yeni alınmış bir adresten ilk denemede de 403 almasıdır; itibar birikecek zaman olmadığı için engel adrese değil bloğa konmuştur.

Üçüncü görünüm değiştirilmiş içeriktir: durum kodu 200’dür, sayfa gelir, ama fiyat alanı boştur, ürün listesi kısaltılmıştır ya da içerik başka bir sürümdür. Bu görünüm durum koduna bakan bir toplayıcıyı tamamen atlatır ve veri kalitesi kontrolü olmayan işlerde haftalarca fark edilmez. Dördüncü görünüm doğrulama isteğidir: sayfa yerine captcha ya da JavaScript sınaması gelir. Datacenter adreslerinde bu sınama residential adreslere göre daha erken, bazen ilk istekte tetiklenir.

Dört görünümün ortak imzası şudur: aynı hedefte aynı istek bir konut ya da mobil ağdan sorunsuz geçer, aynı subnet’teki başka datacenter adreslerinden ise aynı sonucu verir. Bu iki koşul bir arada sağlanıyorsa sorun katman üçtedir.

Beş adımlı ayırma deneyi

Birinci adım: Aynı proxy ile nötr bir hedefe, örneğin kendi kontrolünüzdeki bir sunucuya ya da bir IP kontrol sayfasına istek gönderin. Bu istek başarısızsa sorun birinci katmandadır; kimlik, IP izni, port ve şema düzeltilir ve deney baştan başlar. Başarılıysa proxy katmanı sağlamdır.

İkinci adım: Sorunlu hedefe proxy olmadan, kendi ağınızdan bir istek gönderin ve yanıt süresini kaydedin. Hedef buradan da yavaşsa ya da aynı hatayı veriyorsa sorun hedefin kendisindedir, ikinci katmandadır ve beklemek dışında yapılacak az şey vardır. Buradan sorunsuz geçiyorsa üçüncü adıma geçilir.

Üçüncü adım: Aynı hedefe aynı subnet’teki farklı bir datacenter adresinden istek gönderin. Sonuç aynıysa engel en az subnet genişliğindedir. Dördüncü adım: Farklı bir subnet ya da farklı bir lokasyondaki datacenter adresinden deneyin. Burada geçiyorsa engel belirli bir bloğa konmuştur ve subnet çeşitliliği çözümdür; geçmiyorsa engel ASN ya da tür düzeyindedir.

Beşinci adım: Aynı isteği bir residential adresten gönderin. Geçiyorsa hedef datacenter türünü reddediyordur ve karar, ASN rehberindeki residential’e geçiş ölçütlerine göre verilir. Residential’den de geçmiyorsa sorun adres türünde değil istek biçimindedir: başlıklar, hız ya da oturum tutarlılığı yeniden gözden geçirilir.

Belirtiden katmana: hızlı eşleme

Her hedefte aynı hata, nötr hedefte de başarısız: proxy katmanı; kimlik, IP izni ve port kontrol edilir. Yalnız bir hedefte zaman aşımı, kendi ağınızdan da yavaş: ağ katmanı; beklenir, hedefin ölçüm penceresi kaydırılır. Yalnız bir hedefte zaman aşımı, kendi ağınızdan hızlı, aynı subnet’in tamamında aynı: sessiz ASN engeli; subnet ya da lokasyon değiştirilir.

Yeni adresten ilk istekte 403: blok düzeyinde açık ret; farklı subnet, ardından residential denenir. 200 kodla eksik içerik: değiştirilmiş yanıt; doğrulama kuralı yazılır, sonra adres bloğu değiştirilir. İlk istekte captcha: tür düzeyinde doğrulama; residential ya da IPv6 ile karşılaştırma yapılır. Önce 200, bir süre sonra 429 ve 403: engel değil hız sınırı; istek düzeni düzeltilir, adres değiştirmek kalıcı çözüm değildir.

ASN engelinde ne işe yarar, ne yaramaz?

Yeniden deneme ve zaman aşımı ayarı ASN engelinde işe yaramaz. Engel adres bloğuna konmuştur; aynı bloktan on kez denemek on kez aynı sonucu verir ve GB bazlı rotating üründe boşa kota harcar. İlk hamle, deneyin dördüncü adımındaki sonuca göre adres bloğunu değiştirmektir. Rotating IPv4 datacenter üründe lokasyon değiştirmek havuzu da değiştirir; static IPv4 üründe farklı subnet’ten adres almak gerekir. Subnet çeşitliliğinin neden tek başına bir koruma olduğunu /24 blok rehberinde anlattık.

Paylaşımlı adreslerde engel çoğu zaman önceki kullanıcıların izidir. Dedicated bir adres, itibarı sıfırdan ve yalnız sizin davranışınızla kurar; engel dedicated adreste de ilk istekte geliyorsa sorun itibar değil türdür. Bu ayrımı dedicated ve shared rehberinde işledik. IPv6 datacenter adresleri bazı hedeflerde ayrı listelerle değerlendirilir ve IPv4 bloğu engelliyken geçebilir; bu bir kural değil, deneyle doğrulanacak bir olasılıktır.

Engel tür düzeyindeyse ve hedef iş için vazgeçilmezse residential’e geçiş kaçınılmazdır; ama aynı toplayıcının diğer hedefleri datacenter’da kalır. Hedef başına adres türü seçmek, tüm işi pahalı türe taşımaktan çok daha ucuzdur. Datacenter’a özgü seçim ölçütlerini seçim rehberindeki kontrol listesinde bulabilirsiniz.

Logları katmana göre tutmak

Teşhisin tekrar tekrar yapılmaması için her istek logunda dört alan ayrı tutulur: proxy sunucusunun yanıtı, bağlantının durduğu aşama, hedefin durum kodu ve içerik doğrulamasının sonucu. Bu dört alan bir arada okunduğunda katman tek bakışta görünür: proxy yanıtı 407 ise katman bir; el sıkışma aşamasında durmuşsa katman iki ya da sessiz engel; 403 ya da doğrulama kuralı başarısızsa katman üç.

Beşinci alan kullanılan adresin subnet’i ve lokasyonudur. Haftalık özet bu alana göre gruplandığında hangi hedefin hangi bloğu engellediği ortaya çıkar ve blok değişikliği kararı veriye dayanır. Bu özet aynı zamanda hangi hedeflerin residential’e taşınmayı hak ettiğini de gösterir; çoğu toplayıcıda bu liste beklenenden kısadır.