Yüksek Hacimli Scraping’de Gecikme: Datacenter Proxy Planı

Yüksek hacimli scraping’de gecikme neden hızın kendisidir?

Bir scraping hattının saniyede tamamladığı istek sayısı, açık istek sayısının ortalama istek süresine bölünmesiyle bulunur. Aynı anda 20 istek açık tutuyorsanız ve bir istek ortalama 1 saniye sürüyorsa saniyede 20 istek, günde yaklaşık 1,7 milyon istek tamamlarsınız. Ortalama süre 2 saniyeye çıkarsa eşzamanlılığı değiştirmeden verim yarıya iner. Gecikme bu yüzden doğrudan kapasite sorunudur.

Eşzamanlılığı artırarak gecikmeyi telafi etmek ilk akla gelen yoldur, ama üç sınırı vardır: hedefin bir adresten ve toplamda kabul ettiği istek hızı, proxy ürününün bağlantı modeli ve kendi makinenizin kaynakları. Bu üç sınırın nasıl bulunduğu proxy thread sayısı rehberinde anlatılıyor. Bu yazı diğer tarafa bakar: eşzamanlılık sabitken ortalama süreyi hangi kararlar düşürür ya da yükseltir.

Gecikmeyi düşüren kararların çoğu düzendedir: proxy’nin hedefe göre yeri, bağlantının kaç istek boyunca açık kaldığı, zaman aşımı eşiği ve yavaş isteklerin kuyruğa nasıl davrandığı. Aynı ürünle, aynı hedefte, yalnız bu dört ayar değiştirilerek ortalama sürenin yarıya indiği ya da ikiye katlandığı görülür.

Bir proxy isteğinin dört bekleme noktası

Doğrudan erişimde bir HTTPS isteği DNS çözümleme, TCP el sıkışma, TLS el sıkışma ve hedefin ilk baytı olmak üzere dört aşamadan geçer; bu aşamaların curl ile nasıl ölçüldüğü proxy gecikme ölçümü rehberinde var. Proxy araya girince aşamalar yer değiştirir ve bir tane eklenir. Birinci bekleme: istemciden proxy’ye TCP bağlantısı. İkinci bekleme: proxy’ye gönderilen CONNECT isteği ve proxy’nin hedefe kendi TCP bağlantısını kurması. Üçüncü bekleme: tünel içinde istemci ile hedef arasında TLS el sıkışması. Dördüncü bekleme: hedefin isteği işleyip ilk baytı göndermesi.

İlk üç bekleme bağlantı kurulumuna aittir ve aynı bağlantı birden çok istek için kullanıldığında tekrar ödenmez. Dördüncü bekleme hedefin işidir; proxy ya da lokasyon onu değiştirmez. Yüksek hacimli taramada en büyük kazanç bu yüzden ilk üç beklemenin kaç istekte bir ödendiğindedir. Her istek için yeni bağlantı kuran bir düzen bu maliyeti her seferinde öder; bağlantıyı açık tutan düzen yüzlerce istekte bir öder.

İkinci bekleme, yani proxy’nin hedefe bağlanması, lokasyonun etkisini taşır. Proxy hedefe yakınsa bu adım kısa, uzaksa uzundur. Birinci bekleme ise istemci ile proxy arasındaki mesafenin etkisidir. İki bacak aynı anda kısa olamayacağından lokasyon kararı, bu iki beklemeden hangisinin daha sık ödendiğine göre verilir; aşağıdaki bölümde bu karar ele alınıyor.

Rotating ve static: tünel ömrü farkı

Rotating IPv4 datacenter üründe çıkış adresi istek ya da oturum başına değişir. Her yeni çıkış adresi yeni bir tünel demektir; bağlantı kurulum maliyeti her adres değişiminde ödenir. Bu, bağımsız sayfa toplamada kabul edilen bir bedeldir, çünkü karşılığında her istek farklı adresten çıkar ve hedefin adres başına hız sınırı tek bir adrese yığılmaz. Oturum bazlı rotasyon seçildiğinde aynı adres bir süre korunur ve o süre içinde tünel yeniden kullanılabilir; sayfalama gibi birbirine bağlı adımlar bu modda hem daha hızlı hem daha tutarlıdır.

Static IPv4 datacenter üründe adres sayısı adet olarak alınır ve dönem boyunca sabittir; katalogda 100, 250, 500 ve 1.000 adetlik 30 günlük paketler var. Sabit adreslerle istemci kendi bağlantı havuzunu kurar: adres başına birkaç kalıcı bağlantı açılır, binlerce istek bu bağlantılardan geçer, kurulum maliyeti neredeyse sıfıra iner. Bedeli, hız sınırının adres başına sizin tarafınızdan yönetilmesidir; bir adresten çok hızlı giderseniz hedef o adresi yavaşlatır ya da keser ve bunun belirtileri datacenter IP neden engellenir rehberinde sıralanıyor.

Rotating IPv6 datacenter ürün üçüncü yoldur: port başına aylık fiyatla, GB sayılmadan çalışır ve IPv6 adres alanı geniş olduğu için adres çeşitliliği yüksektir. Hedefin IPv6 kabul etmesi şarttır; bunun üç adımlı testi IPv6 datacenter hedef uyumu rehberinde var. Kurulum maliyeti rotating IPv4 ile aynı mantıkta işler, ama GB kaygısı olmadığı için yeniden deneme ve ısınma istekleri maliyete yansımaz.

Karar kuralı: istekler birbirinden bağımsızsa ve hedef adres başına sıkı sınır koyuyorsa rotating, istekler zincirliyse ya da hedef toleranslıysa static havuz ve kalıcı bağlantı. Hangi işaretlerin hangi yöne baktığı static mi rotating mi rehberinde dört başlıkta anlatılıyor.

Lokasyon: proxy hedefe mi, istemciye mi yakın olmalı?

Tünel kurulumunda iki bacak vardır: istemciden proxy’ye ve proxy’den hedefe. TLS el sıkışması tünelin içinde, istemci ile hedef arasında gidip geldiği için iki bacağın toplamını birkaç kez öder. Bağlantı yeniden kullanılıyorsa bu toplam yüzlerce istekte bir ödenir ve lokasyonun etkisi küçülür; her istekte yeni tünel açılıyorsa toplam her istekte ödenir ve lokasyon ortalama sürenin belirleyicisi olur.

Pratik kural: rotating üründe proxy’yi hedef sunucuya yakın seçin, çünkü proxy’den hedefe bacak hem CONNECT’te hem TLS’te hem veri aktarımında tekrar tekrar geçilir. Static havuzda ise istemciye yakınlık da anlam kazanır; bağlantı bir kez kurulduktan sonra her istek yalnız istemci-proxy-hedef yolunu tek yönde gider ve bu yolun toplam uzunluğu önemlidir. İki yerleşim arasında seçim, tek bir hedefe aynı anda iki lokasyondan on tekrarlı ölçümle yapılır; yöntem proxy lokasyonu nasıl seçilir rehberinde adım adım yazılı.

Katalogdaki seçenekler ürüne göre farklıdır. Static IPv4 datacenter paketleri Amerika Birleşik Devletleri, Birleşik Krallık, Hollanda, Almanya ve Kanada lokasyonlarında; rotating IPv4 datacenter 180’den fazla lokasyon kapsar ve ana lokasyon listesinde Türkiye de bulunur; rotating IPv6 datacenter dokuz doğrulanmış lokasyonda sunulur. Hedefiniz Avrupa’da bir pazar yeriyse Almanya ya da Hollanda çıkışı, Kuzey Amerika’daysa ABD çıkışı başlangıç noktasıdır; kesin karar ölçümle verilir.

Kuyruk gecikmesi: p95 ve zaman aşımı eşzamanlılığı nasıl yer?

Ortalama süre tek başına yanıltır. Yüz istekten doksan beşi 0,8 saniyede dönerken beşi 8 saniye sürüyorsa, o beş istek beş eşzamanlılık yuvasını on kat uzun süre işgal eder. Yuvalar dolu olduğu sürece yeni istek kuyrukta bekler ve kuyrukta geçen süre de istek süresine eklenir. Bu yüzden yüksek hacimli taramada izlenecek sayı ortalama değil, doksan beşinci yüzdelik (p95) ve en uzun süredir.

Zaman aşımı bu noktada bir hız aracıdır. Okuma zaman aşımını p95’in iki katı civarında tutmak, takılan isteğin yuvayı sonsuza kadar tutmasını engeller; istek düşer, yeniden deneme kuyruğuna girer ve yuva boşalır. Çok düşük zaman aşımı ise sağlıklı ama yavaş istekleri keser ve yeniden deneme yükü yaratır. İkisi arasındaki değer hedefe göre bulunur: deneme taramasında p95 ölçülür, eşik ona göre konur, hata oranı izlenerek ayarlanır.

Yeniden deneme de kuyruğu etkiler. Başarısız isteğin hemen tekrar denenmesi, hedef yavaşladığında yükü artırır ve gecikmeyi büyütür. Bekleyerek deneme ve deneme sayısı sınırı hem hedefi korur hem kuyruğu kısaltır. GB bazlı üründe her deneme kotadan düşer; port bazlı IPv6 üründe düşmez ama hedef üzerindeki etkisi aynıdır.

Yavaş isteklerin kaynağı çoğu zaman proxy değil, hedefteki belirli sayfa türleridir: arama sonuçları, filtreli listeler, büyük kategori sayfaları. Bu sayfaları ayrı bir kuyruğa ve ayrı bir eşzamanlılık bütçesine almak, hızlı sayfaların onların arkasında beklemesini önler. Tek bir kuyruk yerine sayfa türüne göre iki üç kuyruk, aynı eşzamanlılıkla daha yüksek verim üretir.

Örnek plan: günde 200.000 ürün sayfası

Varsayımlar açık yazılsın: günde 200.000 sayfa toplanacak, deneme taramasında ortalama istek süresi 0,9 saniye, p95 2,5 saniye ölçüldü, sayfa başına yalnız HTML indiriliyor ve ortalama 120 KB geliyor. Günde 200.000 sayfa, saniyede yaklaşık 2,3 istek demektir. Gereken eşzamanlılık 2,3 çarpı 0,9, yani yaklaşık 2,1 açık istektir. Kuyruk ve p95 payı için bunun iki üç katı, 5 ile 6 yuva ayrılır; okuma zaman aşımı p95’in iki katı olan 5 saniyeye kurulur.

Veri tarafında 200.000 çarpı 120 KB, günde yaklaşık 24 GB eder. Rotating IPv4 datacenter katalogunda 50 GB paketi 30 USD; bu hacimde paket iki günde biter ve aylık maliyet kabaca 360 USD olur. Hedef IPv6 kabul ediyorsa rotating IPv6 datacenter ürününde 5 portluk paket aylık 80 USD’dir ve GB sayılmaz; 6 yuvanın 5 porta dağılıp dağılamayacağı port kapasitesine bağlıdır, bunu satın almadan destekten sorun. Hedef adres başına hız sınırında toleranslıysa ve istekler sayfalama gibi zincirleniyorsa static IPv4 datacenter 100 adetlik paket 30 gün için 15 USD’dir; 100 adres üzerinde kalıcı bağlantılarla 6 yuva rahat dağılır ve kurulum maliyeti kaybolur.

Üç yol arasındaki fark yalnız fiyat değildir. Rotating IPv4 en az yönetim ister ve hedef sınırını adres çeşitliliğiyle dağıtır. IPv6 portu maliyeti sabitler ama hedef uyumu şart koşar. Static havuz en düşük gecikmeyi ve en düşük fiyatı verir ama adres başına hız yönetimini, engellenen adresin tespitini ve havuzdan çıkarılmasını size bırakır. Örnekteki rakamlar yalnız varsayımlara bağlıdır; kendi deneme taramanızın ortalama süresi, p95’i ve sayfa boyutu ile yeniden hesaplanır.

Ölçüm: hangi dört sayı toplanır?

Birinci sayı istek süresinin dağılımıdır: medyan, p95 ve en uzun değer; ortalama tek başına kaydedilmez. İkinci sayı yuva doluluğudur: ölçüm aralığında açık isteklerin eşzamanlılık sınırına oranı; sürekli yüzde yüzse kuyruk birikiyor demektir. Üçüncü sayı hata oranıdır ve türüne göre ayrılır: zaman aşımı, bağlantı hatası, 4xx ve 5xx; her tür farklı karar gerektirir. Dördüncü sayı sayfa başına aktarılan bayttır; GB bazlı üründe maliyetin, port bazlı üründe hedefin yükünün ölçüsüdür.

Bu dört sayı hedef ve lokasyon bazında ayrı tutulur. Aynı proxy ürünüyle iki farklı hedefte iki farklı p95 görmek olağandır ve iki hedef için iki ayrı eşzamanlılık bütçesi gerekir. Lokasyon değiştirildiğinde ya da rotating’den static’e geçildiğinde aynı dört sayı yeniden ölçülür ve bir önceki kayıtla karşılaştırılır. Karar bu kayıttaki farka göre verilir.

Son bir not kapsam hakkında: bu rehber hedefin açıkladığı sınırların altında kalmak için eşzamanlılığı ve gecikmeyi planlamayı anlatır. Adres çeşitliliği, hedefin koyduğu sınırı aşmak için değil, yükü dağıtmak ve tek adresin engellenmesine bağımlılığı azaltmak için kullanılır. robots.txt, kullanım koşulları ve kişisel veri kuralları her hedefte ayrıca okunur.