E-ticaret Fiyat Takibi: Datacenter Proxy Ne Zaman Yeter?

Fiyat takibi iş yükü: üç sayının çarpımı

Fiyat takibi iş yükü üç sayıdan oluşur: izlenen ürün sayısı, hedef site sayısı ve günlük ölçüm sıklığı. Üçünün çarpımı günlük sayfa isteği sayısını verir ve proxy kararının tamamı bu sayıdan türer. İki bin ürünü beş sitede günde dört kez ölçen bir ekip günde kırk bin sayfa ister; aynı ürünleri saatte bir ölçmeye geçince sayı iki yüz kırk bine çıkar. Sıklık kararı çoğu zaman en pahalı değişkendir ve kampanya dönemi dışında abartılır.

İkinci hesap sayfa boyutudur. Bir ürün sayfasının HTML’i tipik olarak birkaç yüz kilobayttır; görseller, yazı tipleri ve betikler indirilmezse trafik yalnız HTML kadardır. Fiyat bir JSON uç noktasından okunabiliyorsa, ki birçok e-ticaret altyapısı ürün kartını böyle besler, istek başına trafik on kat düşer. İş yükünü tanımlarken bu iki yolu ayrı ayrı yazın; GB bazlı ürünlerde maliyeti, adet bazlı ürünlerde IP başına yükü doğrudan belirler.

Üçüncü sayı eşzamanlılıktır. Kırk bin sayfayı dört ölçüm penceresine yaymak her pencerede on bin sayfa demektir; pencere bir saatse saniyede yaklaşık üç istek, on dakikaysa saniyede on yedi istek gerekir. Hedef başına saniyelik hızı pencere genişliğiyle kontrol edersiniz; proxy adedi ya da port sayısı bu hıza göre seçilir.

Hedef toleransı: iki günlük sonda

Hedef sitenin datacenter IP’ye ne yaptığını ölçün. Her hedef için izlenecek ürünlerden yüz tanesini seçin ve iki gün boyunca planladığınız sıklıkta, planladığınız hızda, tek bir static IPv4 adresinden isteyin. Her yanıt için dört alan kaydedin: HTTP kodu, yanıtta fiyat alanının bulunup bulunmadığı, doğrulama sayfası çıkıp çıkmadığı ve yanıt süresi. İkinci gün aynı yüz ürünü ikinci bir adresten, farklı bir /24 bloğundan tekrar isteyin.

Sonuçlar hedefleri üç sınıfa ayırır. Birinci sınıf iki gün boyunca fiyatı eksiksiz veren hedeflerdir; burada datacenter proxy yeterlidir ve karar yalnız static ile rotating arasındadır. İkinci sınıf belirli bir hızdan sonra 429 ya da boş fiyat alanı döndüren hedeflerdir; bunlar datacenter’ı kabul eder ama hız ister, çözüm pencereyi genişletmek ve adresleri bloklara yaymaktır. Üçüncü sınıf ilk istekten itibaren 403 veren ya da fiyatı gizleyen hedeflerdir; bu hedefler barındırma bloklarını sınıf olarak reddeder ve datacenter proxy ile izlenmez. Engelin IP sınıfından mı davranıştan mı geldiğini ayırt etme sırası ASN rehberinde adım adım anlatılır.

Sondayı kampanya dönemine denk getirmeyin. Büyük indirim günlerinde hedefler koruma eşiklerini düşürür ve normal zamanda tolerans gösteren bir site o hafta ikinci sınıfa iner. Sonda sakin bir haftada yapılır, kampanya haftası için ayrıca daha düşük hızlı bir plan hazırlanır.

Static mi rotating mi: fiyat takibinde oturum yok, ama düzen var

Fiyat takibi oturum tutmaz; her ürün sayfası bağımsız bir istektir ve çerez taşımak gerekmez. Bu yüzden ilk bakışta rotating doğal seçim gibi görünür. Ancak birinci sınıf hedeflerde static IPv4 çoğu zaman daha ucuz ve daha öngörülebilirdir: adres sayısı sabittir, her adresin günlük yükü hesaplanabilir ve hedef aynı adresten düzenli, ölçülü istek görmeye alışır. Bu düzen hedefin gözünde bir izleme servisinin imzasıdır ve bir saldırı imzasından açıkça ayrılır.

Static seçildiğinde adresler blok bazında dağıtılır. Yirmi adres tek /24 bloğundan alınırsa hedef sayaç tutan bir hedefse yirmi adres tek kaynak gibi davranır; aynı yirmi adres beş bloğa yayılırsa her bloğun yükü beşte bire iner. Bu mantık subnet çeşitliliği rehberinde örnekle anlatılır; fiyat takibi o rehberdeki kuralın en sık uygulandığı iştir.

Rotating IPv4 ikinci sınıf hedeflerde ve hacim yüksekken öne çıkar. Günlük sayfa sayısı yüz binleri bulduğunda ya da hedef adres başına düşük bir eşik tutuyorsa, GB bazlı rotating havuz adres yönetimini sizden alır: her istek farklı adresten çıkar ve adres başına yük hesaplanmaz. Bedeli trafiğin GB üzerinden ölçülmesidir; HTML’i büyük sayfalarda maliyet static’in üstüne çıkabilir. İki ürünün birim maliyetini aynı tabloda karşılaştırma yöntemi datacenter proxy seçim rehberinde verilir.

Lokasyon: fiyat ülkeye göre, bazen şehre göre değişir

E-ticaret siteleri fiyatı ziyaretçinin konumuna göre değiştirebilir: para birimi, vergi, kargo ve bölgesel kampanya hepsi IP’nin ülkesinden okunur. Türkiye pazarını izlerken çıkış adresinin Türkiye’de olması gerekir; aksi halde yurt dışı fiyat listesi, farklı para birimi ya da yurt dışına satış yapılmıyor sayfası toplanır. Yurt dışı pazar izlenirken de aynı kural geçerlidir; DatacenterProxy kataloğundaki static IPv4 ve static IPv6 ürünleri ülke seçimli paketlerle gelir ve hangi ülkelerin doğrulanmış olduğu ürün sayfasında listelenir.

Lokasyonun ikinci etkisi gecikmedir. Hedefin sunucusuna yakın çıkış adresi aynı pencerede daha fazla sayfa toplar ve zaman aşımı oranını düşürür. Beş hedefin dördü Türkiye’de, biri Almanya’da barındırılıyorsa iki lokasyon tutmak tek lokasyondan daha verimlidir. Lokasyon kararını vermeden önce her hedef için gecikme ölçümü rehberindeki beş zaman damgalı curl testini çalıştırın; sonuç lokasyon listesini kendiliğinden belirler.

İstek düzeni: zamanlama, önbellek ve para birimi

Fiyat takibinde yanlış fiyat toplamanın en sık nedeni önbellektir. Hedefin CDN’i ürün sayfasını dakikalarca önbellekte tutabilir; kampanya başladığında eski fiyatı toplarsınız. İstek başlıklarında önbellek atlatmaya zorlayan değerler göndermek her hedefte işe yaramaz ve bazı hedeflerde şüphe uyandırır; daha güvenli yol, fiyatın sayfaya gömülü JSON verisinden ya da ürün kartını besleyen uç noktadan okunmasıdır, çünkü bu kaynaklar sayfa HTML’inden daha kısa süre önbelleklenir.

Para birimi ve dil çerezleri ikinci tuzaktır. Birçok site ilk ziyarette bir bölge çerezi yazar ve sonraki fiyatları ona göre gösterir. Static adreslerle çalışırken çerez kavanozunu her ölçüm turunda sıfırlayın ya da bölge çerezini açıkça istediğiniz değere sabitleyin; aksi halde bir adres bir kez yanlış bölgeye düşerse o adresin topladığı bütün fiyatlar yanlış olur.

Zamanlama hedefin yoğun saatlerine göre ayarlanır. Gece saatlerinde hedef sunucu boştur, yanıt hızlıdır ve koruma eşikleri gevşektir; ama fiyat değişiklikleri çoğunlukla sabah ve akşam saatlerinde yayınlanır. Dört ölçüm penceresi varsa ikisini fiyat değişikliklerinin hemen sonrasına, ikisini sakin saatlere koymak hem veriyi hem toleransı korur. Pencereler içinde istekleri küçük rastgele sapmalarla gönderin; saniyede tam üç istek atan bir düzen, saniyede iki ile dört arasında değişen düzenden daha kolay işaretlenir.

Örnek plan: beş hedef, iki bin ürün, günde dört ölçüm

Varsayımlar: beş hedef, hepsi iki günlük sondada birinci sınıf çıktı; iki bin ürün; günde dört ölçüm; sayfa başına 300 KB HTML; her pencere bir saat. Günlük istek sayısı kırk bin, pencere başına on bin, hedef başına pencere başına iki bin istek, yani hedef başına saniyede yaklaşık 0,6 istek. Bu hız birinci sınıf bir hedef için düşüktür.

Static plan: yirmi static IPv4 adresi, dört /24 bloğuna beşer dağılmış. Her adres günde iki bin istek, saatte seksen üç istek taşır; her hedefe her pencerede dört bloktan dönüşümlü gidilir ve bir bloktan tek hedefe saatte beş yüz istek düşer. Trafik günde yaklaşık 12 GB olur ama adet bazlı modelde GB sayılmaz; maliyet yirmi adresin dönemsel bedelidir ve ürün sayısı iki katına çıksa bile aynı kalır, yalnız adres başına yük iki katına çıkar.

Rotating plan: aynı kırk bin sayfa GB bazlı rotating IPv4 havuzundan geçerse günde 12 GB, ayda yaklaşık 360 GB kota tüketir; sayfa yerine JSON uç noktası okunursa bu rakam onda birine iner. Rotating plan, hedeflerden biri ikinci sınıfa düşerse ya da ürün sayısı yirmi bine çıkarsa static plana göre daha az yeniden düzenleme ister. Karar kuralı: hacim sabit ve hedefler toleranslıysa static, hacim büyüyor ya da hedefler hız istiyorsa rotating; ikisini bir arada tutup hedefe göre yönlendirmek de geçerli bir düzendir.

Veri kalitesi: toplanan fiyat doğru mu?

Engel almamak veri doğruluğunu garanti etmez. Dört kontrol her ölçüm turunun sonunda çalışmalıdır. Birincisi boş ya da sıfır fiyat oranı: bir hedefte bu oran bir turda sıçrıyorsa hedef ya sayfa yapısını değiştirmiştir ya da adres sınıfına göre fiyatı gizlemeye başlamıştır. İkincisi para birimi tutarlılığı: aynı hedeften gelen fiyatların hepsi aynı para biriminde olmalıdır, karışıksa bölge çerezi kaymıştır.

Üçüncüsü ani sıçrama kontrolü: bir ürünün fiyatı tek turda belirli bir yüzdenin üstünde değişiyorsa, örneğin yüzde elli, değer kaydedilmeden önce ikinci bir adresten doğrulanır. Gerçek indirimler böyle sıçrar ama sayfa yapısı değişince yanlış alanın okunması da aynı görüntüyü verir. Dördüncüsü çapraz adres karşılaştırması: aynı ürün aynı turda iki farklı bloktan istenir ve fiyatlar karşılaştırılır; fark varsa hedef adrese göre fiyat ayrımı yapıyordur ve o hedef datacenter ile izlenemez.

Bu dört kontrolün sonuçlarını hedef başına günlük bir tabloya yazın. Tablo, proxy düzeninde ne zaman değişiklik gerektiğini engel oranından önce haber verir: boş fiyat oranı yükselmeye başladığında hedef henüz engel vermemiştir ama toleransını daraltmaya başlamıştır.