Screaming Frog Proxy Ayarı: Sabit Datacenter IP ile Tarama

Proxy ayarı nerede, ne zaman devreye girer?

Ayar, programın ayarlar penceresinde ağ bölümündedir: Windows ve Linux’ta File menüsündeki Settings, macOS’ta uygulama menüsündeki Settings altında proxy alanı bulunur. Menü adları sürüme göre küçük farklar gösterebilir; eski sürümlerde aynı alan Configuration menüsündeki System bölümünde yer alıyordu. Alanı etkinleştirip adres ve portu yazarsınız; kullanıcı adı ve şifre için ayrı bir seçenek vardır.

Üç kural baştan bilinmelidir. Birincisi, tek proxy: program bir adres alır, liste ya da alan adına göre istisna tanımaz; proxy açıksa bütün HTTP ve HTTPS trafiği oradan, kapalıysa hiçbiri oradan geçmez. İkincisi, yeniden başlatma: ayar kaydedildikten sonra program kapatılıp açılmadan yeni adres kullanılmaz; "ayarı yaptım ama IP değişmedi" şikâyetinin ilk cevabı budur. Üçüncüsü, yanlışlıkla açık kalan proxy: bağlantı hatası ve zaman aşımı şikâyetlerinin bir kısmı, önceki projeden açık kalmış ya da süresi dolmuş bir proxy ayarından kaynaklanır; ilk kontrol bu kutudur.

Ayarın devreye girdiğini doğrulamak için taramaya başlamadan önce kendi sunucunuzun erişim günlüğüne bakın: ilk isteklerin kaynak adresi proxy adresi olmalıdır. Günlüğe erişiminiz yoksa, istemci IP’sini düz metin döndüren bir sayfayı tek URL olarak tarayıp yanıt gövdesine bakmak aynı işi görür. Bu kontrolü atlayıp bütün siteyi ofis IP’sinden taramak, izin listesi ve hız ayarlarının hiçbirinin çalışmaması demektir.

Kimlikli proxy ve protokol: hangi uç nokta yazılır?

Programın proxy alanı HTTP proxy mantığıyla çalışır: HTTP hedefler düz istekle, HTTPS hedefler CONNECT tüneliyle proxy’den geçer. Panelden aldığınız host ve portu adres alanına, kullanıcı adı ve şifreyi kimlik seçeneğine yazarsınız; adresin içine kullanici:sifre@ biçiminde gömmek gerekmez ve bazı sürümlerde ayrıştırılmaz. DatacenterProxy ürün ailesinde HTTP, HTTPS ve SOCKS5 uç noktaları vardır; SEO Spider için HTTP/HTTPS uç noktasını kullanın. Programın SOCKS5 desteği resmî belgede açıkça yazmıyor; bu konuda denemeye dayanan bir ayar yerine HTTP uç noktası güvenli seçimdir.

Kimlik doğrulama iki yolla yapılır: kullanıcı adı ve şifre ya da IP izni. IP izni modunda, taramayı yapan bilgisayarın çıkış adresi panelde kayıtlı olmalıdır; ofis ya da ev bağlantısının adresi değişiyorsa her değişiklikte paneli güncellemek gerekir. Sabit bir ofis adresiniz yoksa kullanıcı adı ve şifre daha az bakım ister. Şifrede özel karakter varsa önce kısa bir tarama ile kabul edildiğini görün; 407 yanıtı alıyorsanız sorun büyük olasılıkla kimlik alanındadır.

Adres ve kimlik bilgisi proje yapılandırmasıyla birlikte kaydedilebilir; müşteri siteleri için ayrı yapılandırma profilleri tutuyorsanız her profilde proxy ayarının açık mı kapalı mı olduğunu not edin. Aynı bilgisayarda bir müşteri için proxy’li, diğeri için proxy’siz tarama yapılıyorsa yeniden başlatma kuralı her geçişte geçerlidir.

Neden rotating değil static IPv4?

Rotating ürünler her istekte ya da her oturumda çıkış adresini değiştirir ve GB bazlı satılır. SEO Spider tek proxy alanı sunduğu için rotating gateway teknik olarak girilebilir; ama o zaman sitenizin günlüğünde tarama onlarca farklı adresten görünür, WAF izin listesine yazılacak tek bir adres kalmaz ve kendi sunucunuza uyguladığınız hız kuralları adres başına çalıştığı için anlamını yitirir. Teknik SEO taramasının amacı siteyi tek bir kimlikle, tekrarlanabilir biçimde gezmektir; rotasyon bu amaca ters düşer.

Static IPv4 datacenter adresi bu üç sorunu birden çözer. Adres 30 günlük dönem boyunca aynıdır; sunucu günlüğünde tarama trafiği tek satırla filtrelenir; WAF ve staging koruması tek adrese izin verir. Katalogda static IPv4 paketleri 100, 250, 500 ve 1.000 adetlik kademelerde, 30 günlük dönemle satılır; ülke seçenekleri Amerika Birleşik Devletleri, Birleşik Krallık, Hollanda, Almanya ve Kanada. Tek tarama bilgisayarı için bir adres yeter; paket kademesi, aynı adres havuzundan başka işlere (sıra takibi, izleme) de adres ayırmak isteyen ekipler için anlamlıdır.

Ülkeyi, taradığınız sitenin hedef pazarına göre seçin. Sunucu ya da CDN, ziyaretçinin ülkesine göre yönlendirme yapıyorsa, tarama adresinin ülkesi hangi sürümü göreceğinizi belirler; bu konu lokasyon bölümünde ayrıca ele alınıyor. Ofis IP’nizden ayrı bir tarama adresi kullanmanın bir yan faydası daha var: ofisin paylaşılan bağlantısı yoğun bir tarama sırasında yavaşlamaz ve ofis adresi sitenizin koruma katmanında "bot" olarak işaretlenmez.

Shared ya da dedicated ayrımı burada da geçerlidir: aynı adresi başka müşterilerin de kullandığı bir havuz, sitenizin koruma katmanında o müşterilerin davranışıyla da anılır. Tek bir sitenin izin listesine yazılacak adresin yalnız size ait olması, izin listesinin başkasının trafiğine kapı açmaması için önemlidir. Ayrım dedicated ve shared rehberinde ayrıntılı anlatılıyor.

Kendi WAF’ınızda izin listesi: ofis adresi yerine tarama adresi

Sitenizin önünde Cloudflare, bir sunucu güvenlik duvarı ya da barındırma panelinin bot koruması varsa, tarama adresine izin vermeden yapılan tarama ya eksik sonuç verir ya da hiç başlamaz. İzin, tarama adresine ve yalnız ona verilir: WAF’ta adresi "atla" kuralına yazmak, barındırma panelinde adresi hız sınırından muaf tutmak ya da staging sitede HTTP temel kimlik doğrulamasını yalnız o adres için gevşetmek. Ofis adresine izin vermek hem adres değiştikçe bozulur hem de ofisteki her cihazı korumasız bırakır.

Kural yazarken kapsamı dar tutun: tek adres, gerekiyorsa tek alan adı, gerekiyorsa yalnız GET yöntemi. "Bütün datacenter ağına izin ver" biçiminde geniş kurallar, sitenizi aynı ağdaki herkese açar; kendi tarama adresinizin ait olduğu ağın ne anlama geldiği ASN ve IP itibarı rehberinde anlatılıyor. Kuralı kaydettikten sonra önce tek bir sayfayı tarayıp 200 yanıtı ve beklenen içeriği gördüğünüzden emin olun, sonra bütün siteye geçin.

Staging ve geliştirme ortamları için ikinci bir kontrol gerekir: bu ortamlar çoğu zaman robots.txt ile kapalı ya da arama motorlarına noindex gönderir. SEO Spider varsayılan olarak robots.txt kurallarına uyar; kendi staging sitenizde kuralı yok saymak için programın robots ayarını değiştirmeniz gerekir ve bu ayar yalnız yetkili olduğunuz sitede kullanılmalıdır. Canlı sitede robots.txt kurallarına uymak, tarama sonucunun arama motorunun gördüğüyle örtüşmesi için gerekli koşuldur.

Hız ayarı: Max Threads ve URL/s kendi sunucunuzu yormamalı

Hız ayarı iki değerden oluşur: aynı anda açık bağlantı sayısı (Max Threads) ve isteğe bağlı saniye başına URL sınırı. Proxy araya girince her isteğin süresi uzar; aynı iş parçacığı sayısıyla saniyedeki istek sayısı düşer. Bu kaybı iş parçacığını artırarak kapatmaya çalışmak kendi sunucunuzu yük altına sokar. Tek adresten gelen yoğun istek, sitenin hız sınırına takılır ya da sunucu yanıt süresini uzatarak taramanın kendisini bozar: yavaş yanıtlar yanlış "zaman aşımı" ve "sunucu hatası" kayıtları üretir.

Başlangıç için düşük bir iş parçacığı sayısı ve saniyede birkaç URL sınırı seçin; taramanın ilk dakikalarında sunucu yanıt süresini ve hata oranını izleyin. Yanıt süresi sabit ve hata yoksa kademeli artırın. Kendi sunucunuzun kapasitesi ölçütünüzdür; proxy’nin kapasitesi tek tarama bilgisayarı için sınır oluşturmaz. Büyük sitelerde taramayı mesai dışına ya da düşük trafik saatine almak, hız ayarıyla aynı etkiyi daha az riskle verir. Proxy gecikmesinin ölçümü ve yorumlanması gecikme ölçümü rehberinde anlatılıyor.

Zaman aşımı değerini proxy’li düzene göre uzatın: programın yanıt zaman aşımı, doğrudan erişim için ayarlanmış bir değerde kaldıysa proxy üzerinden giden yavaş sayfalar hatalı görünür. Değerin nasıl seçileceği proxy timeout rehberinde anlatılıyor; ilkesi aynıdır, sitenizin en yavaş sayfalarının süresinin üstünde bir pay bırakın.

403 ve 429 teşhis sırası: WAF, hız, IP itibarı

Kendi sitenizi tararken 403 yanıtı büyük olasılıkla kendi koruma katmanınızdan gelir. Sıra şöyle: önce WAF ve bot koruması günlüğüne bakın, tarama adresinin hangi kuralla engellendiğini bulun ve izin listesini düzeltin. Kural görünmüyorsa sunucu güvenlik duvarına (fail2ban, barındırma paneli) bakın; yoğun istek, adresi geçici olarak engellemiş olabilir. Üçüncü adım kullanıcı aracı (User-Agent) başlığıdır: bazı koruma katmanları tanınmayan ya da tarayıcıya benzemeyen başlıkları reddeder; SEO Spider başlığını değiştirmeden önce kuralı kendi tarafınızda düzeltmek daha doğrudur, çünkü arama motoru da aynı kuralla karşılaşıyor olabilir.

429 yanıtı hız sınırıdır ve tempoyu sorgular; adresi değiştirmek kendi sitenizde anlamsızdır, sınırı siz koydunuz. İş parçacığı sayısını düşürün ya da tarama adresini hız sınırından muaf tutun. Her iki yanıt da bir müşteri sitesinde geliyorsa, siteyi yöneten ekiple izin listesini birlikte kurmak tek doğru yoldur; müşterinin koruma katmanını kendi başınıza aşmaya çalışmak hem anlaşmaya hem kurallara aykırıdır.

İzin listesi doğru, hız düşük ve yine 403 geliyorsa adresin itibarı sorgulanır: aynı adres daha önce başka bir işte kullanılmış ve bir kara listeye girmiş olabilir. Bu durumda adresin durumunu sağlayıcıyla konuşun ve gerekirse değiştirin. Üç olasılığın ayrılması, engelin IP ile mi davranışla mı ilgili olduğunu gösteren datacenter proxy hataları rehberindeki adımlarla yapılır.

Lokasyon: hreflang ve ülke yönlendirmelerini kontrol

Siteniz ziyaretçinin ülkesine göre dil ya da para birimi sürümü gösteriyorsa, tarama adresinin ülkesi sonucu değiştirir. Hollanda adresinden tarama, siteyi Avrupa ziyaretçisinin gördüğü haliyle getirir; Amerika Birleşik Devletleri adresi, varsa ABD sürümünü. Bu davranış bir test aracıdır: hreflang etiketlerinin ve ülke yönlendirmelerinin doğru çalıştığını, her ülke için ayrı bir sabit adresle tarayarak doğrularsınız. Kataloğun ülke listesi bu testin sınırını da çizer; listede olmayan bir ülkenin görünümü bu yöntemle alınamaz.

Tarama raporunda beklenmedik yönlendirme zincirleri ya da yabancı dilde başlıklar görüyorsanız, önce tarama adresinin ülkesini kontrol edin. Ofis adresinden yapılan tarama ile proxy’li tarama arasındaki farkların çoğu bu noktada açıklanır. Sıra takibi ve arama sonuçlarının lokasyona göre toplanması ayrı bir iştir ve sıra takibi rehberinde anlatılıyor.