Yapay Zeka İçin Web Verisi Toplama: Datacenter Proxy Nerede Gerekir, Nerede Gerekmez?

Önce gerek var mı: Common Crawl, resmi API’ler ve açık veri setleri

Eğitim ya da arama destekli üretim (RAG) için web verisi toplamaya başlamadan önce üç hazır kaynağı eleyin. Birincisi Common Crawl: kendi sitesinin ifadesiyle 2008’den beri düzenli olarak toplanan petabaytlarca veri içeren bir derlem ve Amazon’da barındırılan kopyaya erişim ücretsiz. Tarama kimlikleri CC-MAIN-2026-43 gibi yıl ve hafta numarasıyla yayımlanıyor; bir hedefin sayfaları derlemde varsa onları yeniden indirmenin anlamı yoktur. Derlem genel amaçlıdır ve her siteyi her hafta kapsamaz; kendi hedef listenizin derlemdeki kapsamını indeks sorgusuyla kontrol edip yalnız eksik kalanı taramak, hem GB hem itibar maliyetini düşürür.

İkincisi resmi API’ler. Haber, e-ticaret, forum ve sosyal platformların çoğu bir API sunar; kota, kimlik ve kullanım şartı bellidir ve veri yapılandırılmış gelir. API ile alınabilen veriyi HTML’den kazımak, hem opt-out tartışmasını gereksiz yere açar hem de ayrıştırma hatasını sizin tarafınıza taşır. Üçüncüsü açık veri setleri: kamu kurumlarının açık veri portalları, akademik derlemler ve lisansı açıkça yazılmış veri setleri. Bu üç kaynaktan sonra kalan ihtiyaç, çoğu projede başlangıçta sanılandan çok daha küçüktür ve proxy kararı bu küçük kalan üzerinden verilir.

Common Crawl’ın bir de opt-out kaydı var: derlemin sitesinde Opt-Out Ledger bağlantısı, taranmak istemeyen hak sahiplerinin kaydına işaret ediyor. Kendi tarayıcınızı kurduğunuzda bu kaydı bir referans listesi olarak kullanmak, ayrı ayrı sinyal aramadan önce bilinen istemeyenleri eleyen pratik bir adımdır.

Eğitim korpusu ile RAG tazeliği farklı işlerdir

İki iş aynı araçla yapılır ama farklı şekil alır. Eğitim korpusu bir kez toplanır, büyük hacimlidir, tazelik önemsizdir; bir sayfanın üç ay önceki hâli de işe yarar. Burada belirleyici maliyet toplam GB ve toplam istek sayısıdır. RAG ise küçük bir kaynak kümesini sık sık yeniden okur; önemli olan değişikliği yakalamaktır. Burada belirleyici maliyet istek sıklığı ve hedefin bu sıklığa gösterdiği tepkidir. Eğitim korpusu için bir defalık toplu tarama GB bazlı rotating IPv4 ile, RAG tazeliği için düzenli ve düşük hacimli tarama adet bazlı static IPv4 ile daha iyi eşleşir; neden böyle olduğu aşağıdaki proxy bölümünde açıklanır.

RAG tarafında tarama sıklığını kaynağın değişim hızı belirler. Günde bir kez değişen bir fiyat sayfasını saatte bir okumak, 23 gereksiz istek üretir ve hedefin hız sınırına yaklaşır. Her kaynak için son değişiklik zamanını kaydedin; HTTP’nin koşullu istek mekanizması (If-Modified-Since ve ETag) değişmeyen sayfa için 304 döndürür ve gövde indirmez. Değişim sıklığı ölçüldükten sonra tarama aralığı o sıklığa göre ayarlanır; bu hem GB tasarrufudur hem de hedefe karşı en savunulabilir davranıştır.

Eğitim korpusunda ise sıra ve tekilleştirme öne çıkar. Aynı içeriğin farklı URL’lerdeki kopyaları (parametreli adresler, mobil sürümler, yazdırma görünümleri) hem GB’yi hem korpusu şişirir. Tarama sırasında kanonik adresi (sayfanın kendi canonical etiketi) kaydedip aynı kanonik adrese ikinci kez gitmemek, toplu taramanın en ucuz optimizasyonudur.

Opt-out sinyalleri: robots.txt, TDMRep ve AI Act 53(1)(c)

Avrupa Birliği hukukunda metin ve veri madenciliği istisnası 2019/790 sayılı Direktif’in 4. maddesinde düzenlenir. Dördüncü fıkra, istisnanın yalnız hak sahibinin kullanımı uygun biçimde açıkça saklı tutmamış olması koşuluyla uygulandığını söyler ve çevrimiçi kamuya açık içerik için uygun biçim olarak makine okunur araçları (metinde “machine-readable means”) örnek gösterir. 2024/1689 sayılı AI Act’in 53(1)(c) maddesi ise genel amaçlı yapay zeka modeli sağlayıcılarına, Birlik telif hukukuna uyan bir politika kurma ve bu politikanın özellikle 4(3) uyarınca ifade edilen hak saklama beyanlarını, metnin ifadesiyle “state-of-the-art technologies” dahil olmak üzere, tanıyıp uyma yükümlülüğü getirir. Madde 53 yükümlülükleri, maddeyi özetleyen kaynağa göre 2 Ağustos 2025’ten itibaren uygulanır; yaptırım takvimi bu rehberde doğrulanamadığı için yazılmadı.

Makine okunur beyan pratikte üç sinyal demektir. Birincisi robots.txt: RFC 9309 ile standartlaştırılan Robots Exclusion Protocol, dosyanın hizmetin kök yolunda “/robots.txt” adıyla ve küçük harfle bulunmasını zorunlu kılar; user-agent gruplarıyla allow ve disallow satırları tanımlar ve en çok sekizli eşleşen, yani en özgül kural geçerli olur. RFC önbellek için tarayıcıların dosyayı 24 saatten uzun kullanmaması gerektiğini söyler; dosya 4xx dönerse tarayıcı herhangi bir kaynağa erişebilir, 5xx dönerse tam yasak varsaymak zorundadır. RFC aynı zamanda kuralların bir erişim yetkisi biçimi olmadığını ve güvenlik önlemi yerine geçmediğini açıkça yazar; yani robots.txt uyumu gönüllü bir anlaşma zeminidir, ama Direktif’in aradığı makine okunur beyanın en yaygın taşıyıcısıdır.

İkincisi TDMRep: W3C topluluk grubunun 10 Mayıs 2024 tarihli son raporu, hak saklama beyanını üç yerde taşır. Site geneli için /.well-known/tdmrep.json dosyası, yanıt başlığı olarak tdm-reservation ve tdm-policy, HTML için aynı adlı meta etiketleri. Değer 1 hakların saklı tutulduğunu, 0 saklı tutulmadığını söyler; başka bir değer protokol hatasıdır ve tanımsız kabul edilir. Rapor, CDSM Direktifi 4. maddesindeki opt-out’un tdm-reservation değeri 1 ile ifade edildiğini açıkça yazar ve öncelik sırasını verir: önce site geneli dosya, sonra HTTP başlığı, sonra HTML meta; her sonraki önceki değeri geçersiz kılar. Rapor HTTP başlığını şu anda tercih edilen teknik olarak niteler. tdm-policy ise hak sahibinin politikasının adresidir; lisans koşulları orada okunur.

Üçüncüsü ai.txt gibi sektör girişimleri ve hizmet şartlarındaki açık yasaklar. Bu rehber yazılırken ai.txt’nin resmi sayfasına erişilemediği için biçimi burada anlatılmıyor; tarayıcınızın en azından robots.txt ve TDMRep’i okuması, hizmet şartlarında “otomatik toplama” ya da “makine öğrenmesi” ifadelerini kaynak listesine not etmesi gerekir. Üç sinyalden biri saklı tutma diyorsa o kaynak listeden çıkar ya da hak sahibinden yazılı izin alınır. Proxy bu kararı değiştirmez.

Datacenter proxy’nin rolü: hacim, sabit çıkış adresi ve maliyet

Sinyal kontrolünden geçen kaynak listesi için proxy üç iş görür. Birincisi hacim: tek bir sunucu IP’sinden binlerce hedefe günlerce istek atmak, o adresin itibarını yıpratır ve sunucunuzun diğer işlerini (e-posta, API, panel) aynı itibar altında taşır. Taramayı datacenter proxy üzerinden çıkarmak, sunucu adresini bu yükten ayırır. İkincisi sabit çıkış adresi: birçok kaynak, araştırma ya da kurumsal tarayıcılar için izin listesi tutar; static IPv4 ürünündeki adres size ayrılmıştır, hedefe yazdırılabilir ve değişmez. Üçüncüsü maliyet: datacenter proxy, residential’a göre birim başına ucuzdur ve yapay zeka veri toplamada hedeflerin büyük çoğunluğu konut adresi aramaz; haber siteleri, forumlar, belgeler ve açık kataloglar bir datacenter adresine sayfayı olduğu gibi verir.

DatacenterProxy kataloğundaki ürünler bu üç işe şöyle dağılır. Adet bazlı static IPv4: RAG tazeliği gibi düzenli, düşük hacimli, izin listesine yazılacak işler; paketler 100, 250, 500 ve 1.000 adetlik gruplar hâlindedir. GB bazlı rotating IPv4: eğitim korpusu gibi bir defalık toplu tarama; 2, 10, 20, 50 ve 100 GB’lık paketler tek seferlik alınır ve süre sınırı yoktur. Static IPv6 ve port bazlı rotating IPv6: IPv6 üzerinden erişilebilen hedeflerde çok sayıda adresle düşük maliyetli ölçek; hangi hedeflerin IPv6’yı kabul ettiği IPv6 hedef uyumu rehberinde anlatılır. Ülke listeleri ürün sayfalarındadır; buraya yazılmaz, çünkü değişir.

Datacenter adresinin yetmediği yer bellidir: konut adresi isteyen, datacenter ASN’lerini topluca engelleyen hedefler. Bu rehber o hedefleri kapsamaz; bir kaynak datacenter trafiğini engelliyorsa bunu, robots.txt’deki disallow satırı gibi, bir tercih beyanı olarak okuyun. Residential ya da başka bir yolla aynı kaynağa girmek, bu rehberin konusu olan uyumlu toplama hattının dışındadır. Engelin türünü ayırt etmek için ASN engelleme rehberine bakın; engel değil hız sınırıysa çözüm tempoyu düşürmektir.

Örnek hesap, varsayımlar açık: 50.000 sayfalık bir kaynak listesi, sayfa başına ortalama 80 KB HTML olsun. Toplam ham aktarım yaklaşık 4 GB eder; koşullu istek ve kanonik tekilleştirme ile ikinci turda bunun küçük bir kısmı iner. Aynı listeyi RAG için günde bir kez kontrol ediyorsanız ve sayfaların yalnız yüzde 5’i değişiyorsa, 304 yanıtları gövde taşımadığı için günlük aktarım 200 MB civarında kalır. Birinci iş GB paketine, ikinci iş sabit adrese oturur. Rakamlar yalnız bu varsayımlar için geçerlidir; kendi listenizin sayfa boyutunu ve değişim oranını ilk turda ölçün.

Hattın geri kalanı: kaynak listesi, tekilleştirme ve tazelik

Proxy hattın yalnız taşıma katmanıdır; hattın kendisi dört parçadan oluşur. Kaynak listesi: her kaynak için alan adı, robots.txt ve TDMRep kontrol sonucu, hizmet şartı notu, son kontrol tarihi ve izin durumu tek bir tabloda tutulur. Bu tablo olmadan uyum iddiası doğrulanamaz; bir kaynak sonradan tdm-reservation’ı 1 yaptığında listeden çıkarıldığını göstermeniz gerekir. Tarama kuyruğu: adresler kanonik hâle getirilip tekilleştirilir, hedef başına eşzamanlılık ve bekleme değeri tanımlanır, başarısız adresler aynı tempoda tekrar edilmez.

Depolama ve köken kaydı: her belge, alındığı adres, alınma zamanı, HTTP durum kodu, Content-Type ve sayfadaki lisans ya da telif notuyla birlikte saklanır. Modelin eğitim verisi özeti ya da RAG kaynağı gösterimi istendiğinde bu alanlar cevabın kendisidir. Tazelik: RAG kaynakları için değişim oranı ölçülür ve tarama aralığı o orana göre belirlenir; eğitim korpusu için tarama tarihi derlemin sürüm adı olur ve aynı derlem yeniden toplanmaz, yalnız yeni sürüm açılır.

Hız kontrolü hattın bir parçasıdır. Hedef başına istek aralığı, hedefin robots.txt dosyasında bir gecikme ipucu varsa ona, yoksa sitenin boyutuna göre belirlenir; bir blog ile bir ulusal haber sitesinin kaldıracağı tempo aynı değildir. 429 ya da 503 dönen hedefte aralık otomatik olarak açılır ve o hedefe adres değiştirerek devam edilmez. Datacenter proxy ile aynı hedefe çok sayıda adresten yüklenmek, hedefin IP başına koyduğu sınırı aşmanın bir yoludur ve bu rehberin kapsamı dışındadır; eşzamanlılık değeri hedefin toplam yüküne göre verilir.

Tarayıcınızı tanıtın: User-Agent, iletişim adresi ve hız sınırı

Uyumlu toplama hattının en görünür parçası User-Agent başlığıdır. Tarayıcınıza bir ad verin, sürüm ekleyin ve bir iletişim adresi ya da açıklama sayfası koyun: ad/sürüm (+https://alan-adiniz/tarayici) biçimi yaygındır. Bu başlık üç iş görür: hedef site kayıtlarında kimin geldiğini görür ve isterse robots.txt’de o ada özel kural yazar; yönetici sorun yaşarsa size ulaşır; sizin robots.txt ayrıştırıcınız hangi user-agent grubunun kendisine uygulanacağını bilir. Tarayıcı kimliğini bir masaüstü tarayıcısı gibi göstermek, kaynağın size özel kural yazma imkânını elinden alır ve uyum iddiasını zayıflatır.

Açıklama sayfasında ne topladığınızı, ne amaçla kullandığınızı, hangi sinyallere uyduğunuzu ve taramadan çıkmak isteyenin ne yapacağını yazın. Bu sayfa hem hedef yöneticileri için hem de ileride veri kaynağını göstermeniz gerektiğinde sizin içindir. Static IPv4 kullanıyorsanız çıkış adreslerinizi de bu sayfada listeleyin; izin listesine yazmak isteyen yönetici adresleri oradan alır ve sabit adresin asıl değeri burada ortaya çıkar.

Son kontrol listesi: Common Crawl kapsamı ve API varlığı her kaynak için bakıldı mı; robots.txt ve TDMRep sonuçları tarih ile kaydedildi mi; hizmet şartlarındaki otomatik toplama maddeleri not edildi mi; User-Agent adı, sürümü ve iletişim adresi var mı; hedef başına istek aralığı ve eşzamanlılık tanımlı mı; 429 ve 503’te tempo düşüyor mu; her belge köken bilgisiyle saklanıyor mu; eğitim ve RAG işleri ayrı ürünle ve ayrı aralıkla mı yürüyor; datacenter adresini engelleyen kaynak listeden çıkarıldı mı. Bu liste hukuki görüş değildir; uygulanacak hukuk kaynağın ülkesine, verinin türüne ve işin amacına göre değişir ve bu konuda uzman görüşü alınmalıdır.