Sözlük
Tarama bütçesi
Kısaca: Tarama bütçesi, bir tarayıcının belirli bir sürede bir siteden getirmeye istekli ve muktedir olduğu sayfa sayısıdır; sunucu kapasitesi ve algılanan değere göre belirlenir.
Tarama bütçesi, bir tarayıcının bir sitenin ne kadarını getireceğinin pratik sınırıdır. Tarama hızı sınırını (tarayıcının sunucuya zarar vermeden sayfaları ne kadar hızlı isteyebileceği) ve tarama talebini (popülerlik ve güncelliğe bağlı olarak tarayıcının o sayfaları ne kadar istediği) birleştirir. Googlebot'un bir bütçesi vardır; GPTBot, ClaudeBot, PerplexityBot ve OAI-SearchBot'un da her birinin kendi kurallarıyla vardır.
Birkaç yüz sayfalık küçük siteler için bütçe nadiren sorun olur. Site çok sayıda düşük değerli URL ürettiğinde soruna dönüşür: çok yönlü (faceted) gezinme, takvim sayfaları, oturum parametreleri, sonsuz kaydırma, canonical'sız kopya yollar veya yönlendirme zincirleri. Tarayıcı payını bunlara harcar ve gerçekten atıf almasını istediğiniz hizmet sayfalarına hiç ulaşamayabilir ya da onları yenileyemeyebilir.
Yapay zekâ tarayıcıları Googlebot'tan daha agresif olabilir; bu da site sahiplerini onları tamamen engellemeye yöneltir. CDN üzerinden kısıtlama veya bazı botların uyduğu Crawl-delay yönergesi, sizi yük altında bırakmadan ulaşılabilir tutar.
Bütçeyi korumanın yolları:
- Yönlendirme zincirlerini ve 4xx/5xx sayfalarını düzeltin.
- Canonical ekleyin ve parametreli kopyaları
robots.txtiçinde engelleyin. - Doğru bir site haritası tutun ve yetim sayfaları kaldırın.
- Sunucu yanıt süresini iyileştirin.
Seoptist'in denetimi (Starter'da 100 sayfa, Growth'ta ve Agency müşterisi başına 500 sayfa) bunların her birini kontrol listesi maddesi olarak ortaya çıkarır.