Tarama Bütçesi (Crawl Budget) Nedir? Optimizasyon

Tarama bütçesi, Google'ın bir sitede taramak istediği ve sunucuyu yormadan tarayabildiği URL kümesini anlatan bir kavramdır. Çoğu sitede ayrıca uğraşılması gereken bir konu değildir; fakat binlerce filtre kombinasyonu, sürekli değişen stok sayfaları veya yönlendirme zincirleri olan bir sitede Googlebot'un zamanının önemli kısmı değersiz adreslere gidebilir. Bu rehber önce sitenizin gerçekten bu sorunu yaşayıp yaşamadığını test etmenizi, ardından israf kaynaklarını önem sırasına göre azaltmanızı sağlar.

Tarama Bütçesi Nedir ve Kimin İçin Sorun Olur

Google, büyük siteler için tarama bütçesi rehberinde (yeni sekmede açılır) kavramı, Google'ın taramak istediği ve tarayabildiği URL'lerin toplamı olarak tanımlar. Her ana makine adı (hostname) ayrı değerlendirilir; yani blog.ornek.com ile www.ornek.com farklı bütçelere sahiptir. Aynı belge, rehberin ileri düzey olduğunu ve yeni sayfaları yayınlandığı gün taranan sitelerin bu konuyu dert etmesine gerek olmadığını açıkça söyler.

Google'ın kaba tahmin olarak verdiği ölçütler şöyledir: haftada bir değişen bir milyondan fazla benzersiz sayfası olan büyük siteler, her gün değişen on binden fazla sayfası olan orta ve büyük siteler ve Search Console'da "Discovered - currently not indexed" durumunda çok sayıda URL biriktiren siteler. Bu sayılar keskin eşik değil, sınıflandırmaya yardımcı tahminlerdir.

Kendi sitenize uygulamadan önce kısa bir ön test yapın:

• Yeni yayınladığınız önemli sayfalar birkaç gün içinde taranıyor mu, yoksa haftalarca keşfedilmeyi mi bekliyor?
• Sitenizin bildiğiniz sayfa sayısı ile Google'ın bildiği URL sayısı arasında açıklanamayan büyük bir fark var mı?
• Filtre, sıralama, oturum veya takip parametreleri yeni URL'ler üretiyor mu?
• Tarama istatistiklerinde yönlendirme, 404 veya sunucu hatası payı belirgin mi?

Bu soruların çoğuna "hayır" diyorsanız sorununuz büyük olasılıkla tarama bütçesi değil, içerik kalitesi veya indeksleme kararlarıdır. Ayrıca tarama bütçesi bir sıralama faktörü değildir; yalnız sayfaların ne kadar hızlı ve eksiksiz taranacağını etkiler.

Tarama Kapasitesi ve Tarama Talebi Farkı

Tarama bütçesini iki bileşene ayırmak teşhisi kolaylaştırır. Birincisi tarama kapasitesi sınırıdır: Googlebot'un sunucunuza aşırı yük bindirmeden aynı anda açabileceği bağlantı ve bekleme süresinin üst sınırı. Site hızlı ve hatasız yanıt verdiğinde bu sınır yükselebilir; yanıtlar yavaşlarsa, 5xx hataları veya HTTP 429 gibi hız sınırlama sinyalleri gelirse düşer.

İkincisi tarama talebidir: Google'ın sitenizi ne kadar taramak istediği. Google belgesi bunu üç etkene bağlar. Algılanan envanter, Google'ın bildiği URL'lerin tamamıdır; bu listede kopya veya istenmeyen adresler çoksa tarama zamanı boşa gider. Popülerlik, daha çok ilgi gören URL'lerin daha sık taranmasıdır. Güncellik ise değişen sayfaların değişikliği yakalayacak sıklıkta yeniden ziyaret edilmesidir.

Bu ayrım pratikte şu anlama gelir: Kapasite sorununu sunucu tarafında, talep sorununu ise URL envanteri ve içerik değeri tarafında çözersiniz. Sunucuyu güçlendirmek, Google'ın taramak istemediği zayıf sayfalara ilgi yaratmaz. Tersine, mükemmel bir envanter de sürekli zaman aşımına düşen bir sunucuda yeterince taranamaz. Teşhise başlarken hangi tarafta tıkandığınızı yazılı olarak not edin; sonraki bütün kararlar bu notu referans alır.

Search Console Tarama İstatistikleri Raporunu Okumak

Tarama istatistikleri raporu, Search Console'da Ayarlar bölümünün altında yer alır ve yalnız alan adı mülklerinde veya kök düzeyindeki URL ön eki mülklerinde çalışır. Rapora ait yardım sayfası (yeni sekmede açılır) üç ana grafiği tanımlar: toplam tarama isteği, toplam indirme boyutu ve ortalama yanıt süresi.

Raporu okurken şu sırayı izlemek işe yarar:

1. Ana makine durumu: robots.txt getirme, DNS çözümleme ve sunucu bağlantısı başlıklarında son 90 günde sorun var mı? Buradaki sorunlar kapasiteyi doğrudan düşürür.
2. Yanıta göre dağılım: 200 dışındaki kodların payına bakın. Yönlendirmeler ve 404'ler tek başına sorun değildir, ama payları büyüyorsa israf işaretidir.
3. Dosya türüne göre dağılım: HTML dışında JavaScript, CSS ve görsel isteklerinin ağırlığını görün. Render için gereken kaynaklar da taranır.
4. Amaca göre dağılım: "Keşif" yeni URL'leri, "Yenileme" bilinen URL'lerin tekrar ziyaretini gösterir. Yeni içerik yayınladığınız halde keşif payı düşükse talep veya bağlantı sorunu olabilir.
5. Googlebot türü: Akıllı telefon, masaüstü, görsel ve sayfa kaynağı yükleme gibi türlerin dağılımına bakın.

Her dağılım satırına tıkladığınızda örnek URL'ler görürsünüz. Bu örnekler tam liste değildir, ama hangi URL kalıbının istek tükettiğini anlamak için yeterli ipucu verir.

Tarama Bütçesini Tüketen URL Türleri

İsraf genellikle tek bir büyük hatadan değil, aynı kalıbı tekrarlayan çok sayıda küçük adresten doğar. Tarama istatistiklerindeki örnek URL'leri gruplarken şu türlere dikkat edin:

• Kopya içerik varyantları: Büyük/küçük harf farkı, sonda eğik çizgi, http ve https ya da www ile www'suz sürümler.
• Parametreli adresler: Sıralama, görünüm, oturum kimliği ve kampanya takip parametreleri.
• Sayfalandırma derinliği: Ürün kalmamış ya da boş dönen sayfa numaraları. Kategori listelerinde doğru kurguyu kategori sayfalandırma rehberinde ayrıntılı ele aldık.
• Soft 404 sayfaları: İçeriği yok ama 200 kodu dönen arama sonucu veya stok dışı sayfaları. Google bunların taranmaya devam ettiğini belirtir.
• Render kaynakları: Her sayfada farklı sürüm numarasıyla çağrılan JavaScript ve CSS dosyaları. İstemci tarafında üretilen içerikte tarama ile render ilişkisini JavaScript SEO ve render süreci yazısında anlattık.

Önemli olan, bu türleri tek tek değil kalıp olarak ele almaktır. Bir parametrenin üç bin adres ürettiğini görmek, o üç bin adresi tek tek incelemekten çok daha hızlı karar verdirir. Her kalıp için "bu adresin aramada var olması bir kullanıcıya yarar mı?" sorusunu sorun; cevap hayırsa o kalıp israf listenize girer.

Filtre, Parametre ve Sonsuz URL Alanları

E-ticaret ve ilan sitelerinde en büyük tarama tüketicisi genellikle filtre birleşimleridir. Renk, beden, fiyat aralığı ve marka filtreleri birbirine eklendikçe olası URL sayısı katlanarak büyür. Takvim bileşenleri, sonsuz "sonraki gün" bağlantıları veya göreli bağlantı hatalarından doğan tekrar eden dizin yolları da benzer "sonsuz alanlar" yaratır.

Bu alanları yönetirken sıra şöyle olmalıdır. Önce arama talebi olan filtre birleşimlerini belirleyin; bunlar taranabilir ve indekslenebilir kalabilir. Ardından değeri olmayan birleşimler için iç bağlantıları kesin, yani bu adreslere tarayıcıların izleyebileceği a href bağlantıları üretmeyin. Son olarak tamamen gereksiz kalıpları robots.txt ile engelleyin. Hangi filtrenin indekslenmeye değer olduğunu belirleme yöntemini filtre URL'leri ve faceted navigation rehberinde adım adım bulabilirsiniz.

Burada sık yapılan hata, noindex etiketini tarama tasarrufu aracı sanmaktır. Google belgesi açıkça, noindex verilmiş sayfaların yine istendiğini ve ancak sonra bırakıldığını belirtir. Yani noindex indekslemeyi durdurur, taramayı durdurmaz. Taramayı azaltmak istiyorsanız robots.txt engeli gerekir; ancak robots.txt ile engellenen sayfadaki noindex etiketi de görülemez. Bu yüzden önce indeksten çıkmasını istediğiniz sayfaların düşmesini bekleyip sonra engellemek daha kontrollü bir yoldur.

Yönlendirme ve Hata Kodlarının Tarama Maliyeti

Her yönlendirme, Googlebot için ek bir istek demektir. Tek adımlı kalıcı yönlendirmeler doğal ve kabul edilebilir bir maliyettir; sorun, iç bağlantıların eski adreslere işaret etmeye devam etmesi ve yönlendirmelerin zincir halinde birbirine bağlanmasıdır. Google belgesi uzun yönlendirme zincirlerinin taramayı olumsuz etkilediğini belirtir.

Hata kodlarında ise ayrım önemlidir:

• 404 ve 410: Kalıcı olarak kaldırılan sayfalar için doğru yanıttır. Google, 404 kodunun o URL'nin tekrar taranmaması için güçlü bir sinyal olduğunu söyler.
• Soft 404: Sayfa yok ama sunucu 200 döner. Tarama devam eder, israf büyür. Boş arama sonuçları ve stok dışı ürün sayfaları tipik örneklerdir.
• 5xx hataları: Sunucu sorunu sinyalidir ve tarama kapasitesini düşürür. Kısa süreli bakım için 503 doğru seçimdir, ancak uzun süre devam etmemelidir.
• 304 Not Modified: Değişmemiş sayfalarda bu yanıtı desteklemek, Google'ın önbellekteki kopyayı kullanmasına imkan tanır.

Pratik bir kural olarak, iç bağlantılarınızın son hedef adrese doğrudan gitmesini sağlayın. Sitemap'te yalnız 200 dönen ve canonical olan adresler bulunsun. Kaldırdığınız sayfaları ana sayfaya toplu yönlendirmek yerine, karşılığı varsa ilgili sayfaya, yoksa 404 veya 410'a bırakın.

Sunucu Yanıt Süresi ve Tarama Kapasitesi

Tarama kapasitesi sunucunun sağlığına bağlı olarak otomatik ayarlanır. Sayfalar hızlı yüklenirse Google aynı sürede daha fazla içerik okuyabilir. Tarama istatistiklerindeki ortalama yanıt süresi grafiğinde ani sıçramalar, büyük kampanya veya yayın günlerine denk geliyorsa sunucu kaynakları darboğaz olabilir.

Kapasiteyi korumak için şu adımlara bakın: veritabanı sorgularının önbelleğe alınması, statik dosyaların sıkıştırılıp uzun süreli önbellekle sunulması, render için gereken kaynak sayısının azaltılması ve eş zamanlı bot trafiğinde sunucunun 5xx yerine düzgün yanıt verebilmesi. Barındırma planınızın yoğun anlarda yetip yetmediğini ölçmek de bu adımlardan biridir.

Googlebot'un tarama hızını elle artırmanın bir yolu yoktur. Google, tarama ihtiyacı varsa ve site sağlıklı kalırsa sınırın kendiliğinden yükseldiğini belirtir. Sık sorulan bir başka konu da robots.txt içindeki crawl-delay satırıdır. Google'ın robots.txt belirtimi (yeni sekmede açılır), desteklenen alanları user-agent, allow, disallow ve sitemap olarak sayar ve crawl-delay alanının desteklenmediğini açıkça yazar. Bu satır başka tarayıcılar için anlam taşıyabilir, ama Googlebot üzerinde etkisi yoktur. Acil durumda taramayı geçici olarak yavaşlatmanız gerekiyorsa kısa süreli 503 veya 429 yanıtları kapasiteyi düşürür; bunu kalıcı bir yöntem olarak kullanmayın.

Sitemap, İç Link ve Güncellik Sinyalleri

Tarama talebini doğru adreslere yönlendirmenin iki ana aracı vardır: sitemap ve iç bağlantı yapısı. Sitemap, taranmasını istediğiniz içeriğin listesidir. Google belgesi, güncellenen içerik için lastmod etiketinin kullanılmasını önerir. Bu tarih yalnız içerikte anlamlı bir değişiklik olduğunda güncellenmelidir; her gün otomatik olarak bugünün tarihini basmak, sinyali değersizleştirir.

Sitemap'in tarama bütçesine katkısı, içindeki adreslerin temiz olmasına bağlıdır. Yönlendirilen, 404 dönen, noindex verilen veya başka bir adrese canonical gösteren URL'ler sitemap'te kaldıkça Google'a çelişkili sinyal gönderirsiniz. Sitemap dosyalarınızı bu açıdan nasıl denetleyeceğinizi XML sitemap denetimi ve hata çözümü yazısında anlattık.

İç bağlantılar ise önemi gösterir. Ana sayfadan veya güçlü kategori sayfalarından birkaç tıkla ulaşılan sayfalar daha kolay keşfedilir. Tersine, yalnız sitemap'te bulunan ve hiçbir sayfadan bağlantı almayan bir URL için Google'ın önem tahmini zayıf kalır. Yeni ürün veya içerik yayınladığınızda onu ilgili kategori ve hub sayfalarına bağlamak, keşif sürecini sitemap'i beklemekten daha güvenilir kılar.

Büyük sitelerde sitemap'i şablon türüne göre bölmek de teşhis için yararlıdır. Ürün, kategori ve içerik sayfalarını ayrı sitemap dosyalarında tuttuğunuzda Search Console'da her grubun ne kadarının dizine girdiğini ayrı ayrı izleyebilir, sorunun hangi şablonda yoğunlaştığını daha çabuk görürsünüz.

Logla Tarama Dağılımını Doğrulamak

Search Console örnekleme ve toplu veri sunar; sunucu logları ise her isteği tek tek gösterir. Tarama bütçesi analizinde logların asıl katkısı, Googlebot'un hangi URL kalıplarına ne kadar zaman ayırdığını tam olarak görmenizi sağlamasıdır.

Log analizinde şu soruları cevaplayın: Googlebot isteklerinin ne kadarı parametreli adreslere gidiyor? En çok istenen URL'ler gerçekten en önemli sayfalarınız mı? Hiç ziyaret edilmeyen önemli şablonlar var mı? Yanıt süresi hangi kalıplarda yükseliyor? Bu soruları cevaplarken user-agent satırını tek başına kanıt saymayın; kendini Googlebot olarak tanıtan isteklerin gerçekten Google'dan geldiğini ters DNS veya Google'ın yayımladığı IP aralıklarıyla doğrulamak gerekir.

Log dosyasını toplama, temizleme ve bot doğrulama adımlarını SEO için sunucu log analizi rehberinde ayrıntılı işledik. Tarama bütçesi çalışmasında bu analizin çıktısı, bir sonraki bölümde göreceğiniz öncelik tablosunun "tüketim payı" sütununu besler. Robots.txt değişikliği yaptıktan sonra da etkisini önce logda görürsünüz; engellediğiniz kalıba gelen isteklerin azalması, kuralın doğru çalıştığının ilk işaretidir. Kuralı yayına almadan önce yanlışlıkla önemli bir dizini kapatmadığınızdan emin olmak için robots.txt testinde tarama engellerini bulma yazısındaki kontrol adımlarını uygulayın.

Popülerlik, Bağlantılar ve Tarama Talebi

Google, tarama talebini belirleyen etkenlerden birini popülerlik olarak tanımlar: internette daha popüler olan URL'ler, dizinde güncel tutulmak için daha sık taranma eğilimindedir. Belge, popülerliğin nasıl ölçüldüğünü ayrıntılandırmaz. Bu nedenle "backlink alırsanız tarama bütçeniz şu kadar artar" gibi kesin bir hüküm kurmak doğru olmaz.

Söylenebilecek olan daha dikkatli bir çerçevedir. Dış bağlantılar, Google'ın bir sayfayı keşfetme yollarından biridir ve bir sayfanın başka sitelerce referans gösterilmesi ilgi gördüğünün işaretlerinden biri olabilir. Ancak bağlantı almak, zayıf veya kopya sayfaların taranma önceliğini kurtarmaz; envanterdeki israfı da ortadan kaldırmaz. Önce teknik israfı azaltıp sonra değerli sayfalara dikkat çekmek daha sağlam bir sıralamadır.

Bunu somutlaştırmak için şöyle bir durumu düşünün: Kurgusal bir ev tekstili mağazası, yeni sezon koleksiyon sayfasının iki haftadır taranmadığını fark ediyor. Loglarda Googlebot isteklerinin büyük bölümünün renk ve fiyat filtresi birleşimlerine gittiği görülüyor. Ekip önce bu birleşimlere giden iç bağlantıları kaldırıyor ve gereksiz kalıbı robots.txt ile engelliyor, ardından koleksiyon sayfasını ana menüye ve ilgili kategori metinlerine bağlıyor. Ancak bundan sonra koleksiyon sayfası için dış tanıtım çalışması planlıyor. Sıra burada belirleyicidir: talep yaratmadan önce talebin israf edildiği yolları kapatmak.

Örnek Şablon: Tarama İsrafı Öncelik Tablosu

Aşağıdaki örnek şablon, logdan ve Search Console'dan topladığınız URL kalıplarını önceliklendirmek için kullanılabilir; değerler kurgusal bir site için örnek değerlerdir ve kendi verinizle değiştirilmelidir.

Tabloyu doldururken her satır için bir sorumlu ve bir kontrol tarihi belirleyin. Aksiyondan sonraki dönemde logları ve tarama istatistiklerini aynı kalıp üzerinden yeniden ölçerek değişikliğin beklenen yönde olup olmadığını doğrulayın. Tüketim payı yüksek ama arama değeri olan bir kalıp görürseniz onu engellemeyin; sorun büyük olasılıkla yanıt süresi veya kopya varyant üretimidir.

Sıkça Sorulan Sorular

Küçük bir sitenin tarama bütçesini dert etmesi gerekir mi?

Genellikle hayır. Google, yeni sayfaları yayınlandığı gün taranan ve hızla değişen çok sayıda sayfası olmayan sitelerin tarama bütçesi rehberine ihtiyaç duymadığını belirtir. Küçük sitelerde keşif sorunları çoğunlukla zayıf iç bağlantı veya indeksleme kararlarından kaynaklanır.

Tarama bütçesi sıralamayı etkiler mi?

Tarama bütçesi bir sıralama faktörü değildir. Bir sayfanın taranması, indekslenmesi ve sıralanması ayrı aşamalardır. Tarama verimliliği yalnız önemli sayfaların ve güncellemelerin Google'a ne kadar çabuk ulaştığını etkiler.

robots.txt ile engellemek tarama bütçesi kazandırır mı?

Evet, robots.txt ile engellenen URL'ler taranmaz ve bu süre başka adreslere kalabilir. Ancak engellenen sayfadaki noindex etiketi görülemez ve sayfa başka sitelerden bağlantı alıyorsa URL'si yine dizinde görünebilir. Engelleme kararını yalnız arama değeri olmayan kalıplar için verin.

Noindex sayfalar tarama bütçesi harcar mı?

Evet. Google belgesine göre noindex verilmiş sayfalar yine istenir, sonra dizinden bırakılır. Noindex indekslemeyi kontrol eder, taramayı azaltmaz.

Googlebot tarama sıklığını elle artırabilir miyim?

Hayır, tarama sıklığını artırmak için bir ayar yoktur ve robots.txt içindeki crawl-delay satırı Googlebot tarafından desteklenmez. Sunucunun hızlı ve hatasız yanıt vermesi ile değerli, güncel içerik sunulması sınırın kendiliğinden yükselmesine zemin hazırlar.

Backlinkler tarama talebini etkiler mi?

Google, daha popüler URL'lerin daha sık tarandığını söyler, ancak popülerliğin nasıl hesaplandığını açıklamaz. Dış bağlantılar keşif yollarından biridir ve ilginin işaretlerinden biri olabilir; yine de tarama talebini belirli bir oranda artırdıkları kesin olarak söylenemez.

Sonuç ve Sonraki Adım

Tarama bütçesi çalışması, sitenizin bu sorunu gerçekten yaşayıp yaşamadığını test ederek başlar. Sorun varsa önce kapasite ile talebi ayırın, ardından parametre, filtre, yönlendirme ve soft 404 kaynaklı israfı öncelik tablosuyla azaltın, değişikliklerin etkisini log ve tarama istatistikleriyle ölçün. Her adımı tek seferde değil, kalıp kalıp uygulayın; böylece hangi değişikliğin hangi sonucu doğurduğunu ayırt edebilir, gerektiğinde geri alabilirsiniz. Teknik altyapı temizlendikten sonra önemli sayfalarınıza dışarıdan ilgi çekmeyi planlıyorsanız backlink paketlerini inceleyebilir, ürün sayfasındaki ayrıntıları kendi önceliklerinizle karşılaştırarak karar verebilirsiniz.