Arama Motorlarını Engelle Kutusu ve Unutulan noindex

WordPress'te "Discourage search engines from indexing this site" kutusu işaretliyse sitenin her sayfası arama motorlarına "dizine ekleme" isteği gönderir. Geliştirme sırasında işe yarayan bu kutu, canlıya geçişte işaretli kalırsa yeni site aylarca aramada görünmeyebilir. Siteyi sıfırdan kuran bir işletme sahibiyseniz, bir müşterinin sitesini yayına alan ajanssanız ya da "sitem Google'da neden yok" sorusunun cevabını arıyorsanız, kutunun ne yaptığını, nerede yetmediğini ve canlıya geçişte nasıl kontrol edileceğini burada bulabilirsiniz.

Kutu ne yapar

WordPress belgesindeki Settings Reading screen (yeni sekmede açılır) sayfası kutuyu "Search Engine Visibility" başlığı altında anlatır. Kutuyu işaretlemek arama motorlarına siteyi dizine eklememelerini söylemek anlamına gelir. Belgedeki cümlenin sonu önemlidir: bu seçeneklerin hiçbiri siteye erişimi engellemez, isteğe uyup uymamak arama motorlarına bağlıdır. Yani kutu bir kilit değil, bir ricadır. Arayüzü Türkçe kullanıyorsanız etiket adı farklı görünebilir.

Belgeye göre kutu işaretlendiğinde şunlar olur:

• Sürüm 5.3'ten itibaren sitenin head bölümüne (tema wp_head kullanıyorsa) "noindex,nofollow" değerli bir robots meta etiketi eklenir.
• Güncelleme hizmetlerine (ping servisleri) bildirim gönderilmez.
• Yazma ayarlarındaki "Update Services" seçeneği gizlenir.
• Normal ziyaretçiler siteye girmeye devam eder.

Kutunun sürüm geçmişi

Sürüm numaraları belgeden alınmıştır ve sürümle değişebilir; uygulamadan önce güncel belge sayfasına bakın. Önemli sonuç şudur: modern bir kurulumda kutunun asıl etkisi robots.txt'ten değil, sayfa içindeki meta etiketten gelir.

noindex ve nofollow etiketi nasıl okunur

Google'ın robots meta etiketi belgesi (yeni sekmede açılır) iki direktifi şöyle tanımlar: noindex, sayfayı, medyayı ya da kaynağı arama sonuçlarında göstermeme isteğidir; nofollow, sayfadaki bağlantıları izlememe isteğidir. "none" değeri "noindex, nofollow" ile eşdeğerdir. Yani WordPress'in eklediği etiket, Google'ın "none" olarak da yazılabilen birleşimine karşılık gelir.

Çakışan kurallarda hangisi geçerli

Aynı belge, robots kuralları çakıştığında daha kısıtlayıcı olanın geçerli olduğunu yazar. Bunun pratik sonucu: kutu işaretliyse ve SEO eklentisi sayfaya "index" diyorsa bile noindex etkili olur. Bir sayfada birden çok robots etiketi varsa en kısıtlayıcı kural kazanır. Uygulama önerisi: canlıya geçişte yalnız bir etiketin bulunduğunu ve değerinin beklediğiniz olduğunu sayfa kaynağında doğrulayın.

Engellemenin gerçekten engellemediği yerler

Kutunun adı "engelle" gibi okunur, ama belgenin sözleri daha ihtiyatlıdır. Engel tablosu, kutunun neyi engellemediğini belge cümleleriyle eşleştirir.

robots.txt ile noindex birlikte yanlış kullanılırsa

Google'ın noindex belgesi (yeni sekmede açılır) önemli bir tuzağı açıkça anlatır: noindex kuralının işlemesi için sayfa robots.txt ile taramaya kapatılmamış olmalıdır. Sayfa robots.txt ile engellenmişse tarayıcı noindex kuralını hiç göremez ve başka sayfalar bağlantı veriyorsa sayfa yine de sonuçlarda çıkabilir. Robots meta etiketi belgesi de aynı mantığı söyler: kurallar sayfa taranınca keşfedilir, tarama engellenmişse yok sayılır.

Uygulama önerisi: canlıya geçişte robots.txt dosyasında "Disallow: /" satırı bırakmış olabilecek hazırlık ortamı kalıntılarını arayın. İki katman birden kapalıysa, kutuyu temizledikten sonra bile robots.txt'in engeli sürebilir ve Google yeni durumu yeniden tarayamaz.

Yalnızca bir bölümü gizlemek

Bir sitenin yalnızca belirli bölümünü gizlemek isteyenler kutuyu kullanamaz, çünkü kutu site geneli bir ayardır. Tek bir sayfa ya da bir sayfa türü için robots direktifini ayrı yönetmek gerekir. Bu amaçla WordPress'in wp_robots filtresi ya da SEO eklentilerinin sayfa başına alanı kullanılabilir. Kutu ile sayfa bazlı kuralların aynı sayfada çakışması durumunda Google'ın daha kısıtlayıcı kuralı geçerli saydığını hatırlamak yeterlidir.

Canlıya geçiş kontrol adımı

Bu kutu canlıya geçişte unutulan ayarların başında gelir, çünkü hazırlık ortamında bilinçli olarak işaretlenir ve yayın sırasında kimse onu listesine yazmaz. Staging ortamlarının dizine girmesini önleme konusu için test ortamı indekslenmesini önleme yazısına bakabilirsiniz. Burada yalnızca WordPress kutusunun canlıya geçiş denetimi ele alınır.

Google'ın noindex belgesi, X-Robots-Tag başlığının noindex ya da none değeriyle gönderilebildiğini ve bunun PDF gibi HTML olmayan dosyalarda da işe yaradığını söyler. WordPress kutusu meta etiket ürettiği için başlık tarafını sunucu ya da bir eklenti yönetir. Ayrıntılı karşılaştırma için noindex etiketi ve X-Robots-Tag rehberi yazısına bakın.

Kutuyu temizlemenin yeterli olmadığı durumlar

• SEO eklentisi ayrıca site geneli noindex uyguluyorsa.
• Önbellek eklentisi eski sayfa çıktısını sunmaya devam ediyorsa.
• Sunucu ya da CDN düzeyinde X-Robots-Tag başlığı ekleniyorsa.
• robots.txt dosyasında hazırlık ortamından kalan engel varsa.
• Belirli sayfalar tek tek noindex yapılmışsa.

Uygulama önerisi: bu listeyi olasılık sırası olarak değil, tarama sırası olarak kullanın; belge bu katmanların hepsini ayrı ayrı anlatmaz. Bir tanesini düzeltmek diğerlerinin açık olmadığını göstermez, bu yüzden altı adımın hepsini çalıştırın.

Kaldırıldıktan sonra yeniden tarama beklentisi

Google'ın noindex belgesi, Googlebot'un kuralı görebilmesi için sayfayı yeniden taraması gerektiğini söyler ve bir sayfayı yeniden ziyaret etmenin, sayfanın önemine bağlı olarak aylar sürebileceğini yazar. Aynı belge hızlandırmak için yeniden tarama istenebileceğini belirtir. Kutuyu kapatmak bu yüzden anında görünürlük getirmez; arama motoru önce sayfayı yeniden taramalı ve noindex'in kalktığını görmelidir.

Yeniden tarama isteğini düzenli yürütmek

Uygulama önerisi: ana sayfa, birkaç kategori sayfası ve öne çıkan birkaç yazı için URL Inspection ile yeniden tarama isteyin; sitemap dosyasını Search Console'da güncel bırakın. Bir sitenin tamamını tek tek istemek yerine sitemap ve iç bağlantılar yoluyla taramanın ilerlemesini bekleyin. Yeniden tarama adımları için güncellenen sayfanın yeniden taranması yazısı ayrıntı verir.

Örnek senaryo: yeni açılan bir çeviri bürosu sitesi

Örnek senaryo: bir çeviri bürosu, siteyi hazırlık adresinde kurar ve geliştirici kutuyu işaretler. Yayın günü adres değişir, ama kimse okuma ekranını açmaz. Bir ay sonra büro sahibi "Google'da adım yok" der.

1. Geliştirici Ayarlar > Okuma ekranını açar ve kutunun hâlâ işaretli olduğunu görür.
2. Kutuyu temizler, ardından önbelleği boşaltır.
3. Ana sayfanın kaynağında robots aramasıyla noindex etiketinin gittiğini doğrular.
4. robots.txt dosyasında engel olmadığını kontrol eder.
5. Search Console'da URL Inspection ile ana sayfa için yeniden tarama ister.
6. Sitemap'in güncel olduğunu görür ve birkaç hafta boyunca Page Indexing raporunu izler.

Senaryoda en kritik nokta, kutunun temizlenmesinden sonra beklentinin yönetilmesidir: belge yeniden taramanın aylar sürebileceğini söylediği için büro sahibine anında sonuç vaadi verilmez, ilerleme raporda izlenir.

Sayfa kaynağında ne aranır

Kutunun etkisini görmenin en güvenilir yolu sayfanın kaynağıdır. Tarayıcıda sayfayı sağ tıklayıp kaynağı görüntüleyin ya da adres çubuğuna kaynak görüntüleme komutunu yazın, ardından "robots" kelimesini arayın. Kaynak yorumlama tablosu, bulduğunuz çıktıyı yorumlamanıza yardım eder.

Kaynağı gizli pencerede ve çıkış yapmış bir oturumda açın. Yönetici oturumuyla görünen çıktı, ziyaretçiye ve arama motoruna sunulan çıktıdan farklı olabilir. Önbellek eklentisi kullanıyorsanız, kutuyu temizledikten sonra önbelleği boşaltmadan kaynağa bakmak eski çıktıyı gösterebilir.

Çıktıyı Google'ın gördüğüyle karşılaştırma

Google'ın noindex belgesi, URL Inspection aracının Googlebot'un tarama sırasında aldığı HTML'yi gösterebildiğini ve noindex uygulamanızı sınamak için kullanılabileceğini yazar. Tarayıcıda gördüğünüz kaynakla Google'ın aldığı HTML arasında fark varsa, aradaki katman bir önbellek, bir CDN ya da bot algılama kuralıdır. Uygulama önerisi: iki çıktıyı yan yana koyup robots etiketini karşılaştırın.

Geliştirmeden yayına kutunun yönetimi

Kutu işaretli ve işaretsiz durumların hangi aşamada doğru olduğunu bir tabloda sabitlemek, kimin neyi ne zaman değiştireceği belirsizliğini ortadan kaldırır. Bu tablo uygulama önerisidir.

Devir teslim notu

Bir siteyi ajanstan işletmeye ya da bir ekipten diğerine devrederken kısa bir not kutunun durumunu kayda geçirir. Notta şunlar bulunabilir: kutunun yayın günündeki durumu, kontrolü yapan kişi, kontrol tarihi, kullanılan SEO eklentisi ve onun site geneli indeks ayarı, robots.txt'in yeri ve sunucu başlıklarını yöneten kişi. Böyle bir not, aylar sonra "bu ayarı kim işaretlemişti" sorusunu tartışmaya gerek bırakmaz.

Müşteriye raporlama

Ajanslar için sorun bulunduğunda yapılan açıklamanın kendisi de iş akışının parçasıdır. Uygulama önerisi: rapora bulguyu, nedeni, yapılan değişikliği, doğrulama kanıtını ve beklenti yönetimini ayrı satırlar olarak yazın. Beklenti satırında, Google'ın belgesinin yeniden taramanın aylar sürebileceğini söylediğini belirtmek, sonuç vaadinden kaçınmanın dürüst yoludur. Search Console erişimi olmayan müşteriler için ekran görüntüsü yerine sayfa kaynağından alınmış kısa bir alıntıyı kanıt olarak ekleyin.

Kontrol sonrası kayıt: ne yazılmalı

Kontrolü yaptıktan sonra yazılı bir kayıt bırakmak hem sizi hem müşterinizi korur. Kayıt kısa olabilir ama şu alanları içermelidir.

Bu kaydı yayın sonrası ilk haftada bir kez, ilk ayın sonunda bir kez güncelleyin. İlerleme yoksa sorunun yeniden taramadan değil, bir katmandan geldiğini düşünerek altı adımlı kontrolü baştan çalıştırın.

İkinci örnek senaryo: bir otopark işletmesinin tanıtım sitesi

Örnek senaryo: küçük bir otopark işletmesi tanıtım sitesini bir ajansa yaptırır. Ajans geliştirme sırasında kutuyu işaretler ve site müşteri onayından sonra yayına alınır. Üç ay sonra işletme sahibi, işletme adıyla arama yaptığında yalnızca sosyal medya hesaplarının çıktığını fark eder.

1. Ajansın bakım sorumlusu önce okuma ekranına bakar; kutu işaretsizdir. Sorun orada değildir.
2. Ana sayfanın kaynağında robots araması yapar ve bir noindex etiketi bulur. Kaynağı, SEO eklentisinin site geneli ayarına kadar izler: eklentinin "arama sonuçlarında gösterme" seçeneği açık kalmıştır.
3. Seçeneği kapatır, önbelleği boşaltır ve kaynağı yeniden kontrol eder.
4. robots.txt dosyasında bir engel bulunmadığını ve sunucunun X-Robots-Tag göndermediğini doğrular.
5. URL Inspection ile Google'ın aldığı HTML'de noindex kalmadığını görür ve yeniden tarama ister.
6. İşletmeye, görünürlüğün geri gelme süresi için belge garantisi olmadığını, ilerlemenin Page Indexing raporundan izleneceğini bildirir.

Bu senaryo, WordPress kutusunun tek kaynak olmadığını gösterir. Kutuyu kontrol etmek gereklidir ama yeterli değildir; kaynak denetimi, hangi katmanın noindex ürettiğini kanıtlayan adımdır.

Kutunun yan etkileri: ping servisleri ve yazma ayarları

Kutu yalnızca bir meta etiketten ibaret değildir. WordPress belgesi, işaretli kutunun güncelleme servislerine giden bildirimleri de durdurduğunu yazar. Belgeye göre bunun mekanizması şöyledir: privacy_ping_filter() işlevi, ping atılacak siteleri listeden çıkarır. Ayrıca Yazma ekranındaki "Update Services" seçeneği tamamen gizlenir ve yerine "WordPress is not notifying any Update Services because of your blog's privacy settings" iletisi gösterilir.

Bunun pratik sonucu şudur: canlıya geçişte kutuyu temizlediğinizde güncelleme servislerine bildirim akışı da yeniden başlar. Daha önce gizli kalan "Update Services" alanı yeniden görünür. Alanın içinde ne yazdığını kontrol etmek, kutunun gerçekten temizlendiğini gösteren ikinci bir işarettir.

Belgede bu seçeneğin sayfa ya da yazı türü bazında bir sürümünden söz edilmez. Okuma ekranının üst bölümü ise kutudan bağımsız olarak ana sayfanın yazılardan mı yoksa statik bir sayfadan mı oluşacağını belirler. Bu iki ayarın farklı işler yaptığını bilmek, "Okuma ayarlarına baktım, her şey normal" diyen birinin yalnızca üst bölüme baktığını fark etmek için yararlıdır.

Eski sürümlerde fiziksel robots.txt dosyası

Belgedeki not, 5.2 ve öncesi için yöntemin yalnızca WordPress site kökünde kuruluysa ve hiçbir robots.txt dosyası yoksa çalıştığını söyler. Bu cümle iki farklı riski açar. Birincisi, kök dizinde fiziksel bir robots.txt varsa WordPress'in sanal yanıtı hiç devreye girmez; kutu işaretli olsa bile dosya içeriği kazanır. İkincisi, alt dizine kurulu bir WordPress'in kök robots.txt dosyasını yönetemeyeceğidir. 5.3 sonrasında mekanizma sayfa içi etikete geçtiği için bu iki sınır etiket tarafında geçerli değildir; ama sizin sitenizde eski bir robots.txt kalıntısı duruyorsa o dosya hâlâ kendi başına sorun üretebilir.

Google'ın tanıdığı diğer direktifler ve kutu

Kutu yalnızca noindex ve nofollow ekler. Google'ın robots meta etiketi belgesi bunların yanında başka direktifleri de sayar. Hangi sorunun hangi direktifle çözüleceğini bilmek, kutuyu kullanmak yerine sayfa bazlı kural yazmanız gereken durumları ayırmanızı sağlar.

Aynı belge, robots etiketinin ad ve içerik niteliklerinin büyük küçük harf duyarsız olduğunu da yazar. Kaynakta "NOINDEX" ya da "noindex" görmeniz aynı anlama gelir; aramanızı harf duyarlı yapmayın. Belge ayrıca genel "robots" adının yanında "googlebot" adının yalnızca metin sonuçları için, "googlebot-news" adının ise haber sonuçları için kullanılabildiğini söyler. Bir temanın ya da eklentinin yalnızca googlebot adıyla yazdığı bir noindex, kutunun ürettiği genel etiketten ayrı bir kaynaktır; sayfa kaynağında "robots" kadar "googlebot" kelimesini de arayın.

Tek kural nerede, birden çok etiket nerede

Google belgesi birden çok tarayıcıyı ayrı ayrı yönetmek için birden çok robots meta etiketi kullanılabileceğini yazar. Yani sayfada iki etiket görmek her zaman hata değildir. Hata olan, aynı tarayıcı için çelişen iki kuralın bulunmasıdır; belge bu durumda daha kısıtlayıcı olanı geçerli sayar. Uygulama önerisi: kaynakta iki etiket bulduğunuzda önce hangi tarayıcı adlarına seslendiklerini, sonra hangi eklentinin ya da temanın yazdığını belirleyin.

Belirti, olası katman ve ilk kontrol

Belirti tablosu, sitede görünen bir belirtiden hangi katmana bakmanız gerektiğine gitmenizi sağlar. Tablo uygulama önerisidir; her satırdaki "olası katman" sütunu, belge cümlelerinden çıkarılan bir kontrol sırasıdır.

Başlık tabanlı noindex ayrımı

Google'ın noindex belgesi, X-Robots-Tag başlığının noindex ya da none değeriyle dönebildiğini yazar. WordPress kutusu meta etiket ürettiği için başlık tabanlı bir noindex sayfa kaynağında görünmez; yalnızca yanıt başlıklarına bakarak yakalanır. Tarayıcı geliştirici araçlarının ağ sekmesinde ilgili adresin yanıt başlıklarına bakın ve "x-robots-tag" satırını arayın. Satır yoksa başlık katmanı temizdir; varsa değerini yazan sunucu kuralını, CDN ayarını ya da eklentiyi bulana kadar canlıya geçişi onaylamayın.

Üçüncü örnek senaryo: çok dilli bir butik otel sitesi

Örnek senaryo: küçük bir butik otelin sitesi iki dilde yayına alınır. Geliştirici, hazırlık sürecinde kutuyu işaretlemiş; yayın günü işaretsiz yapılmıştır. Yine de İngilizce sayfalar aylar sonra bile sonuçlarda görünmez, Türkçe sayfalar görünür.

1. Bakım sorumlusu Okuma ekranına bakar; kutu işaretsizdir. Site geneli ayarın sorun olmadığını not eder.
2. İngilizce bir sayfanın kaynağında "robots" araması yapar ve noindex içeren bir etiket bulur. Türkçe sayfada etiket yoktur.
3. Farkın kutudan değil, dil eklentisinin sayfa bazlı ayarından geldiğini fark eder: İngilizce sayfaların bir bölümü "dizine ekleme" olarak işaretlenmiştir.
4. Yanıt başlıklarında X-Robots-Tag aramasını yapar; başlık yoktur.
5. Ayarı düzeltir, önbelleği boşaltır ve her dilden en az bir sayfa için URL Inspection ile yeniden tarama ister.
6. Rapora, kutunun temiz olduğunu ve sorunun sayfa bazlı kuraldan çıktığını yazar; yeniden tarama süresi için garanti vermez.

Bu senaryo bir şeyi daha gösterir: kutunun temiz olması, sitenin bütününün temiz olduğu anlamına gelmez. Okuma ekranı site geneli bir anahtardır; sayfa bazlı kurallar o anahtardan bağımsız çalışır ve çelişince daha kısıtlayıcı olan geçerli olur.

Kontrol listesi

• "Search Engine Visibility" kutusu canlı sitede işaretsiz mi?
• Ana sayfa, kategori ve yazı kaynaklarında noindex içeren robots etiketi yok mu?
• robots.txt tüm siteyi kapatan bir satır içermiyor mu?
• Sunucu ya da CDN düzeyinde X-Robots-Tag başlığı eklenmiyor mu?
• SEO eklentisinde site geneli noindex seçeneği kapalı mı?
• Önbellek temizlendi mi?
• URL Inspection'da Google'ın aldığı HTML'de noindex görünmüyor mu?
• Sitemap güncel mi ve yalnızca indekse açık adresleri içeriyor mu?
• Yeniden tarama istendi mi ve Page Indexing raporu izleniyor mu?

Karar kuralı: kutu ne zaman işaretli kalmalı

Uygulama önerisi: kararı sitenin yayın durumuna göre verin.

1. Site geliştirme ya da hazırlık aşamasındaysa ve herkese açık bir adreste duruyorsa, kutuyu işaretli tutun; ama bunun tek önlem olmadığını bilin ve gizlilik gerekiyorsa erişimi parola ile kapatın.
2. Site yayına alındığı gün kutuyu temizleyin ve altı adımlı kontrolü çalıştırın.
3. Canlı sitede kutu işaretli bulunursa ilk iş kutuyu temizlemek, ikinci iş robots.txt ve sunucu başlıklarını kontrol etmek, üçüncü iş yeniden tarama istemektir.
4. Yeniden tarama sonrası ilerlemeyi haftalık izleyin; belge süre garantisi vermez.

Yayın kontrol listenizin ilk maddesi olarak bu kutuyu yazın. Ayarlar > Okuma ekranına bakmak yarım dakikanızı alır; unutulduğunda bedeli aylarca süren görünmezliktir.

Sık Sorulan Sorular

Kutuyu işaretlemek siteyi gizler mi?

Hayır. WordPress belgesi bu seçeneklerin siteye erişimi engellemediğini, uyup uymamanın arama motorlarına bağlı olduğunu yazar. Gizlilik gerekiyorsa erişim kontrolü kullanın.

Kutu hangi etiketi ekler?

Belgeye göre 5.3 sürümünden itibaren head bölümüne noindex,nofollow değerli bir robots meta etiketi eklenir; tema wp_head kullanıyorsa bu etiket kaynakta görünür.

Kutuyu kapattım, neden hâlâ aramada yokum?

Google'ın belgesine göre sayfanın yeniden taranması gerekir ve bu aylar sürebilir. Robots.txt engeli ya da başka bir katmandan gelen noindex de olabilir. Google'ın aldığı HTML'yi URL Inspection ile inceleyin.

robots.txt ile de engellersem daha güvenli olur mu?

Hayır, tersine. Google belgesine göre robots.txt ile taramaya kapalı bir sayfada noindex kuralı görülmez ve sayfa başka sayfalardan bağlantı alıyorsa yine de sonuçlarda çıkabilir.

SEO eklentim index diyorsa kutunun önemi var mı?

Google belgesine göre robots kuralları çakıştığında daha kısıtlayıcı olan geçerlidir. Bu nedenle noindex içeren etiket varsa sayfa indekse açık sayılmaz.

Yalnızca bir sayfayı gizlemek için bu kutuyu kullanabilir miyim?

Hayır, kutu site geneli bir ayardır. Tek sayfa için SEO eklentisinin sayfa alanı ya da wp_robots filtresi gibi sayfa bazlı yöntemler gerekir.

Sonuç

Kutu, siteye erişimi kapatmaz; arama motorlarına noindex ve nofollow isteği iletir ve bu istek canlıya geçişte kolayca unutulur. Yayın günü kutuyu, sayfa kaynağını, robots.txt dosyasını ve sunucu başlıklarını kontrol edin, ardından yeniden tarama isteyip ilerlemeyi izleyin. Süre konusunda belge garanti vermez.

Yeni sitenizin içeriğini yayına hazır hale getirmek için profesyonel destek arıyorsanız makale yazımı hizmetimize göz atabilirsiniz.