Yapay Zeka Botları ve robots.txt: Google-Extended, GPTBot

Sunucu loglarınıza bakıp tanımadığınız bot adları gördüyseniz, yapay zeka botları ve robots.txt ilişkisini bir kez düzgün kurmanın zamanı gelmiştir. Konu çoğu zaman “hepsini engelleyelim mi, hepsine izin verelim mi” ikilemine sıkışır; oysa botlar aynı işi yapmaz. Kimi arama sonucu üretmek için sayfa tarar, kimi modellerin eğitimi için içerik toplar, kimi de bir kullanıcının isteği üzerine tek bir sayfaya gider. Her birine aynı kararı vermek, ya görünürlüğünüzü gereksiz yere kısar ya da içeriğiniz üzerindeki tercihinizi karşılıksız bırakır.

Bu yazı bir yayıncı karar çerçevesi sunar: botları amaçlarına göre ayırır, belgelenmiş belirteçleri anlatır, robots.txt örnekleri verir, sınırları ve doğrulama yolunu gösterir. Bot adları ve davranışları hızla değiştiği için ayrıntılar yazıda sağlayıcıların belgelerine dayandırılmıştır; uygulamadan önce ilgili belgenin güncel halini mutlaka kontrol edin.

Arama Botu ile Yapay Zekâ Eğitim Botu Ayrımı

Bir sitenin sunucusuna gelen otomatik istekleri üç amaç etrafında düşünmek işi sadeleştirir. Birinci grup arama için tarama yapan botlardır: sayfayı keşfeder, dizine ekler ve kullanıcıya bir sonuç gösterebilmek için içeriği anlar. İkinci grup model eğitimi için içerik toplayan botlardır: amaç, bir üretken yapay zeka modelinin gelecekteki sürümlerini geliştirmektir. Üçüncü grup kullanıcı tarafından tetiklenen getirmelerdir: biri bir asistana belirli bir adresi sorduğunda, sistem o sayfaya gidip içeriğe bakar.

Bu ayrım pratikte şu sonucu doğurur: bir botu engellemek her zaman “yapay zekadan çıkmak” anlamına gelmez, bir botu serbest bırakmak da içeriğinizin eğitimde kullanılmasına razı olmak demek değildir. Sağlayıcılar çoğu zaman her amaç için ayrı bir belirteç yayımlar. Bu yüzden karar verirken önce “hangi amaçtan söz ediyorum” sorusunu sormak gerekir.

Üç grubu özetleyen basit bir tablo kullanabilirsiniz:

• Arama amaçlı tarama: Görünürlük sağlar. Engellerseniz o sağlayıcının arama sonuçlarında yer alma ihtimaliniz düşebilir.
• Eğitim amaçlı tarama: İçeriğinizin modellerin geliştirilmesinde kullanılıp kullanılmayacağına ilişkin tercihinizi yansıtır. Görünürlükle doğrudan ilişkisi sağlayıcıya göre değişir.
• Kullanıcı tetiklemeli getirme: Tek tek isteklerdir; bazı sağlayıcılar bunlarda robots.txt kurallarının geçerli olmayabileceğini açıkça belirtir.

Genel robots.txt dosyalarını hatalara karşı nasıl denetleyeceğinizi anlatan robots.txt testinde tarama engellerini bulma yazısı bu konunun temelidir. Burada ise bilinen bir dosyanın yapay zeka botlarına yönelik kısmına odaklanıyoruz: hangi belirteç neye karşılık geliyor ve hangi kararın hangi sonucu olur?

Google-Extended Nedir ve Neyi Etkilemez

Google, ortak tarayıcılar belgesinde Google-Extended'ı yayıncıların kullanabileceği bağımsız bir ürün belirteci olarak tanımlar. Belgeye göre bu belirteç, Google'ın sitenizden taradığı içeriğin gelecekteki Gemini modellerinin eğitiminde kullanılıp kullanılmayacağını yönetmenize yardım eder; Gemini uygulamalarındaki ve Vertex AI üzerindeki Google Arama ile temellendirme (grounding) kullanımlarını da kapsar. Kaynağı Google ortak tarayıcılar belgesidir (yeni sekmede açılır); ayrıntıları orada okuyun.

Aynı belge iki önemli noktayı net biçimde söyler. Birincisi, Google-Extended'ın sitenin Google Arama'ya dahil olmasını etkilemediği ve Google Arama'da bir sıralama sinyali olarak kullanılmadığıdır. İkincisi, Google-Extended'ın ayrı bir HTTP istek kullanıcı aracısı dizesi bulunmadığıdır: tarama mevcut Google kullanıcı aracılarıyla yapılır, belirteç ise yalnızca robots.txt içinde bir denetim aracı olarak kullanılır.

Bunun üç pratik sonucu vardır:

1. Google-Extended'ı engellemek, sayfalarınızın Google Arama'da dizine girmesini ya da sıralanmasını belgeye göre etkilemez.
2. Sunucu loglarında “Google-Extended” adında bir kullanıcı aracısı görmeyi beklemeyin; çünkü ayrı bir dize yoktur. Bu belirtecin etkisini loglardan doğrudan izleyemezsiniz.
3. Belirtecin kapsamı belgeye bağlıdır. Google bu kapsamı güncelleyebilir; bu yüzden bir ürün adının ya da özelliğin bu belirteçle yönetilip yönetilmediğini her zaman güncel belgede doğrulayın.

Bu bölümde bilerek yazmadığımız bir şey var: Google-Extended'ın Arama içindeki belirli yapay zeka özelliklerini (örneğin yanıt özetlerini) nasıl etkilediği. Böyle bir iddia ancak Google'ın ilgili belgesinde açıkça yazıyorsa yapılabilir; yazmıyorsa tahmin yürütmek, hem sizi hem okuyucuyu yanıltır. Arama içi özelliklerle ilgili tercihleriniz için Google'ın Arama belgelerindeki kontrolleri inceleyin.

Diğer Bilinen Tarayıcı Belirteçleri ve Belgeleri

Google dışındaki sağlayıcılar da kendi botlarını ve belirteçlerini belgeler. Aşağıdaki özet, belgelerin 2026-10-21 tarihli halinden alınmıştır; liste kısa sürede eskiyebilir, bu yüzden her satırın karşısındaki kaynağı güncel haliyle okumanız gerekir.

OpenAI'ın bot belgesi (yeni sekmede açılır) birkaç ayrı bot tanımlar. OAI-SearchBot, ChatGPT'nin arama özelliklerinde sitelerin görünmesi için kullanılır; belge, robots.txt'te buna izin verilmesini önerir ve robots.txt güncellemesinden sonra sistemlerin uyum sağlaması için yaklaşık yirmi dört saat gerekebileceğini söyler. GPTBot, üretken yapay zeka temel modellerinin geliştirilmesinde kullanılabilecek içerik için tarama yapar; belgeye göre GPTBot'u engellemek, sitenin içeriğinin bu modellerin eğitiminde kullanılmaması gerektiğini bildirir. ChatGPT-User ise kullanıcı tarafından başlatılan işlemler içindir; belge bunun otomatik web taraması için kullanılmadığını ve bu istekler kullanıcı kaynaklı olduğundan robots.txt kurallarının geçerli olmayabileceğini belirtir.

Diğer sağlayıcılarda da benzer bir ayrım görülür. Anthropic, destek belgesinde model eğitimi için ClaudeBot, kullanıcı sorusuna yanıt için Claude-User ve arama sonuçlarını iyileştirmek için Claude-SearchBot adlı botlardan söz eder ve robots.txt yönergelerine uyduklarını bildirir. Perplexity, arama sonuçları için PerplexityBot'u anlatır ve bunun temel model eğitimi için kullanılmadığını belirtir; kullanıcı eylemleri için Perplexity-User botunun ise robots.txt kurallarını genellikle yok saydığını yazar. Bu iki sağlayıcının belgeleri de IP aralıklarını yayımladıklarını söyler.

Bu listeden çıkarılacak ders, bot adlarını ezberlemek değil bir doğrulama alışkanlığı kazanmaktır: bir botu kurala bağlamadan önce sağlayıcının kendi belgesini açın, botun amacını, robots.txt davranışını ve IP doğrulama yöntemini okuyun, sonra kararınızı tabloya yazın. Başka sağlayıcıların botları için de aynı yolu izleyin; adını başka yerde duymak, davranışını bilmek anlamına gelmez.

Yapay Zeka Botları ve robots.txt: İzin ve Engel Örnekleri

robots.txt dosyası, sitenizin kök dizininde duran düz metin bir dosyadır ve her kural grubu bir kullanıcı aracısı ya da ürün belirteciyle başlar. Aşağıdaki örnekler yalnızca yazım biçimini göstermek içindir; kendi sitenizde uygulamadan önce hedeflerinizi netleştirin.

Bir eğitim belirtecini sitenin tamamı için engellemek:

User-agent: GPTBot
Disallow: /

Bir belirtece yalnızca belirli bir dizini kapatmak, kalan bölümlere izin vermek:

User-agent: Google-Extended
Disallow: /arsiv/
Allow: /

Aramaya yönelik botu açık tutarken eğitim botunu kapatmak, iki ayrı grup yazmayı gerektirir:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Örneklerde dikkat edilecek üç nokta var. Birincisi, her grup kendi başına bir kullanıcı aracısı satırıyla başlar ve boş satırla ayrılır; satırları karıştırmak kuralların yanlış gruba düşmesine yol açar. İkincisi, dizin yolları büyük küçük harfe duyarlı olabilir, bu yüzden gerçek URL ile aynı yazılmalıdır. Üçüncüsü, genel bir joker grup (herkesi hedefleyen User-agent satırı) tanımladıysanız, belirli bir botun grubu o bot için daha öncelikli kabul edilir; yine de bir ayrıntıyı varsaymak yerine sağlayıcının ve Google'ın robots.txt belgesindeki işleme kurallarını kontrol edin.

robots.txt kuralı bir sayfanın dizinden çıkarılması için doğru araç değildir. Bir sayfayı Google dizininden uzak tutmak istiyorsanız noindex etiketi ve X-Robots-Tag rehberindeki yöntemleri kullanırsınız; çünkü taramayı engellemek ve dizine eklemeyi engellemek farklı kontrollerdir. Yapay zeka botları için de aynı mantık geçerlidir: robots.txt tarama tercihinizi bildirir, bir sayfanın nasıl işleneceğine ilişkin meta yönergeler ise ayrı bir konudur.

Engellemenin Kapsamı ve Sınırları

robots.txt bir erişim denetimi değil, bir iletişim biçimidir. Google'ın robots.txt giriş belgesi bunu şöyle çerçeveler: dosyanın asıl amacı tarayıcı trafiğini yönetmektir, bir sayfayı arama sonuçlarından uzak tutmanın mekanizması değildir; uyum ise tarayıcının tercihine bağlıdır. Googlebot ve diğer saygın tarayıcılar kuralları izler, ama aynı şeyi her bot yapmayabilir. Ayrıntılar için Google'ın robots.txt giriş belgesine (yeni sekmede açılır) bakın.

Bu sınırlar yapay zeka botları için şu anlama gelir:

• Uyum gönüllüdür. Sağlayıcılar belgelerinde robots.txt'ye uyduklarını söylüyor olabilir, ama bunu sizin tarafınızdan zorlayamazsınız. Gerçek bir erişim kısıtı gerekiyorsa sunucu düzeyinde kimlik doğrulama ya da özel erişim kuralları kullanılır.
• Kapsam hostadır. Anthropic gibi bazı sağlayıcılar, kuralı her alt alan adı için ayrı yazmanızı ister. Alt alan adlarınız varsa her birinin kendi robots.txt dosyasını kontrol edin.
• Geçmişi düzeltmez. robots.txt gelecekteki tarama için bir yönergedir. Daha önce toplanmış verinin akıbeti, sağlayıcının kendi politikasına bağlıdır ve bu yazıda doğrulanabilir bir taahhüt olarak sunulmaz. Önceki veriyle ilgili talepleriniz için ilgili sağlayıcının veri/itiraz sayfalarına başvurmak gerekir.
• Kullanıcı kaynaklı getirmeler farklı olabilir. Bir kullanıcının asistanına verdiği adres için yapılan istekler, bazı sağlayıcılarda robots.txt kurallarını izlemeyebilir; bu durumu belgeleri okuyarak öğrenin.

Bir de “çıkarma” sınırı vardır: robots.txt tarama için engel koyar ama içerik başka yerlerde zaten çoğaltılmış, alıntılanmış ya da arşivlenmiş olabilir. Yani içerik koruma düzeyiniz yalnız sitenizdeki kurallarla belirlenmez. Gerçekten gizli olması gereken bilgiyi hiçbir zaman genel yayında tutmayın; robots.txt yalnızca nazik bir davettir.

Sunucu Loglarıyla Bot Doğrulama

Kural yazmak yarı iştir; ikinci yarı, kuralın gerçekte ne işe yaradığını görmektir. Kullanıcı aracısı dizesi herkes tarafından taklit edilebilir. Google da kendi belgesinde bu dizenin sahtelenebileceğini söyler. Bu nedenle bir isteğin gerçekten o bottan gelip gelmediğini anlamak için isim dışında bir ölçüt gerekir.

Google'ın yaklaşımı iki yönlü DNS sorgusudur: loglardaki IP adresi için ters DNS sorgusu yapılır, dönen ana bilgisayar adının Google'ın alan adlarına (googlebot.com, google.com ya da googleusercontent.com) ait olduğu doğrulanır; sonra bu ana bilgisayar adı için ileri DNS sorgusu yapılıp aynı IP adresine dönüldüğü kontrol edilir. Büyük ölçekte ise Google'ın yayımladığı IP aralığı dosyalarıyla karşılaştırma yapılır. Aynı mantık, IP aralıklarını yayımlayan diğer sağlayıcılar için de geçerlidir: OpenAI, Anthropic ve Perplexity belgelerinde bu tür listelere işaret eder.

Adım adım bir kontrol:

1. Erişim loglarından kullanıcı aracısı dizesinde ilgili bot adını içeren satırları ayıklayın.
2. Bu satırlardaki IP adreslerini benzersiz hale getirin.
3. Her IP'yi sağlayıcının yayımladığı aralıklarla ya da ters ve ileri DNS yöntemiyle doğrulayın.
4. Doğrulanamayan istekleri “bot taklidi olabilir” diye ayrı bir listeye alın.
5. Doğrulanmış isteklerin hangi URL'lere gittiğine ve yanıt kodlarına bakın.

Log çözümlemesinin genel yöntemini SEO için sunucu log analizi rehberinde bulabilirsiniz; burada yapılan, o yöntemin yapay zeka botlarına uygulanmış dar bir halidir. Bir not: bazı CDN ve güvenlik hizmetleri botları kendi katmanlarında sınıflandırır ve engeller; bu durumda robots.txt kararınızla güvenlik duvarı kuralınız çelişebilir. İkisini aynı tabloda tutun.

İş Kararı: Görünürlük ile İçerik Koruma Dengesi

Teknik bilgi hazır olduğunda asıl soru iş sorusudur: sitenizin değeri neyle üretiliyor ve yapay zeka sistemlerinde görünmek size ne kazandırıyor? Bunu sağlıklı yanıtlamak için içeriğinizi gruplamak işe yarar. Herkese açık tanıtım ve rehber içerikleri görünürlük getirir; özgün veri, abonelik duvarı arkasındaki yazılar ya da lisanslı içerik ise değer taşıyan malzemedir.

Üç tipik duruş vardır:

• Açık duruş: Arama ve kullanıcı odaklı botlara izin, eğitim botlarına da izin. Amaç azami görünürlüktür; içeriğin geniş kullanılması sorun değildir.
• Seçici duruş: Arama ve kullanıcı odaklı botlara izin, eğitim botlarına engel. Görünürlük korunur, içeriğin eğitim kullanımına ilişkin tercih bildirilir.
• Kapalı duruş: Bilinen botların çoğuna engel. İçerik koruması önceliklidir; ancak sağlayıcılar kendi arama yüzeylerinde yer almanızı da bu kurallara bağlayabilir (örneğin OpenAI belgesi, devre dışı bırakılan sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini yazar).

Hangi duruşu seçerseniz seçin, sonucunu kendi stratejinizle bağdaştırın. Yapay zeka yanıtlarında anılma hedefiniz varsa GEO ve yapay zeka aramaları için içerik yaklaşımını, ücretli ve editoryal yerleşimlerin marka anılmasına etkisini ise yapay zeka aramalarında marka atfı için tanıtım yazısı yazısını okuyun. Bu iki yazı içerik üretme tarafını anlatır; burada ise kapıyı kimlere açtığınızın kararı konuşuluyor.

Karar toplantısında şu üç soruyu sorun: Bu içerik herkese açık mı? Yapay zeka sistemlerinde anılmak bize iş getiriyor mu? Eğitim kullanımına itirazımız ilke mi, strateji mi? Cevapları yazılı bir politikaya dönüştürün.

Yanlış Engellemenin Riskleri

Yapay zeka botlarını engellerken en sık görülen hatalar basit yazım ve kapsam hatalarıdır. Bunların bir kısmı yalnızca yapay zeka görünürlüğünü etkiler, bir kısmı ise arama trafiğinize zarar verebilir.

Başlıca riskler şunlardır:

1. Tüm botları kapsayan genel kuralı yanlış yazmak. Herkesi hedefleyen bir grupta sitenin tamamını engellemek, arama motoru botlarını da kapatabilir. Değişiklik sonrası arama botlarının erişimini mutlaka test edin.
2. Eğitim ile arama belirtecini karıştırmak. Eğitimi engellemek isterken arama botunu da kapatırsanız, o sağlayıcının arama özelliklerinde yer alma ihtimalinizi azaltabilirsiniz.
3. Belirtecin etkisini yanlış varsaymak. Google-Extended'ın Google Arama'ya etkisi olmadığını belgeden biliyoruz; ama başka belirteçler için aynı şeyi varsaymayın.
4. Dizin kuralını tarama kuralıyla karıştırmak. Bir sayfayı dizinden çıkarmak için robots.txt yerine uygun dizin yönergesi kullanılır.
5. Güvenlik duvarı ile robots.txt'i çelişkili bırakmak. CDN seviyesinde bir botu engelleyip robots.txt'te izin vermek, botun hatalı yanıt alıp tekrar denemesine yol açar.

Hatayı geri almak kolaydır ama etkisi gecikmeli görünür: sağlayıcılar kuralları belirli aralıklarla yeniden okur (OpenAI belgesi bunun için yaklaşık yirmi dört saat verir, Perplexity de benzer bir gecikmeye değinir). Bu yüzden değişikliği geceye ya da hafta sonuna denk getirmek yerine, izlemeyi yapabileceğiniz bir zamanda uygulayın. Her değişiklikte öncesi ve sonrası dosyanın bir kopyasını saklayın.

Test ve İzleme

Dosyayı yayımlamak bitiş değil, başlangıçtır. Test bir kez yapılır, izleme sürekli sürer. İlk test için dosyanın doğru adreste, yani alan adının kökünde, başarılı bir yanıt kodu ve düz metin içerikle sunulduğunu doğrulayın. Ardından bir robots.txt ayrıştırıcısıyla örnek URL'lerin hangi botlara kapalı ya da açık olduğunu kontrol edin.

İzleme için aylık bir rutin yeterlidir:

• Loglarda kuralını koyduğunuz botların hâlâ istek yapıp yapmadığına bakın.
• Doğrulanmamış ama bot adı taşıyan istekleri ayrı raporlayın.
• Arama konsolundaki tarama hatalarında yeni bir artış olup olmadığını kontrol edin.
• Yapay zeka yüzeylerinde marka adınızın ve sayfalarınızın nasıl anıldığını elle örnekleyin.

Son maddenin kapsamı konuyla yakından ilgilidir: sistemler markanızı bir varlık olarak tanıyorsa, anıldığı bağlam kararlarınızdan etkilenebilir. Varlık odaklı bir bakış için entity SEO ve varlık tabanlı SEO yazısı, markanızın nasıl tutarlı tanımlanacağını anlatır. Bu çalışma robots.txt kararının sonuçlarını yorumlamanıza da yardım eder; yalnız anılma sıklığından çok, anılmanın doğruluğuna ve bağlamına bakın.

İzleme sonuçlarını tarihli kısa notlarla kaydedin: ne değişti, ne bekleniyordu, ne gözlendi? Birkaç ay sonra bu notlar, hangi kararın işe yaradığını ve hangisinin gözden geçirilmesi gerektiğini gösterir. Sonuç ya da etki vaadi yoktur; amaç bilinçli ve tutarlı bir politika sürdürmektir.

Politika Notu ve Bakım

Bot kararlarını bir kişinin hafızasında değil, yazılı bir politikada tutun. Bu politika kısa olabilir: hangi botlara izin verildiği, hangilerinin engellendiği, her kararın gerekçesi, kararın tarihi ve bir sonraki gözden geçirme zamanı. Yeni bir ekip üyesi ya da ajans geldiğinde dosyayı hangi mantıkla yazdığınızı hatırlamak zorunda kalmazsınız.

Politikanın bakımı üç parçadan oluşur. Birincisi, bot listesinin gözden geçirilmesidir: sağlayıcılar yeni botlar ekleyebilir, mevcutları yeniden adlandırabilir veya amaçlarını değiştirebilir. Gözden geçirme aralığını ekibinizin kapasitesine göre seçin; üç ayda bir makul bir başlangıçtır ama bu bir kural değil bir öneridir. İkincisi, belge kontrolüdür: her bot için kaynak bağlantısını politikaya ekleyin. Üçüncüsü, içerik politikalarınızla uyumdur.

Son nokta özellikle yayıncılar için önemlidir. Yapay zeka destekli içerik üretiyorsanız, o içeriğin başkalarının botlarıyla nasıl karşılaşacağını da düşünmeniz gerekir. Üretim sürecinizi, editör sorumluluğunuzu ve doğrulama adımlarınızı yapay zeka ile makale yazımı ve editörlük yazısındaki ilkelerle birlikte politika metnine yazın. Hem sitenizin yapay zeka tarafından taranmasına ilişkin tercihiniz hem de sitenizde yapay zeka kullanımına ilişkin tutumunuz tutarlı görünür.

Politika notuna şu satırlar mutlaka girsin: güncel robots.txt dosyasının yedeği, kararın sahibi, son gözden geçirme tarihi ve değişiklik günlüğü. Küçük bir tablo ya da paylaşılan belge yeterlidir. Bakımsız bir politika, hiç olmayan bir politikadan daha tehlikelidir; çünkü kimse eskidiğini fark etmez.

Örnek Şablon: Yapay Zekâ Botu Karar Tablosu

Aşağıdaki tablo kurgu bir yayıncı için doldurulmuştur: ücretsiz rehber içerikleri olan ve ücretli bir araştırma bölümü bulunan küçük bir haber sitesi. Karar sütunları örnek değerlerdir; kendi sitenizin hedeflerine göre değiştirin ve her satırın kaynak belgesini güncel olarak kontrol edin.

Bu kurgu örnekte yayıncı, açık rehberlerini görünür tutarken ücretli araştırma bölümünü eğitim belirteçlerinden uzak tutmayı seçmiştir. Tabloya bir “son kontrol tarihi” sütunu eklemek, bakım sırasında hangi satırın eskidiğini hızla görmenizi sağlar.

Sıkça Sorulan Sorular

Google-Extended engellemek Google aramasını etkiler mi?

Google'ın ortak tarayıcılar belgesine göre hayır: Google-Extended sitenin Google Arama'ya dahil olmasını etkilemez ve Arama'da bir sıralama sinyali olarak kullanılmaz. Belirteç, Gemini modellerinin eğitimi ve temellendirme kullanımı için bir tercih aracıdır. Güncel kapsam için belgeyi yeniden kontrol edin.

GPTBot engellemek ChatGPT görünürlüğünü kapatır mı?

OpenAI belgesine göre GPTBot model eğitimi içindir, ChatGPT arama özellikleri ise OAI-SearchBot ile ilişkilidir. GPTBot'u engellemek eğitim tercihini bildirir; arama görünürlüğü için OAI-SearchBot kuralı ayrıca belirlenir. Kullanıcı kaynaklı istekler için ChatGPT-User davranışını belgeden okuyun.

robots.txt kuralı geçmişte alınmış veriyi siler mi?

robots.txt gelecekteki tarama için bir yönergedir ve geçmiş veriyi silmeyi vaat eden bir mekanizma olarak belgelenmemiştir. Daha önce toplanmış içeriğin durumu sağlayıcının kendi politikasına bağlıdır. Bu konuda talebiniz varsa ilgili sağlayıcının resmi veri ve itiraz kanallarına başvurun.

Bir botun gerçekten o bot olduğu nasıl doğrulanır?

Kullanıcı aracısı dizesi kolayca taklit edilebildiği için IP temelli doğrulama gerekir. Google için ters ve ileri DNS sorgusu ya da yayımlanan IP aralıkları kullanılır. OpenAI, Anthropic ve Perplexity da IP listeleri yayımladığını belirtir. Loglardaki adresleri bu listelerle karşılaştırın.

Tüm yapay zeka botlarını engellemek önerilir mi?

Genel bir öneri vermek doğru olmaz, çünkü botların amaçları farklıdır. Arama amaçlı botları kapatmak ilgili sağlayıcıdaki görünürlüğü azaltabilir. Önce içeriğinizi ve hedefinizi belirleyin, sonra botları amaçlarına göre ayırarak seçici bir politika yazın ve belirli aralıklarla gözden geçirin.

Bot listesi ne sıklıkla gözden geçirilmeli?

Sağlayıcılar botları ekleyip değiştirebildiği için düzenli kontrol gerekir. Ekibinizin kapasitesine göre sabit bir aralık seçin; üç ayda bir makul bir başlangıçtır. Her gözden geçirmede kaynak belgeleri açın, kararları tarihleyin ve robots.txt dosyasının yedeğini saklayın.

Sonuç ve Sonraki Adım

Yapay zeka botlarını yönetmek, teknik bir dosyayı düzenlemekten çok sitenizin içeriğiyle ne yapmak istediğinize karar vermektir. Botları arama, eğitim ve kullanıcı tetiklemeli getirme diye ayırın, her belirtecin davranışını sağlayıcının belgesinden okuyun, kararlarınızı yazılı politikaya dönüştürün ve loglarla doğrulayın.

Bu hafta yapabileceğiniz somut iş küçüktür: mevcut robots.txt dosyanızı yedekleyin, yukarıdaki karar tablosunun ilk üç satırını doldurun ve loglarda bu botların izini sürün. Politika yazısını ya da bilgilendirme sayfanızı hazırlarken profesyonel bir metin desteği isterseniz makale yazımı hizmetlerine göz atabilirsiniz; ürün seçimi, sepet ve ödemeden sonra satıcı onayı ve teslimat bildirimi gelir, teslimde sorun olursa itiraz yolu açıktır. Bu destek isteğe bağlıdır; kararın kendisi her zaman sizin ve ekibinizindir.