Kötü Bot Trafiği Yönetimi: WAF, Hız Sınırı, Googlebot

Kötü bot trafiğini yönetmek, her otomatik isteği engellemek değil, hangi isteğin kime ait olduğunu ayırt edip yalnızca zarar verenlere sınır koymaktır. Bunun için üç araç birlikte kullanılır: istekleri kurallara göre değerlendiren bir güvenlik duvarı (WAF), tek bir kaynaktan gelen istek sayısını sınırlayan hız sınırı ve arama botlarını doğrulayan bir kontrol. Robots.txt bu araçlardan biri değildir. İçeriğinizi kopyalayan scraper botlarla, form spam'iyle ya da sunucuyu yoran otomatik isteklerle uğraşan bir site sahibiyseniz ya da geliştiriciyseniz, bu sırayla ilerleyin ve Googlebot'u engellemediğinizi her adımda doğrulayın.

Kötü bot, iyi bot ve arama botu ayrımı

Her bot kötü değildir. Arama motorları, ölçüm hizmetleri ve izleme araçları sitenize otomatik istek gönderir ve bir kısmı sizin yararınızadır. Sorun, kimliği belirsiz ya da niyeti zararlı otomasyondadır. Ayrımı üç grupta düşünmek işe yarar.

Cloudflare'in bot belgeleri (yeni sekmede açılır), botları algılayan ve yanıtı sizin seçmenize izin veren üç çözümü anlatır: Bot Fight Mode, Super Bot Fight Mode ve Enterprise paketler için Bot Management. Başka sağlayıcılarda menü adları ve özellikler değişir, ilkeler aynı kalır.

Yapay zeka tarayıcıları

Yapay zeka şirketlerinin tarayıcıları ayrı bir konudur. Bunlara robots.txt ile yön göstermek ve ayarlanabilir olanları yönetmek için yapay zeka botları ve robots.txt yazısına bakın. Sitenizin korunması konusu yapay zeka tarayıcılarının yönetiminden ayrıdır.

Sorunu önce ölç: belirtiler ve günlükler

Bot sorununu varsaymayın, günlükten gösterin. Her müdahale gerçek kullanıcıyı da etkileyebileceği için dayanağı veri olmalıdır.

Analitik tarafı ayrı bir konudur: ölçümden bot ve iç trafiği çıkarmanın ayrıntısı GA4 dahili ve bot trafiği filtreleme yazısındadır. Sunucu ve içerik koruması farklı bir iştir; analitik filtre sunucuya gelen yükü azaltmaz.

Robots.txt neden güvenlik önlemi değildir

Robots Exclusion Protocol'ü tanımlayan RFC 9309 (yeni sekmede açılır) bu konuda açıktır. Belgeye göre robots.txt kuralları bir erişim yetkilendirmesi biçimi değildir. Protokol geçerli içerik güvenliği önlemlerinin yerini almaz: dosyada listelenen yollar herkese görünür olduğundan, hassas alanlar kimlik doğrulama gibi gerçek korumalarla güvence altına alınmalıdır. Belge, tarayıcıların eşleşen grubun kurallarına uymak zorunda olduğunu da yazar, ama bu bir beklentidir; kuralı yok sayan bir bot teknik olarak engellenmez.

İki sonuç çıkar. Kötü niyetli botlar için robots.txt'e bir yol yazmak onu engellemez, hatta yolu ilan eder. Ve iyi niyetli botları yönlendirmek için robots.txt hâlâ doğru araçtır. Belgenin diğer önemli noktaları şunlardır: tarayıcılar önbelleğe alınmış sürümü, dosya erişilemez olmadıkça 24 saatten uzun kullanmamalıdır; sunucu veya ağ hatası nedeniyle dosyaya ulaşılamıyorsa tarayıcı tam engel varsaymalıdır; ayrıştırma sınırı en az 500 kibibayt olmalıdır. İkinci madde, sunucunuz 5xx döndüğünde robots.txt'in de ulaşılamaz olacağı ve tarayıcının her şeyi yasak sayabileceği anlamına gelir. Dosyanın doğru çalıştığını doğrulamak için Robots.txt testi yazısındaki adımları izleyin.

Hassas alanlar için doğru yol

Katmanlı koruma: hangi sırayla kurulur

1. Önce ölçün: hangi yol, hangi kaynak, hangi sıklık.
2. En ucuz önlemden başlayın: form alanlarına doğrulama ve zorluk eklemek, giriş denemelerini sınırlamak.
3. Hız sınırı koyun, ama yalnızca zarar gören yollara.
4. WAF kuralıyla belirgin zararlı kalıpları sınırlayın.
5. Bot yönetimi aracını gerekiyorsa ekleyin.
6. Her adımdan sonra Googlebot ve gerçek kullanıcı etkisini kontrol edin.

Uygulama önerisi: bütün siteye uygulanan tek bir sert kural yerine, hedefli kurallar kullanın. Zarar gören yol arama sayfasıysa sınırı arama sayfasına koyun.

WAF kuralları ve hız sınırı ile koruma

Cloudflare bot belgeleri iki ek ayrıntı verir. Bot Fight Mode, tespit edilen bot trafiğini tüm alan adı genelinde tek bir anahtarla sınayabilir. Super Bot Fight Mode ise Bot Management eklentisi olmayan Pro, Business ve Enterprise paketlerinde bulunur; bot kategorisi başına yapılandırılabilir eylemler ekler, WAF özel kural istisnalarını destekler, ama Bot Management'ın istek başına bot puanlamasına sahip değildir. Bot Management ise istek başına bot puanı, özel kurallar, uç nokta başına işlem ve ayrıntılı analiz sunar; belge bunu e-ticaret, bankacılık ve güvenlik kullanım alanları için önerir ve etkinleştirmek için hesap ekibine başvurulmasını söyler. Sayfa bot puanını tanımlamaz.

Hız sınırlama için Cloudflare WAF belgeleri bir ifadeyle eşleşen gelen isteklere sınır tanımlamayı ve sınıra ulaşıldığında uygulanacak eylemi seçmeyi anlatır. Kendi sağlayıcınızın belgesindeki adlarla çalışın.

Hız sınırını nasıl ayarlarsınız

Uygulama önerisi: hız sınırını tahminle değil günlükle belirleyin. Gerçek bir kullanıcının aynı yola dakikada kaç kez gelebileceğini, bir arama botunun hangi hızda geldiğini ve zararlı kaynağın hangi hızda geldiğini günlükten çıkarın, sınırı gerçek kullanıcının üstünde ama zararlı hızın altında seçin. Sınırı aşan istekler için tek tip engel yerine önce sınama (challenge), sonra geçici engel düşünün.

Form spam'i ve scraper'a özel önlemler

Cloudflare belgesi Turnstile'ı CAPTCHA'ya akıllı alternatif olarak anlatır ve daha az müdahaleci sınamalar çalıştırdığını söyler. Başka sağlayıcıların benzer ürünleri de vardır; seçerken erişilebilirlik ve gizlilik koşullarını kontrol edin.

Googlebot'u doğrulayarak engellemeden korumak

Bir isteğin Googlebot olduğunu yalnızca kullanıcı aracısı dizisiyle kabul etmeyin. Google'ın Googlebot doğrulama belgesi (yeni sekmede açılır) iki yöntem anlatır. Elle doğrulamada günlükteki IP adresine ters DNS sorgusu yaparsınız, dönen alan adının googlebot.com, google.com ya da googleusercontent.com ile bitip bitmediğine bakarsınız, ardından o alan adı için ileri DNS sorgusu yapıp özgün IP'ye çözümlendiğini doğrularsınız. Otomatik doğrulamada ise isteği yapan IP'yi Google'ın CIDR gösterimli IP aralığı dosyalarıyla eşleştirirsiniz: tarayıcı türüne göre ayrılmış dosyalar (ortak tarayıcılar, özel amaçlı tarayıcılar, kullanıcı tetiklemeli getiriciler ve kullanıcı tetiklemeli aracılar). Diğer Google IP'leri için genel goog.json listesine bakılabilir.

Belge sahtekârların Google'dan geldiğini iddia edebildiğini, bu yüzden doğrulamanın yararlı olduğunu da vurgular. Güvenlik duvarınız “Googlebot” yazan her isteği içeri alıyorsa, kötü bot kendisine bu adı verir ve kuralınızı aşar; her isteği yok sayıyorsa Googlebot dışarıda kalır. Doğru çözüm kural bazında doğrulamadır. WAF ve CDN engellerinin tarama etkisi için Googlebot erişimini doğrulama yazısına bakın.

Üç tür Google istemcisi

Bu ayrım bir uyarı taşır: her Google kaynaklı istek Googlebot değildir ve robots.txt kuralı hepsini bağlamaz. Hangi istemciye izin verdiğinize kural bazında karar verin.

Bot trafiğini izleme ve yanlış pozitifleri geri alma

Kural koyduktan sonra iki şeyi ölçün: kötü trafik azaldı mı, gerçek kullanıcı ve arama botu zarar gördü mü? Search Console'daki tarama istatistikleri raporu ikinci soru için kullanılır; yanıt kodu dağılımında 403 ve 429 payının artması, sunucu durumu bölümünde sorun belirmesi bir uyarıdır. Tarama bütçesi ve sunucu yükü için tarama bütçesi optimizasyonu yazısındaki ilkeler geçerlidir.

Yanlış pozitifi geri alma sırası

1. Sorunlu isteği günlükte bulun: IP, yol, kullanıcı aracısı, kural.
2. Kuralı izleme moduna alın ve etkisini yeniden ölçün.
3. Meşru istemciyi doğrulayıp kural istisnası olarak tanımlayın.
4. Değişikliği, tarihi ve nedenini bir değişiklik defterine yazın.
5. Sunucu hataları (5xx) arttıysa hosting kesintisinde 5xx ve tarama etkisi yazısındaki ilkelere göre sunucuyu da inceleyin.

Örnek senaryo: sebze meyve hali esnafı

Örnek senaryo: bir sebze meyve halinde tezgâh işleten esnaf, toptan sipariş talep formunu ve günlük fiyat listesini sitesinde yayınlıyor. Yeni sezon indirimi duyurulduğu gün talep formu anlamsız kayıtlarla doldu, fiyat listesi sayfaları da kısa aralıklarla tekrar tekrar çekildi. Esnaf siteyi hazırlayan serbest çalışan geliştiriciye başvurdu. Geliştirici önce erişim günlüğüne baktı: form gönderimleri birkaç IP aralığından geliyordu, fiyat listesi isteklerinin kullanıcı aracısı tarayıcı gibi görünüyordu ama istek aralığı insanlara göre fazla düzenliydi.

İlk adım olarak forma sunucu tarafı doğrulama ve akıllı bir sınama eklendi, gönderim sayısına sınır kondu. İkinci adım fiyat listesi yoluna hız sınırıydı. Üçüncü adımda geliştirici, Googlebot'un bu sınırdan etkilenmediğini Search Console tarama istatistiklerinde yanıt kodu dağılımına bakarak ve günlükte doğrulanmış arama botu isteklerini arayarak kontrol etti. Bir hafta sonra form temizdi, ama esnafın ambalaj tedarikçisi stok izleme aracının erişemediğini bildirdi. Aracın IP aralığı doğrulandı ve kural istisnası tanımlandı. Süreç sonunda geliştirici, fiyat listesi yolunu robots.txt'e yazmanın istenmeyen çekimlere karşı hiçbir şey yapmayacağını not etti.

Aynı senaryoda karar noktaları

Uygulama önerisi: istisnayı eklerken tarih ve sahip alanını da doldurun. Bir sonraki gözden geçirmede istisnanın hâlâ gerekli olup olmadığı o kayıttan anlaşılır.

Kural tasarımı: ifade, eylem ve istisna

Hangi sağlayıcıyı kullanırsanız kullanın, bir kural üç parçadan oluşur: istekleri seçen bir ifade, seçilen isteklere uygulanan bir eylem ve bu eylemden muaf tutulan bir istisna listesi. Kuralı yazmadan önce bu üç parçayı kâğıda dökün.

Eylemlerin adı ve davranışı sağlayıcıya göre farklıdır. Uygulama önerisi: eylem sırasını hafiften sert yöne doğru kurun. İzleme eylemi hiçbir isteği durdurmaz ama kuralın kimi yakalayacağını gösterir. Sınama eylemi gerçek kullanıcıya bir fırsat verir. Geçici engel süreyle sınırlıdır ve hatayı kendiliğinden düzeltir. Kalıcı engel en son seçenek olmalıdır.

İfadeyi daraltmak

İfadeyi ne kadar dar tutarsanız yanlış pozitif ihtimali o kadar düşer. Yol, yöntem, kaynak ağı ve istek hızı birlikte kullanılırsa kural yalnızca hedefi yakalar. Yalnızca kullanıcı aracısına dayanan bir ifade kolay atlatılır ve meşru araçları da yanlışlıkla içine alabilir. Kullanıcı aracısını bir ipucu olarak görün, tek koşul olarak kullanmayın.

Erişilebilirlik ve kullanıcı deneyimi dengesi

Bot önlemlerinin bedelini bazen gerçek kullanıcı öder. Sınama ekranı klavye ve ekran okuyucuyla kullanılamıyorsa, bot kadar engelli kullanıcı da dışarıda kalır. Hız sınırı paylaşılan bir ofis ağından gelen gerçek müşterileri aynı kaynak sanıp kısıtlayabilir. Ülke bazlı engeller yurt dışındaki müşteriyi ve gezen kullanıcıyı keser.

Karar kuralı: bir önlem erişilebilirliği bozuyorsa ya da meşru kullanıcıyı sistematik olarak dışarıda bırakıyorsa, zararı kanıtlanmış olsa bile onu tek başına bırakmayın. Önlemi hafifletin, yanına ikinci bir ulaşım yolu koyun ve sonucu destek taleplerinde izleyin. Uygulama önerisi: sınama ekranı olan her forma, ekran okuyucuyla denenmiş bir iletişim alternatifi (telefon numarası ya da e-posta adresi) ekleyin. Böylece bot önlemi bir müşteriyi sessizce kaybetmenize yol açmaz, kural ayarını sonradan düzeltmek için de elinizde gerçek bir geri bildirim kanalı olur.

Sunucu tarafı hazırlık: önbellek, kaynak limiti ve istek bütçesi

Bot trafiğinin zararı sunucunun dayanıklılığıyla ölçülür. Aynı istek sayısı güçlü bir önbelleği olan sitede fark edilmezken, her isteği veritabanına götüren bir sitede kesintiye yol açar. Bu yüzden kural yazmadan önce sunucunun kendi tarafında şu hazırlıkları gözden geçirin.

Google'ın belgesi, 5xx ve 429 yanıtlarının Google tarayıcılarını geçici olarak yavaşlatabileceğini söylediği için, hız sınırı uyguladığınız yollarda arama botunun da 429 alma ihtimalini düşünün. Bu nedenle sınırı yalnızca gerçekten zarar gören yollara koyun ve arama botlarının ziyaret ettiği içerik sayfalarını dışarıda tutun.

İstek bütçesi yaklaşımı

Uygulama önerisi: her yol için kabul edebileceğiniz istek hızını yazın. Ana sayfa ve içerik sayfaları geniş, arama ve giriş uçları dar bir bütçe taşır. Bütçeyi aşan istemciyi önce yavaşlatın, sonra sınayın. Bütçeyi yazılı hale getirmek, kuralı sonradan savunmanızı da kolaylaştırır: neden bu sınırı seçtiğinizi bir tabloya bakarak açıklarsınız.

Olay günlüğü şablonu

Bot olayları uzun sürebilir ve birden çok kişi kural değiştirebilir. Basit bir olay günlüğü, kimin neyi neden yaptığını izlenebilir kılar.

Sağlayıcıya sorulacak sorular

• Bot koruması hangi pakette yer alıyor ve hangi özellikler ek lisans istiyor?
• Kural eylemleri neler, izleme modu var mı?
• Engellenen isteklerin günlüğü ne kadar süre saklanıyor?
• Doğrulanmış arama botları için ayrı bir yönetim seçeneği sunuluyor mu?
• Yanlış pozitif durumunda destek hangi kanaldan, ne sürede yanıt veriyor?

Bu sorular marka karşılaştırması yerine geçmez. Amaç, sağlayıcının belgelerindeki ve sözleşmesindeki karşılıkları yazılı hale getirmektir.

Karar tablosu

Karar kuralı: bir kuralın zararı kanıtlıysa o yola hedefli sınır koyun; kanıt yoksa kuralı önce izleme modunda çalıştırın. Güvenlik duvarı kurallarını da genel güvenlik bağlamında web sitesi güvenliği ve hosting kontrol listesi yazısıyla birlikte düşünün.

Karıştırılan noktalar

Kontrol listesi: on iki madde

• Sorun günlükten gösterildi: yol, kaynak, hız.
• Robots.txt'e güvenlik önlemi olarak güvenilmiyor; hassas alanlar kimlik doğrulamayla korunuyor.
• Form spam'i için sunucu tarafı doğrulama ve sınama var.
• Hız sınırı günlük verisiyle seçildi ve yalnızca zarar gören yola konuldu.
• WAF kuralı önce izleme modunda denendi.
• Googlebot isteği kullanıcı aracısıyla değil, DNS veya IP aralığıyla doğrulanıyor.
• Kural değişikliğinden sonra tarama istatistikleri ve yanıt kodları kontrol edildi.
• Meşru araçlar için istisna listesi var ve kaynak doğrulandı.
• Her kural değişikliği tarih ve nedenle kaydedildi.
• Destek taleplerinde “siteye giremiyorum” şikayetleri izleniyor.
• Sağlayıcı belgesindeki güncel kural adları ve eylemleri kontrol edildi.
• Kuralların gözden geçirme tarihi takvimde.

Gözden geçirme takvimi

Kurallar eskir. Geçen bahar saldırı altında olan bir yol bugün zararsız olabilir, yeni bir form ise sınırsız kalmış olabilir. Gözden geçirmeyi takvime yazın, bir sahip belirleyin ve değişiklik defterini güncel tutun; böylece sonraki kişi her kuralın neden var olduğunu görür.

Kuralın kapanış ölçütü

Her kural için bir kapanış ölçütü yazın. Kampanya için konan geçici bir hız sınırı kampanya bitince gerekçesini yitirir; kural yerinde kalırsa aylar sonra gerçek müşterileri sessizce yavaşlatabilir. Kapanış ölçütü üç türden biri olabilir: tarih (örneğin kampanya sonu), gözlem (iki hafta boyunca hedef yolda şüpheli istek görülmemesi) ya da olay (sağlayıcının yeni bir koruma özelliği açması).

Uygulama önerisi: kuralı kaldırmadan önce iki adım atın. Önce eylemi izleme moduna alın ve bir hafta boyunca kuralın kaç isteği yakalayacağını sayın. Sayı sıfıra yakınsa kural gereksizdir; sayı hâlâ yüksekse zararlı trafik sürüyor demektir ve kapanış ölçütü yeniden yazılır. Böylece kuralı kaldırmak da tahmine değil kanıta dayanır.

Kaldırılan kuralın kaydını silmeyin. Değişiklik defterinde kuralın ifadesini, ne zaman ve neden kaldırıldığını saklayın. Aynı kalıp geri geldiğinde kuralı sıfırdan yazmak yerine kayıttan geri yüklersiniz, eski istisnaların listesi de elinizde olur.

Kapanış ölçütünün bir yan yararı daha vardır: kural sayısını sınırlı tutar. Kural sayısı arttıkça kuralların birbirini etkileme ihtimali büyür; bir kuralın izin verdiği isteği başka bir kural engeller ve nedeni bulmak uzun sürer. Her çeyrekte kural listesini baştan sona okuyup birbirini kapsayan ya da artık hiçbir isteği yakalamayan kuralları işaretleyin. Bu inceleme için ayrı bir araç gerekmez; kural listesinin dışa aktarımı ve bir tablo yeterlidir.

Yeni form yayınlamadan önce

Yeni bir form ya da arama kutusu, koruması olmayan yeni bir hedeftir. Yayından önce şu altı soruya evet diyebilmelisiniz.

• Gönderim sunucu tarafında doğrulanıyor mu, yoksa yalnızca tarayıcıdaki kontrole mi dayanıyor?
• Gönderim sayısı için bir hız sınırı tanımlı mı?
• Sınama yöntemi klavye ve ekran okuyucuyla denendi mi?
• Form kayıtlarını kimin, ne zaman okuyacağı belli mi?
• Yanlış pozitif olursa gerçek müşterinin size ulaşacağı ikinci bir yol (telefon ya da e-posta) var mı?
• Formun yolu hız sınırı kuralının kapsamına eklendi mi?

Uygulama önerisi: bu listeyi form eklenen her sayfanın yayın notuna kopyalayın. Eksik madde varsa yayını erteleyin, çünkü form spam'i ilk haftada fark edilmezse kayıt tablosu kirlenir ve temizlik daha pahalı olur.

Kontrol listesini tamamladığınızda sonucu bir cümleyle özetleyin: hangi yol korundu, hangi kural hangi tarihe kadar yürürlükte, kim izliyor. Bu cümleyi değişiklik defterinin yanında tutun. Ekip değiştiğinde ya da sağlayıcı desteğine yazdığınızda bağlamı yeniden kurmanızı sağlar ve kuralların gerekçesinden uzun yaşamasını önler.

Sık Sorulan Sorular

Robots.txt kötü botları engeller mi?

Hayır. RFC 9309 robots.txt kurallarının bir erişim yetkilendirmesi olmadığını ve geçerli içerik güvenliği önlemlerinin yerini almadığını yazar. Hassas alanlar kimlik doğrulama gibi gerçek korumalarla güvence altına alınmalıdır.

Googlebot'u nasıl doğrularım?

Google'ın belgesine göre günlükteki IP'ye ters DNS sorgusu yapın, alan adının googlebot.com, google.com veya googleusercontent.com ile bittiğini görün, sonra ileri DNS sorgusuyla aynı IP'ye çözümlendiğini doğrulayın. Alternatif olarak Google'ın yayımladığı IP aralığı dosyalarıyla eşleştirin.

Hız sınırı koymak Googlebot'u etkiler mi?

Yanlış ayarlanırsa etkileyebilir. Sınırı günlük verisine göre seçin, önce izleme modunda deneyin ve kural sonrası tarama yanıt kodlarını kontrol edin.

Cloudflare kullanmıyorsam bu ilkeler geçerli mi?

Evet. İlkeler her sağlayıcıda geçerlidir; özellik ve menü adları sağlayıcıya göre farklı olabilir.

Bot Management ve Super Bot Fight Mode arasındaki fark nedir?

Cloudflare belgesine göre Super Bot Fight Mode bot kategorisi başına yapılandırılabilir eylemler sunar ama istek başına bot puanlaması içermez. Bot Management istek başına bot puanı ve özel kurallar sağlar.

Form spam'ini yalnızca sınama ile çözebilir miyim?

Tek başına yeterli olmayabilir. Sunucu tarafı doğrulama, gönderim hız sınırı ve gerekirse akıllı sınama birlikte kullanılır; erişilebilirliği bozmadığından emin olun.

Sonuç

Kötü bot trafiğini yönetmek, sorunu günlükten göstermek, robots.txt'e güvenlik önlemi gözüyle bakmamak ve hedefli WAF kurallarıyla hız sınırlarını kullanmak demektir. Her kuralı izleme modunda deneyin, Googlebot'u kullanıcı aracısına güvenmeden DNS ya da IP aralığıyla doğrulayın ve kural sonrası tarama yanıtlarını kontrol edin. Yanlış pozitif görürseniz kuralı izleme moduna alıp istisna tanımlayın.

Korumalı ve hızlı çalışan bir sitenin otoritesini artıracak bağlantı kazanımı için backlink paketlerimize göz atabilirsiniz.