robots.txt politikası, her botun amacı ve sitenin içerik hakları doğrultusunda belirlenmelidir. Arama botu ile eğitim botunu aynı kabul ederek topluca engellemek istenmeyen görünürlük kaybına yol açabilir.
Amaçları ayırın
OAI-SearchBot ve GPTBot gibi user-agent adlarını resmî dokümantasyondan doğrulayın.
Özel alanları koruyun
Analiz sonuçları, admin ve hesap sayfaları tüm botlar için kapalı olmalıdır.
Sunucu katmanını test edin
robots.txt izni, CDN veya WAF engelini ortadan kaldırmaz; gerçek HTTP erişimi ayrıca doğrulanmalıdır.
Kaynaklar
Kaynaklar son kontrol tarihi: 13.07.2026
GEO hazırlığınızı ölçün
Ücretsiz analiz →Web siteniz yapay zekâ aramalarına hazır mı?
Teknik ve yapısal hazırlığınızı gerçek kontrollerle değerlendirin.