AI Bot Erişim Denetimi
robots.txt dosyanızı yapay zekâ botları açısından denetler: GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve diğerleri sitenize erişebiliyor mu, hangileri engelli?
- Üye girişi gerekirÜyelik ücretsiz
- Pro paketinde açıkGünde 100 analiz hakkı
- Geçmişe kaydedilirHesabınızdan erişilir
Bu araç neye bakar?
ChatGPT, Perplexity ve Google AI Overviews sizi okuyabiliyor mu, alıntılayabiliyor mu? Yeni nesil aramaya hazırlık denetimleri.
- On üç yapay zekâ botu tek tek denetlenir
- Eğitim botu / arama botu ayrımı yapılır
- Engellediğiniz botlar yüzünden AI aramalarında neyi kaybettiğiniz açıklanır
- llms.txt dosyanız var mı kontrol edilir
Bu araç ne ölçer?
ChatGPT, Perplexity ve Claude bir soruyu yanıtlarken kaynak gösteriyorsa, o kaynağı kendi tarayıcı botlarıyla okumuş demektir. robots.txt dosyanızdaki tek bir satır bu botları kapının dışında bırakıyorsa, içeriğiniz ne kadar iyi olursa olsun yanıtlarda görünmezsiniz.
Araç alan adınızın kökündeki robots.txt dosyasını indirir ve yapay zekâ botlarını tek tek denetler: her biri için “/” yoluna erişim izni var mı diye bakar. Aynı anda llms.txt dosyanızın varlığını da kontrol eder.
Botlar amaçlarına göre ayrılır, çünkü karar hepsi için aynı değil. Arama dizini botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot) sizi yanıtlarda kaynak gösterebilmek için okur. Kullanıcı isteğiyle sayfa okuyan botlar (ChatGPT-User, Claude-User, Perplexity-User) birinin sohbete yapıştırdığı bağlantıyı açar. Eğitim botları içeriği model eğitimine taşır.
Nasıl kullanılır?
- 1
Alan adını yazın
Tek bir sayfayı değil, alan adını verin; robots.txt kökte durur ve tüm site için geçerlidir. Alt alan adlarının kendi dosyası vardır, onları ayrı denetleyin.
- 2
Önce arama botları satırına bakın
Bu üçünden biri engelliyse denetim hata verir. Eğitim botlarını engellemek bir tercih, arama botlarını engellemek çoğu zaman kazadır.
- 3
Engelin nereden geldiğini bulun
Kural çoğu zaman elle yazılmamıştır: bir güvenlik eklentisi, sunucu sağlayıcısının varsayılanı ya da yıllar önce kopyalanmış bir robots.txt şablonu. Dosyayı açıp ilgili satırı arayın.
- 4
Kararınızı yazıya dökün
Eğitim ve arama ayrımını bilerek yapın: içeriğinizin eğitimde kullanılmasını istemeyip AI yanıtlarında görünmek isteyebilirsiniz. Robots.txt Üretici bu ikisini ayrı seçenek olarak sunuyor.
- 5
Değişiklikten sonra tekrar denetleyin
robots.txt saatler içinde yeniden okunur. Dosyayı güncelledikten sonra aracı yeniden çalıştırıp kuralın beklediğiniz gibi çözümlendiğini doğrulayın.
Ne zaman kullanmalı?
- Rakipleriniz AI yanıtlarında kaynak gösterilirken siz hiç görünmüyorsanız.
- Sunucu ya da güvenlik eklentisi değiştirdikten sonra, varsayılan kuralların ne getirdiğini kontrol etmek için.
- Yönetime “yapay zekâ aramalarında neredeyiz” sorusunun teknik tarafını yanıtlarken.
- İçeriğinizin model eğitiminde kullanılmasını engellemeye karar verdikten sonra, kuralın gerçekten işlediğini doğrulamak için.
Sonucu okuma
robots.txt bulunamadı
Dosya yoksa kural da yoktur, yani tüm botlar serbest sayılır. Bu bir hata değil ama bir tercih de değil: denetimi geçmiş olmanız, konuyu düşündüğünüz anlamına gelmez.
Arama botları engelli
Bu satır hata verirse AI yanıtlarında kaynak gösterilmeniz teknik olarak mümkün değil. İçerik üretmeye devam etmenin bu koşulda getirisi yok; önce engeli kaldırın.
Eğitim botları engelli
Bu satır bilgi notu olarak gelir, hata değil. Kaç eğitim botunun kapalı olduğunu söyler. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız doğru ayardır ve arama görünürlüğünüzü etkilemez.
Google-Extended durumu
Bu bot Gemini eğitimi ve AI Overviews içindir, Googlebot'tan ayrıdır. Engellemek klasik arama sıralamanızı düşürmez, ama AI Overviews kutusunda görünme ihtimalinizi azaltır.
llms.txt satırı
Dosya yoksa uyarı gelir. Bu bir engel değil, eksik bir fırsat: modeller sitenizi HTML'den tahmin etmek yerine sizin yazdığınız özetten okuyabilir. llms.txt Üretici ile birkaç dakikada hazırlanır.
AI Bot Erişim Denetimi hakkında sık sorulanlar
Klasik Google trafiğinizi kaybetmezsiniz, Googlebot ayrı bir bottur. Kaybettiğiniz, ChatGPT ve Perplexity yanıtlarında adınızın ve bağlantınızın geçmesi. Bu kanal birçok sektörde hâlâ küçük ama düzenli büyüyor.
Büyük sağlayıcıların botları uyduğunu açıkça belirtiyor. Ama robots.txt bir istek, teknik bir engel değil. Gerçekten erişilmesini istemediğiniz içerik için sunucu tarafında yetki denetimi gerekir.
Erişim hemen geri gelir, ama modelin içeriğinizi yeniden taraması ve yanıtlarda kullanması zaman alır. Uzun süre kapalı kalmış bir sitenin görünürlüğü bir gecede dönmez.
Genelde hayır. ChatGPT-User gibi botlar yalnız birisi sohbete sizin bağlantınızı yapıştırdığında sayfayı açar. Bunu engellemek, içeriğinizi paylaşan kullanıcıyı engellemek anlamına gelir.
Bununla birlikte kullanın
Aynı kategorideki diğer araçlar. Birlikte çalıştırdığınızda resmin tamamını görürsünüz.
Araç sorunu buldu, sıra düzeltmede
Teknik SEO, içerik ve AI görünürlük çalışmalarını baştan sona yürütüyoruz. Sitenizi inceleyip ne yapılması gerektiğini net bir listeyle paylaşalım.
Pazartesi – Cumartesi 09:00 – 18:00