robots.txt analizörü
robots.txt'teki tek bir satır sitenizin tamamını arama motorlarından gizleyebilir; desteklenmeyen bir yönerge ise beklediğiniz etkiyi hiç yaratmaz. Araç dosyayı gruplarına ayırır, hatalı satırları, CSS/JS engellerini ve gizli yolları ilan eden kuralları bulur ve seçtiğiniz bot için bir yolun durumunu en uzun eşleşme kuralıyla hesaplar. robots.txt'nin bir güvenlik önlemi olmadığını da ayrıca belirtir.
Araç yükleniyor…
Bu araç tarayıcınızda çalışır ve JavaScript gerektirir.
Nasıl kullanılır?
- robots.txt içeriğini yapıştırın; isterseniz bot ve test edilecek yolu seçin.
- Çalıştır düğmesine basın. Sonuçlar kesin sorun, olası sorun, doğrulanamayan ve sorunsuz olarak ayrı ayrı listelenir; her bulguda tespit, anlamı, çözüm ve kontrol sınırı yer alır.
- Önerilen düzeltmeyi uygulayın ve aracı yeniden çalıştırarak sonucu doğrulayın. “Sonucu kopyala” ile raporu destek talebinize ekleyebilirsiniz.
Örnek kullanım
Geliştirme döneminden kalan “Disallow: /” satırı canlı sitede duruyorsa araç bunu tüm sitenin taramaya kapalı olduğu kesin sorun olarak gösterir. Formdaki “Örnek veri” düğmesi bu tür bir senaryoyu hazır verilerle doldurur ve sonucu hemen gösterir.
Kontrol kapsamı ve sınırlar
Analiz yapıştırdığınız metne göre tarayıcınızda yapılır; siteniz sorgulanmaz. Desen eşleştirme düzenli ifade kullanmadan yapılır.
Girdileriniz adres çubuğuna eklenmez, analitik sistemlerine aktarılmaz ve sonuç sayfaları arama motorlarında dizinlenmez.
İlgili rehberler
Diğer araçlar
Başlamaya Hazır mısınız?
Hesabınızı oluşturun veya sorularınız için ekibimize yazın.