robots.txt test aracı
Bir sayfa dizine girmiyorsa robots.txt ilk bakılacak yerdir. Adresi girin; dosyayı okuyup Googlebot için sonucu gösterelim.
Nasıl çalışır?
Girdiğiniz adresin alan adındaki /robots.txt dosyasını indirir, Googlebot için geçerli kuralları ayıklar ve adresin izinli ya da engelli olduğunu gösterir. En uzun eşleşen kural kazanır; eşit uzunlukta Allow Disallow'a üstündür.
Sık görülen robots.txt hataları
- "Disallow: /" satırının canlıya taşınması: robots.txt tarafından engellendi
- Sayfayı gizlemek için yalnızca robots.txt kullanmak: Robots.txt tarafından engellenmiş olsa da dizine eklendi
- Sitemap'teki adreslerin robots.txt ile kapalı olması: Sitemap nasıl hazırlanır ve Search Console'a gönderilir?
robots.txt taramayı yönetir, dizinden çıkarmaz. Bir sayfanın dizinde görünmemesini istiyorsanız noindex kullanın. Terimin ayrıntısı için robots.txt.
Sık sorulan sorular
robots.txt dosyam yoksa ne olur?
Dosya yoksa (404) tarayıcılar her yeri taramakta serbesttir.
Test sonucu "engelli" ise ne yapmalıyım?
Sonuçta gösterilen kuralı daraltın ya da silin ve sayfayı yeniden gönderin: Search Console robots.txt raporu da yardımcı olur.