robots.txt nedir?
robots.txt, sitenin kök dizinindeki, tarayıcılara hangi yolları tarayabileceklerini söyleyen metin dosyasıdır. Taramayı yönetir; sayfayı dizinden çıkarmaz.
İçindekiler
Neden önemli?
Yanlış bir Disallow satırı tüm siteyi taramaya kapatabilir.
Örnek
Örnek: "User-agent: *" ve "Disallow: /sepet/" satırları, sepet klasörünün taranmamasını ister; ürün sayfaları ise açık kalır.
Ne yapmalısınız?
Değişiklikten sonra robots.txt test aracıyla önemli adreslerin açık olduğunu doğrulayın.
İlgili indeksleme hataları
- robots.txt tarafından engellendi
- Robots.txt tarafından engellenmiş olsa da dizine eklendi
- Yetkisiz istek (401) / erişim yasak (403) nedeniyle engellendi
Bu terimin geçtiği rehberler
- Google indeksleme nasıl çalışır? Tarama, işleme ve dizine ekleme
- Sitemap nasıl hazırlanır ve Search Console'a gönderilir?
- Google indeksleme kontrol listesi: yayından önce 15 madde
İlgili terimler
Sık sorulan sorular
robots.txt nedir?
robots.txt, sitenin kök dizinindeki, tarayıcılara hangi yolları tarayabileceklerini söyleyen metin dosyasıdır. Taramayı yönetir; sayfayı dizinden çıkarmaz.
robots.txt neden önemlidir?
Yanlış bir Disallow satırı tüm siteyi taramaya kapatabilir.
robots.txt için ne yapmalıyım?
Değişiklikten sonra robots.txt test aracıyla önemli adreslerin açık olduğunu doğrulayın.