“robots.txt tarafından engellendi” hatası nedir, nasıl çözülür?
robots.txt Googlebot'un adrese girmesini engelliyor. robots.txt dosyanızdaki bir Disallow kuralı bu adresin taranmasını yasaklıyor. Google içeriği okuyamaz; adres başka sitelerden bağlantı aldıysa içeriksiz olarak dizinde görünebilir.
İçindekiler
Bu durum ne anlama gelir?
robots.txt dosyanızdaki bir Disallow kuralı bu adresin taranmasını yasaklıyor. Google içeriği okuyamaz; adres başka sitelerden bağlantı aldıysa içeriksiz olarak dizinde görünebilir.
Olası nedenler
- Geliştirme sırasında konulan "Disallow: /" kuralı canlıda unutulmuş.
- Geniş bir desen (örneğin /*?) istemediğiniz sayfaları da kapsıyor.
- CMS ya da eklenti robots.txt'yi kendiliğinden yeniden yazdı.
- Sitemap'teki adresler robots.txt ile kapatılmış klasörlerde.
Nasıl düzeltilir?
- Search Console'un robots.txt raporuyla ya da bir robots test aracıyla hangi kuralın adresi kapattığını bulun.
- Kuralı daraltın ya da silin; yalnızca gerçekten taranmaması gereken klasörleri kapatın.
- Sitemap'teki adreslerin robots.txt ile çelişmediğini doğrulayın.
- Düzeltmeden sonra robots.txt'nin önbelleğini yenilemesi için bir gün bekleyin ya da raporda yeniden almayı isteyin.
- Adresi indeksleme için gönderin ve ilerlemeyi URL denetimiyle izleyin.
Platformunuza göre adımlar
Platformunuza özel menü adları ve ayar yerleri için ilgili çözüm sayfasını açın:
- WordPress
- WooCommerce
- Shopify
- Wix
- Blogger
- Webflow
- Squarespace
- Joomla
- Drupal
- Magento
- OpenCart
- PrestaShop
- Ticimax
- IdeaSoft
- Next.js
- React SPA
- Laravel
- Ghost
Düzelttikten sonra
Search Console'da ilgili durum için "Düzeltmeyi doğrula" seçeneğini başlatın, sayfayı URL denetimiyle yeniden gönderin ve ücretsiz Ücretsiz indekslenebilirlik kontrolü ile engelin kalktığını doğrulayın. Çok sayıda adres için toplu gönderimi Toplu URL indeksleme: binlerce sayfa Google'a nasıl gönderilir? rehberinden öğrenebilirsiniz. Doğrulama günler ile haftalar sürebilir.
İlgili terimler
Sık sorulan sorular
robots.txt sayfayı dizinden çıkarır mı?
Hayır. Taramayı engeller, dizinden çıkarmaz. Çıkarmak için taramaya izin verip noindex kullanın.
robots.txt'yi nasıl test ederim?
Ücretsiz robots.txt test aracımızda dosyayı ve bir adresi girin; Googlebot için izin durumunu görürsünüz.