robots.txt oluşturucu
Kuralları yazın, dosya anında oluşsun. Kopyalayın ya da robots.txt olarak indirin.
Nasıl kullanılır?
- Tüm siteye izin vermek ya da hepsini kapatmak arasında seçim yapın.
- Engellemek istediğiniz yolları (her satıra bir tane) ve gerekirse istisna olarak izin verilecek yolları yazın.
- Sitemap adresinizi ekleyin.
- Dosyayı indirin ve alan adınızın kök dizinine
/robots.txtolarak yükleyin. - Yayınladıktan sonra robots.txt test aracı ile test edin.
Önemli uyarılar
- "Disallow: /" satırı tüm siteyi taramaya kapatır. Canlıya almadan önce emin olun: robots.txt tarafından engellendi
- robots.txt taramayı yönetir, sayfayı dizinden çıkarmaz. Dizinde görünmesini istemediğiniz sayfalar için noindex kullanın.
- Yapay zeka tarayıcılarını engellemek Google aramasındaki yerinizi etkilemez. Google-Extended yalnızca Gemini gibi üretken yapay zeka kullanımını denetler, Googlebot ayrıdır.
- Sitemap adreslerinin robots.txt ile kapatılmadığından emin olun: Sitemap nasıl hazırlanır ve Search Console'a gönderilir?
Terimin ayrıntısı için robots.txt.
Sık sorulan sorular
Yapay zeka botlarını engellemeli miyim?
Bu bir tercihtir. Engellerseniz içeriğiniz bu şirketlerin modellerini eğitmek için kullanılmaz, ancak bu servislerin yanıtlarında görünme şansınız da azalabilir.
robots.txt dosyası nereye yüklenir?
Alan adının kök dizinine, yani https://ornek.com/robots.txt adresinde açılacak şekilde. Alt klasörlerdeki dosyalar dikkate alınmaz.
Veriler sunucuya gönderiliyor mu?
Hayır. Dosya tarayıcınızda üretilir ve doğrudan indirilir.