robot_2
Robots.txt Generator
Direct search engine bots
tune Settings
Write one path per line
0 = No delay (recommended)
code Robots.txt Output
info
How to Use?
Copy this code and save it as robots.txt in your site root directory.
What is Robots.txt?
Robots.txt dosyası, arama motoru botlarına (crawler) sitenizin hangi
bölümlerini taraması veya taramaması gerektiğini söyleyen bir metin dosyasıdır. Bu dosya,
sitenizin kök dizinine yerleştirilir ve https://siteniz.com/robots.txt
adresinden erişilebilir olmalıdır.
Robots.txt Ne İşe Yarar?
- Arama motorlarının dizine eklemesini istemediğiniz sayfaları engelleyebilirsiniz (admin paneli, kullanıcı sayfaları vb.)
- Sunucu kaynaklarını korumak için tarama hızını kontrol edebilirsiniz
- Sitemap dosyanızın konumunu arama motorlarına bildirebilirsiniz
- Gereksiz sayfa taramalarını önleyerek crawl bütçenizi optimize edebilirsiniz
Önemli Uyarılar
- Robots.txt gizlilik aracı DEĞİLDİR. Sadece tarayıcıları yönlendirir.
- Kötü niyetli botlar robots.txt'yi görmezden gelebilir.
- Hassas içerikler için parola koruması veya noindex meta etiketi kullanın.