Hazır şablonlar:
robots.txt içeriği
Nasıl kullanılır?
Oluşan içeriği kopyalayıp sitenizin kök dizinine robots.txt adıyla yükleyin (örn. https://ornek.com/robots.txt). Yollar her zaman / ile başlamalıdır.
Nasıl Kullanılır?
Arama motorları için robots.txt dosyanızın içeriğini oluşturmak için kullanılır.
1
User-agent belirtin
Kuralın hangi arama motoruna uygulanacağını yazın, örneğin * veya Googlebot.
2
Allow ve Disallow yollarını girin
Her satıra bir yol yazın; boş bırakılan taraf tüm içeriği kapsar.
3
Oluştur butonuna basın
Dosyayı kopyalayıp sitenizin kök dizinine robots.txt olarak kaydedin.
İpuçları
- robots.txt bir erişim engeli değil, bir tarama yönlendirmesidir; gizli sayfaları korumaz.
- Site adresinizi Sitemap URL alanına eklemeyi unutmayın.
