Robots.txt Nedir?
Robots.txt, web sitesinin kök dizininde bulunan ve arama motoru botlarının sitenizde hangi sayfa ve dizinlere erişip erişemeyeceğini belirleyen basit bir metin dosyasıdır.
Robots.txt Dosyasının Önemi
- Arama motorlarının gereksiz içerikleri taramasını önlemek.
- Gizli veya hassas bilgileri korumak.
- Sunucu yükünü azaltarak site performansını iyileştirmek.
- SEO optimizasyonunu desteklemek.
Robots.txt Dosyasının Yapısı
Temel yapısı aşağıdaki gibidir:
User-agent: [bot adı]
Disallow: [engellenen dizin veya dosya]
Allow: [izin verilen dizin veya dosya]
User-agent: Kuralın hangi arama motoru botları için geçerli olduğunu belirtir.*tüm botları kapsar.Disallow: Belirtilen dizin veya dosyaların taranmasını engeller.Allow: Yasaklanan bir dizin içinde özel bir dosyaya erişim izni sağlar.
Örnek Robots.txt Dosyası
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
CMS Sistemleri İçin Robots.txt Örnekleri
WordPress
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Joomla
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Shopify
Shopify varsayılan olarak kendi robots.txt dosyasını oluşturur. Düzenlemeye kapalıdır ancak özel talepler için Shopify destek ekibiyle iletişime geçebilirsiniz.
Robots.txt Dosyasını Test Etmek
Robots.txt dosyanızı aşağıdaki araçlarla test edebilirsiniz:
- Google Search Console Robots.txt Test Aracı
- TechnicalSEO.com Robots.txt Tester
- Bing Webmaster Tools Robots.txt Tester
Robots.txt Oluşturma ve Yükleme Adımları
- Basit bir metin düzenleyici kullanarak robots.txt dosyasını oluşturun.
- Yukarıdaki örnek kuralları kullanarak dosyayı oluşturun.
- Dosyayı “robots.txt” olarak kaydedin.
- Hosting kontrol paneliniz veya FTP programı kullanarak sitenizin kök dizinine yükleyin.
Robots.txt Dosyasında Dikkat Edilmesi Gereken Noktalar
- Dosya kök dizinde bulunmalıdır.
- Okunabilir olduğundan emin olunmalıdır.
- Yanlış yapılandırma nedeniyle önemli sayfaların engellenmediğinden emin olunmalıdır.
- Yapılandırma sonrası test edilmelidir.
SEO Açısından Robots.txt
Doğru yapılandırılmış bir robots.txt dosyası, SEO açısından avantaj sağlar:
- Arama motorlarının önemli içeriklere odaklanmasına yardımcı olur.
- Gereksiz sayfaların taranmasını engelleyerek, sitenizin genel SEO performansını artırır.
Robots.txt ile İlgili Sıkça Sorulan Sorular
Robots.txt olmadan ne olur?
Robots.txt olmadan, arama motorları sitenizdeki tüm erişilebilir sayfaları tarar.
Robots.txt sayfaların indekslenmesini engeller mi?
Hayır, robots.txt sadece taramayı engeller. Tamamen indekslemeyi engellemek için sayfanıza “noindex” meta etiketi ekleyebilirsiniz.
Robots.txt nasıl test edilir?
Yukarıda belirtilen test araçlarını kullanarak kontrol edebilirsiniz.
