Robots.txt Nedir?

Robots.txt Nedir? Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına (Googlebot, Bingbot vb.) sitenin hangi sayfalarına erişip erişemeyeceklerini bildiren bir metin dosyasıdır.

admin admin Nis 2, 2026 75 0

Robots.txt Nedir?
robots.txt nedir

Robots.txt Nedir?

Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına (Googlebot, Bingbot vb.) sitenin hangi sayfalarına erişip erişemeyeceklerini bildiren bir metin dosyasıdır.

Bu dosya, arama motoru tarayıcılarına yol gösteren bir rehber gibidir.
Amaç, botların yalnızca gerekli sayfaları taramasını sağlamak ve gereksiz sayfaların dizine eklenmesini engellemektir.

Örnek bir robots.txt dosyası:


 

User-agent: * Disallow: /admin/ Disallow: /tmp/ Allow: /blog/ Sitemap: https://www.orneksite.com/sitemap.xml

Bu örnekte:

  • Tüm botlar (User-agent: *) hedef alınmıştır.

  • /admin/ ve /tmp/ klasörleri taramaya kapatılmıştır.

  • /blog/ dizinine erişim izni verilmiştir.

  • Ayrıca sitemap (site haritası) bağlantısı eklenmiştir.

 Robots.txt Ne İşe Yarar?

  1. Gizli sayfaları korur.
    Yönetici paneli, test sayfaları gibi bölümler arama motorlarına kapatılabilir.

  2. Crawl bütçesini optimize eder.
    Googlebot’un gereksiz sayfalarla vakit harcamasını önleyerek önemli sayfaların daha sık taranmasını sağlar.

  3. Sayfa hızını ve SEO verimliliğini artırır.
    Gereksiz dizinlerin dışarıda bırakılması, sitenin genel tarama performansını yükseltir.

 Robots.txt ile Karıştırılan Konular

Birçok kişi robots.txt’nin sayfayı tamamen gizlediğini düşünür, ancak bu yanlıştır.

Robots.txt yalnızca botların taramasını engeller,
sayfa hâlâ internette erişilebilir durumdadır.
Eğer sayfanın arama sonuçlarında görünmesini istemiyorsanız,
şu meta etiketi kullanmalısınız:


 

 

Robots.txt Hazırlarken Dikkat Edilmesi Gerekenler

  • ✅ Dosya mutlaka site kök dizininde (örneğin https://www.orneksite.com/robots.txt) bulunmalıdır.

  • ✅ Her User-agent için ayrı kurallar yazılabilir.

  • ✅ Sitemap URL’si mutlaka eklenmelidir.

  • ✅ Önemli sayfaları yanlışlıkla “Disallow” etmeyin.

  • ✅ “Allow” ve “Disallow” ifadelerini doğru dizinlerle kullanın.

  • Robots.txt düzenledikten sonra Google Search Console üzerinden test edin.

 SEO Açısından Robots.txt’nin Önemi

  • Arama motoru botlarının siteyi daha iyi anlamasını sağlar.

  • Crawl budget (tarama bütçesi) doğru yönetildiğinde, Google önemli sayfaları daha sık ziyaret eder.

  • Gereksiz içerikler (örneğin filtreli sayfalar, etiket arşivleri) dizine eklenmez.

  • Site performansı ve sıralama stabilitesi artar.

Etiketler: