Robots.txt

Robots.txt, arama motoru yazılımlarının sitenizde ilk ziyaret edeceği kök dizini dosyası olup, arama motorlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizinleri taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını belirleyen komut dosyasıdır. Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenizde izin verdiğiniz bölümlerini dizine ekler.

Robots.txt Nedir?

Robots.txt sitenizin arama motorlarının neleri tarayabileceğini neleri tarayamayacağını kontrol eden ve hangi arama motoru robotunun giriş izni olduğunu, hangisinin olmadığını belirlemenizi sağlar. Robots.txt dosyası ve içerdiği komutlar doğru şekilde hazırlandığı takdirde arama motoru robotları bu kurallara uyar ve siteniz verilen komutlar doğrultusunda taranır.

Robots.txt dosyası, her Web sitesinde mutlaka olması gereken bir dosyadır ve doğru şekilde hazırlanmış olması gerekmektedir. Doğru komutlar kullanılarak hazırlanamayan bir Robots.txt dosyası, arama motorları tarafından dikkate alınmaz ve taranmasını istemediğiniz dizinler de taranabilir. Bu nedenle Robots.txt dosyasının doğru şekilde hazırlanmış olması gerekir.

Robots.txt dosyası belli standartlara uygun olarak hazırlanarak sitenizin kök dizinine yüklenmelidir. Robots.txt dosyası hazırlanırken; Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması, Robots.txt dosyasının site URL’siyle aynı formatta olmasına ve UTF-8 karakter kodlamasına uygun şekilde hazırlanmasına dikkat edilmesi gerekir.Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması bir gerekliliktir ve dosya oluşturulurken herhangi bir alt klasörde veya başka bir sayfada yer almaması gerekmektedir.

Robots.txt Nasıl Oluşturulur

Açmış olduğumuz Robots.txt dosyamız içersinde iki farklı değişkenimiz vardır bunların anlamını açıklayacak olursak şu şekildedir:

User-agent: Google Botu’nun adı gelecek

Allow:Bütün google botlarına izin verdiğimiz anlamındadır
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Botları’nın isimleri gelecekti fakat “*” işaretini koyduğumuzda,bu  sitemizin tüm Google Botları’nca istisnasız indexlenmesine izin verdiğimiz anlamındadır.

Örnek
User-agent: *
Allow: /

Aşağıda örnekte ise birinci satırdaki user-agent kodumuzun anlamı, tüm Google Botları’na sitemizin indexlemesi için izin verilmesiydi. Fakat ikinci satırdaki  “/” bu karakterin anlamı ise site üzerinde tüm dosyaların taranmaması anlamındadır.

Örnek
User-agent: *
Disallow: /

Aşağıdaki şekilde kodladığımızda ise google botları bu 2 dosyayı indexlemeyecektir.
User-agent: *
Disallow: /images/
Disallow: /private/

DeepCrawl, bir google botu olup sitemizi uzun aralıklarla ziyaret edip, indexlenmesi için gerekli bilgileri toplar. Bu kodların anlamı ise, ismi verilen botun ilgili private klasörünü indexlemeyeceği anlamındadır.

Örnek
User-agent: DeepCrawl
Disallow: /private/

Aşağıdaki bu örnekte ise tüm botlar, ilgili dosyayı indexlemeyecektir ama, directory dizinindeki dosya.html hariç diğer tüm dosyaları tarayıp indexler anlamındadır.

Örnek
User-agent: *
Disallow: /directory/dosya.html

Nemutlu Yazılım ve Danışmanlık