Robots.txt

Robots.txt, arama motoru yazılımlarının sitenizde ilk ziyaret edeceği kök dizini dosyası olup, arama motorlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizinleri taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını belirleyen komut dosyasıdır. Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenizde izin verdiğiniz bölümlerini dizine ekler.

1d39b73cb-29f3-4bfa-9525-1df127195473.jpg
20da21ae4f-17de-4ae8-b38a-a3c6758217db.jpg

Robots.txt Nedir?

Robots.txt sitenizin arama motorlarının neleri tarayabileceğini neleri tarayamayacağını kontrol eden ve hangi arama motoru robotunun giriş izni olduğunu, hangisinin olmadığını belirlemenizi sağlar. Robots.txt dosyası ve içerdiği komutlar doğru şekilde hazırlandığı takdirde arama motoru robotları bu kurallara uyar ve siteniz verilen komutlar doğrultusunda taranır.

Robots.txt dosyası, her Web sitesinde mutlaka olması gereken bir dosyadır ve doğru şekilde hazırlanmış olması gerekmektedir. Doğru komutlar kullanılarak hazırlanamayan bir Robots.txt dosyası, arama motorları tarafından dikkate alınmaz ve taranmasını istemediğiniz dizinler de taranabilir. Bu nedenle Robots.txt dosyasının doğru şekilde hazırlanmış olması gerekir.

Robots.txt dosyası belli standartlara uygun olarak hazırlanarak sitenizin kök dizinine yüklenmelidir. Robots.txt dosyası hazırlanırken; Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması, Robots.txt dosyasının site URL’siyle aynı formatta olmasına ve UTF-8 karakter kodlamasına uygun şekilde hazırlanmasına dikkat edilmesi gerekir.Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması bir gerekliliktir ve dosya oluşturulurken herhangi bir alt klasörde veya başka bir sayfada yer almaması gerekmektedir.

Robots.txt Nasıl Oluşturulur

Açmış olduğumuz Robots.txt dosyamız içersinde iki farklı değişkenimiz vardır bunların anlamını açıklayacak olursak şu şekildedir:

User-agent: Google Botu’nun adı gelecek

Allow:Bütün google botlarına izin verdiğimiz anlamındadır
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

21b9770e83-f8d8-4285-a091-ac1ed34a400d.jpg
22641363d7-9fe0-4521-85a7-e86b07d747cc.jpg

Botları’nın isimleri gelecekti fakat “*” işaretini koyduğumuzda,bu  sitemizin tüm Google Botları’nca istisnasız indexlenmesine izin verdiğimiz anlamındadır.

Örnek
User-agent: *
Allow: /

Aşağıda örnekte ise birinci satırdaki user-agent kodumuzun anlamı, tüm Google Botları’na sitemizin indexlemesi için izin verilmesiydi. Fakat ikinci satırdaki  “/” bu karakterin anlamı ise site üzerinde tüm dosyaların taranmaması anlamındadır.

Örnek
User-agent: *
Disallow: /

Aşağıdaki şekilde kodladığımızda ise google botları bu 2 dosyayı indexlemeyecektir.
User-agent: *
Disallow: /images/
Disallow: /private/

DeepCrawl, bir google botu olup sitemizi uzun aralıklarla ziyaret edip, indexlenmesi için gerekli bilgileri toplar. Bu kodların anlamı ise, ismi verilen botun ilgili private klasörünü indexlemeyeceği anlamındadır.

Örnek
User-agent: DeepCrawl
Disallow: /private/

Aşağıdaki bu örnekte ise tüm botlar, ilgili dosyayı indexlemeyecektir ama, directory dizinindeki dosya.html hariç diğer tüm dosyaları tarayıp indexler anlamındadır.

Örnek
User-agent: *
Disallow: /directory/dosya.html

 

Nemutlu Yazılım ve Danışmanlık



Yönetim Paneli

Nemutlu Yazılım uzman ekibi ile ihtiyaç duyduğunuz yazılımlar için sizlere profesyonel çözümler sunar.

  • Mobil Uyumlu

    Kullanmış olduğumuz tüm alt yapılar mobil ve tablet uyumludur.

  • Güncel Yazılım

    Tüm alt yapılarımızı günce yazılımlar ile geliştirmekteyiz.

  • Kolay Kullanım

    Geliştirmiş olduğumuz yazılımları kullanıcıların rahatlıkla kullanabilmesi için tasarladık.

Size özel yazılımlar

Özel yazılımlar ile proje risklerini en aza indirerek oluşabilecek başarısızlıkların, en önemlisi de zamandan tasarruf sağlayarak maddi kayıpların önüne geçebilirsiniz. Web tabanlı uygulamalarda işinizin, günün bilişim teknolojilerinin sağladığı gücü arkasına almasını sağlayabilirsiniz.

Bize Ulaşın

Güncel Yazılımlar

Yeni nesin yazılımlar ile dinamik ve yönetilebilir projeler geliştiriyoruz.

asp
swift
android
java
html
sqll
Planlama

Projeniz için fizibilite çalışması yapılır ve proje planlaması yapılır.

Analiz

Çeşitli yazılım geliştirme metodojileri ile kullanım dökümanları oluşturulur.

Tasarım

İhtiyaçların giderilmesi halinde sistemin tasarım aşamasına başlanır.

Kodlama ve Test

Tasarım aşamasından sonra kodlama ve test aşamsına geçilir.

Teslim ve Bakım

Tüm aşamalar tamamlandıktan sonra teslim aşamsına geçilir. Daha sonra oluşabilecek eksiklikler bakım aşamasında giderilir.

Cari Hesap Nedir?

Cari hesap, genel olarak ticari ilişkilerde kullanılan ve borç-alacak işlemlerinin takip edildiği hesap anlamına gelir. İşletmeler arasında [...]

Bulut Bilişim Nedir?

Bulut bilişim (cloud computing), internet üzerinden bilgisayar sistemlerine erişim sağlayarak veri depolama, veri yönetimi ve işlemleri gerç [...]

Yeniliklerden haberdar olmak için bültenimize kayıt olun

Check your email

We sent you an email with a link to get started. You’ll be in your account in no time.