Link Ekle >>

robots.txt ne işe yarar ?

Arama motorlarının robotları web sitelerini incelerken ilk olarak bu dosyayı ararlar.
Çünkü bu dosya , robotların hangi sayfaları indexlenip hangilerinin indexlenmeyeceği hakkında yön verir.
Özellikle sitenizdeki bir dosya yada klasörün indexlenmesini istemiyorsanız bu dosya ile belirtebilirsiniz

Robots.txt dosyasını nereye koymalıyım ?

Bu dosyayı FTP 'nizden ana dizine yüklemeniz gerekmektedir.

Robots.txt nasıl kullanılır ?
robotların sitenizin heryerini indexlemesini istiyorsanız ;

User-agent: *
Disallow:
Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.
robotların bazı klasörlerinizi indexlemesini engellemek istiyorsanız;

User-agent: İzin verilen robotlar (* : Bütün Botlara izin verir)
Disallow: İzin verilmeyen klasör yada sayfa adı
User-agent: *
Disallow: /cgi-bin/ (Klasör İsmi)
Disallow: /tmp/ (Klasör İsmi)
Buna bir de sayfa eklemek istiyorsanız;

User-agent: * (Bütün Robotlar)
Disallow: /cgi-bin/ (Klasör İsmi)
Disallow: /tmp/ (Klasör İsmi)
Disallow: /admin/administrator.php (Klasör İsmi/Sayfa İsmi)
bir robotun bu klasörlerinize girmesini engellemek istiyorsanız;

User-agent: WebCrawler (Botun İsmi)
Disallow: /cgi-bin/ (Klasör İsmi)
Disallow: /tmp/ (Klasör İsmi)
bir robotun sitenize girişini engellemek istiyorsanız;

User-agent: BadBot (Botun İsmi)
Disallow: / (Robota İzin Yok)

robots.txt dosyası arama motorları ve örümceklere sitenizdeki dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından farksızdır ve basit şekilde Notepad ile hazırlanabilir. Anasayfanızın ya da sitenizin bulunduğu ana klasöre koyulmalıdır.

Neden robots.txt dosyasına ihtiyaç duyarız?

Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.

Neden örümcekleri engellemek isteyebilirim?

Site henüz tamamlanmamış olabilir. Ya da henüz tam olarak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.

Nasıl Robots.txt dosyası oluşturabilirim diyorsanız !

Eğer sitenizdeki sayfaların tamamının arama motoru veritabanına kaydedilmesini istiyorsanız notepad ile boş bir text dosyası açın ve aşağıdaki leri yazın ;

User-agent: *
Disallow:
Burada User-agent arama motoru örümceğini belirtir. Mesajın hangi arama motoru örümceği için geçerli olduğunu belirtir. Yanındaki * işareti ise tamamı anlamına gelir. Yani User-agent: * komutu, robots.txt dosyasındaki yazılı komutların bütün arama motoru örümcekleri için geçerli olduğunu belirtir. Daha iyi anlamak için Google'nin örümceği olan Googlebot ile MSN arama motoru örümceği olan Msnbot için ayrı ayrı komutlar girelim.
User-agent: Googlebot
Disallow:
User-agent: Msnbot
Disallow: /gizli.html
Yukarıda görüldüğü gibi iki farklı örümceğe farklı görevler verdik. Googlebot'dan sonra gelen disallow bölümü boş oluğu için sitemizin tüm sayfaları google veritabanına kaydedilir. Ancak Msnbot'dan sonra gelen disallow komutuna /gizli.html yazdık. Yani Msnbot sitemize uğradığı zaman gizli.html sayfasına girmeyecek ve bu sayfayı veritabanına eklemeyecek.
Şimdi disallow komutuna daha detaylı bakalım ve bir kaç örnekle bilgilerimizi pekiştirelim. Eğer sayfaların kaydedilmesini engellemek istiyorsak Disallow komutu yanına "/" işareti koyarak sayfanın adını yazmamız gerekir. Eğer bir klasörün içindeki bütün sayfaları engellemek istiyorsak Disallow: /engellenenklasor/ şeklinde komut eklememiz gerekir. Eğer sitenin tamamen kaydedilmesini engellemek istiyorsak disallow komutu yerine sadece "/"koymamız gerekir. Şimdi örneklerle tekrar edelim.