Link Ekle >>

Bir sayfanın kaydedilmemesini istiyorsak:

User-agent: *
Disallow: /gizli.html

Birden fazla sayfanın kaydedilmemesini istiyorsak ek disallow komutu ekleriz:
User-agent: *
Disallow: /gizli.html
Disallow: /sakli.html
Sitenin tamamının kaydedilmemesini istiyorsak:
User-agent: *
Disallow: /
Sitedeki bir klasörün kaydedilmemesini istiyorsak:
User-agent: *
Disallow: /ozelklasor/
Sitemizdeki iki klasör ve bir sayfanın kaydedilmemesini istiyorsak:
User-agent: *
Disallow: /resimlerim/gizliresim.html
Disallow: /projelerim/
Disallow: /ozelklasor/
Şimdi biraz da User-agent komutu ile oynayarak örnekler verelim. Sitemizi msnbot'un kaydetmemesini ama diğer arama motorlarının kaydetmesini sağlayalım:
User-agent: Msnbot
Disallow: /
User-agent: *
Disallow:
Tüm arama motorları sitemizi kaydetsin. Ama Google ile Msn birer klasör kaydetmesin istiyorsak:
User-agent: *
Disallow:
User-agent: Googlebot
Disallow: /gizli/
User-agent: Msnbot
Disallow: /sakli/
Bütün olasılıkları değerlendirerek robots.txt dosyaları oluşturduk. Eğer sitenizde engellemek istediğiniz sayfa veya klasör varsa bu komutlardan uygun olanını kendi sitenize göre ayarlayın ve notepad ile boş bir txt dosyası açarak bu komutları yazın. Daha sonra bu dosyayı sitenizin ana klasörüne yani sitenizdeki index.html sayfasının olduğu klasöre gönderin.
Eğer engellemek istediğiniz sayfa daha önce arama motorları tarafından kaydedildiyse, robots.txt dosyasını gönderdikten bir süre sonra silinecektir. Ama bu süre 1-2 ay gibi bir zaman olabilir.
Arama motoru optimizasyonu (SEO) yaparken en önemli noktalardan biri robots.txt kullanmaktır.

Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]

Robots.txt ile belirli bir dosyayı belirli bir bottan korumak istiyorsanız ;

"şiirler" diye bir bölüm oluşturdunuz,tamamlanmadan robotların indexlemesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /şiirler/
Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız o klasördeki tüm dosyaları kapsar.

Tüm robotlara kayıt izmi vermek

Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:

Tüm robotları dosya ve klasörlerinizden uzak tutmak

User-agent: *
Disallow: /

Robots.txt ile birden fazla klasör engellemek

Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin/
Disallow: /_borders/
Disallow: /_derived/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_map/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/
Her klasör için ayrı bir komut yazmak gerekiyor.
Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.
User-Agent: Scooter
Disallow: /
Google'ın resim dosyalarımızı indexlemesini istemiyorsak ;

User-Agent: Googlebot-Image
Disallow: /images/
Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak değişik yerlerdeyse o zaman :
User-Agent: Googlebot-Image
Disallow: /