Robots.txt Nedir? Ne İşe Yarar? Nasıl Yazılır?

Arama motoru botları bir sitede ilk olarak /robots.txt yi arar, peki nedir bu robots dosyası?

robots.txt aram motorlarının botları siteyi indexlerken hangi bölümleri indexleyi, hangi bölümleri indexlemeyeceğini arama motorlarına bildirir.

örneğin: siz bir sayfa yaptınız bu sayfanın arama motorlarında görünmesini istemiyorsunuz o zaman bu sayfayı robots.txt ye yazmanız yeterlidir.

Robots.txti yazarken nelere dikkat etmeliyim?

Engelleyeceğiniz sayfayı düzgün belirtmelisiniz,komut kodlara dikkat etmelisiniz(Not:robot dosyası sadece ana dizinde olmalıdır /images/robots.txt robotlar tarafından dikkate alınmaz.

Yazmaya geçelim :

User-Agent: * (bu komut hangi botlar için geçerlidir onu belirtir örn:sadece googlenin görmesini istemiyorsanız User-Agent: googlebot şeklinde girmelisiniz)
Disallow: /forum/admin (burası ise hangi yeri eklemiyeceklerini gösterir bir dizin girmek için /dizinadı bir dosya göstermek için /dizin/dosyaadı.uzantı biçiminde girmelisiniz(örn:/forum/newthread.php))

Kod Örnekleri:

Tüm botlar benim sitemi dizine eklemesin diyosanız:
User-agent: *
Disallow: /

Seçdiğim bot(yahoo) eklemesin diğerleri eklesin diyorsanız:
User-agent: yahoo! slurp
Disallow: /
User-agent: *
Disallow:

Tüm botlar seçdiğim dizini eklemesin diyorsanız:
User-agent: *
Disallow: /dizinismi

Bir botun(googlebot) bir sayfayı görmesini engellemek için:
User-agent: Googlebot
Disallow: /dizin-adi/tahribatinfo.html

Tüm botlar sitemi indexlesin diyorsanız:
User-agent: *
Disallow:

kodlarını kullanabilirsiniz.

Bot isimleri ve kullanıcı aracı dizgisi

Ad:Yahoo!
Dizgi(user agent kısmına girmek için):yahoo! slurp

Ad:Googlebot
Dizgi:google

Ad:Baidusspider
Dizgi:Baiduspider+

Ad:Google-AdSense
Dizgi:Mediapartners-Google

Ad:MSN Search
Dizgi:msnbot

Ad:GigaBot
Dizgi:Gigabot

Ad:Ask Jeeves
Dizgi:ask jeeves

Ad:Google-Image
Dizgi:Googlebot-Image

Ad:Archive.org
Dizgi:is_archiver

Ad:Altavista
Dizgi:Scooter

İşin mantığını anlamışsınızdır kolay ve önemli bir konudur.