Robots.txt Nedir? Ne İşe Yarar? Nasıl Yazılır?


Arama motoru botları bir sitede ilk olarak /robots.txt yi arar, peki nedir bu robots dosyası?
robots.txt aram motorlarının botları siteyi indexlerken hangi bölümleri indexleyi, hangi bölümleri indexlemeyeceğini arama motorlarına bildirir.
örneğin: siz bir sayfa yaptınız bu sayfanın arama motorlarında görünmesini istemiyorsunuz o zaman bu sayfayı robots.txt ye yazmanız yeterlidir.
Robots.txti yazarken nelere dikkat etmeliyim?
Engelleyeceğiniz sayfayı düzgün belirtmelisiniz,komut kodlara dikkat etmelisiniz(Not:robot dosyası sadece ana dizinde olmalıdır /images/robots.txt robotlar tarafından dikkate alınmaz.
Yazmaya geçelim :
User-Agent: * (bu komut hangi botlar için geçerlidir onu belirtir örn:sadece googlenin görmesini istemiyorsanız User-Agent: googlebot şeklinde girmelisiniz)
Disallow: /forum/admin (burası ise hangi yeri eklemiyeceklerini gösterir bir dizin girmek için /dizinadı bir dosya göstermek için /dizin/dosyaadı.uzantı biçiminde girmelisiniz(örn:/forum/newthread.php))

Kod Örnekleri:
Tüm botlar benim sitemi dizine eklemesin diyosanız:
User-agent: *
Disallow: /
Seçdiğim bot(yahoo) eklemesin diğerleri eklesin diyorsanız:
User-agent: yahoo! slurp
Disallow: /
User-agent: *
Disallow:
Tüm botlar seçdiğim dizini eklemesin diyorsanız:
User-agent: *
Disallow: /dizinismi
Bir botun(googlebot) bir sayfayı görmesini engellemek için:
User-agent: Googlebot
Disallow: /dizin-adi/tahribatinfo.html
Tüm botlar sitemi indexlesin diyorsanız:
User-agent: *
Disallow:
kodlarını kullanabilirsiniz.
Bot isimleri ve kullanıcı aracı dizgisi
Ad:Yahoo!
Dizgi(user agent kısmına girmek için):yahoo! slurp
Ad:Googlebot
Dizgi:google
Ad:Baidusspider
Dizgi:Baiduspider+
Ad:Google-AdSense
Dizgi:Mediapartners-Google
Ad:MSN Search
Dizgi:msnbot
Ad:GigaBot
Dizgi:Gigabot
Ad:Ask Jeeves
Dizgi:ask jeeves
Ad:Google-Image
Dizgi:Googlebot-Image
Ad:Archive.org
Dizgi:is_archiver
Ad:Altavista
Dizgi:Scooter
İşin mantığını anlamışsınızdır kolay ve önemli bir konudur.

Yorum Gönder

0 Yorumlar
* Please Don't Spam Here. All the Comments are Reviewed by Admin.