Sitenizi Ziyaret Eden Web Örümcekleri

Arkadaşlar, biliyorsunuz ki sitemizin indexlenmesi için birçok bot sitemizi ziyarete gelir. Bunların başında tabii ki Google bot başta geliyor. Bunun dışında en bildiklerimiz; Yahoo, MSN, Bing, Alexa botlarıdır. Fakat bunun dışında daha bilmediğimiz birçok bot sitemizi ziyarete gelir.

Dünya çapında hem kötü botlar hem de iyi botlar vardır. Bunlar bant genişliğinizi tükettiği, sunucu kaynaklarını kullandığı ve içeriğinizi çaldığı için kesinlikle kaçınmak istediğiniz kötü botlar olabilir. Öte yandan, iyi botlar, içeriğinizi Google, Bing ve Yahoo gibi arama motorlarıyla dizine eklemenin hayati bir parçası oldukları için dikkatle kullanılmalıdır.

  1. Baiduspider
  2. Bingbot
  3. DuckDuckBot
  4. Exabot
  5. Facebot
  6. Google Bot
  7. Slurp
  8. Sogou
  9. YandexBot
  10. Yanga

Tabii bunlar benim bildiklerim. Bunların dışında da farklı botlar olabilir.

Bot Kaynakları

İşte popüler kötü botları tarayıcıları arayabileceğiniz birkaç iyi kaynak:

Özet

Yüzlerce farklı web örümceği var, ancak umarım artık daha popüler olanlardan birkaçına aşina oldunuz. Yine, indeksleme sorunlarına neden olabileceğinden bunlardan herhangi birini bloke ederken dikkatli olmalısınız. Sitenizi ne sıklıkla taradıklarını görmek için web sunucusu günlüklerinizi kontrol etmek her zaman iyidir.

Kaynak: https://www.keycdn.com/blog/web-crawlers

Emrah

1981 Samsun doğumlu ve Gazi Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi mezunu. Bilişim Teknolojileri Öğretmeni, Yazar, WebMaster, Blogger, SEO eğitmeni. Araştırmacı, sinema sever, fitness yapar, farklı doğal güzellikleri keşfetmeye bayılır.

One thought on “Sitenizi Ziyaret Eden Web Örümcekleri

  • 18 Ağustos 2009 tarihinde, saat 03:26
    Permalink

    Feedburner botları çok geliyor. :)

Yorum Yap

Porno Gratuit Porno Français Adulte XXX Brazzers Porn College Girls Film érotique Hard Porn Inceste Famille Porno Japonais Asiatique Jeunes Filles Porno Latin Brown Femmes Porn Mobile Porn Russe Porn Stars Porno Arabe Turc Porno caché Porno de qualité HD Porno Gratuit Porno Mature de Milf Porno Noir Regarder Porn Relations Lesbiennes Secrétaire de Bureau Porn Sexe en Groupe Sexe Gay Sexe Oral Vidéo Amateur Vidéo Anal