Sitenizi Ziyaret Eden Web Örümcekleri

Arkadaşlar, biliyorsunuz ki sitemizin indexlenmesi için birçok bot sitemizi ziyarete gelir. Bunların başında tabii ki Google bot başta geliyor. Bunun dışında en bildiklerimiz; Yahoo, MSN, Bing, Alexa botlarıdır. Fakat bunun dışında daha bilmediğimiz birçok bot sitemizi ziyarete gelir.

Dünya çapında hem kötü botlar hem de iyi botlar vardır. Bunlar bant genişliğinizi tükettiği, sunucu kaynaklarını kullandığı ve içeriğinizi çaldığı için kesinlikle kaçınmak istediğiniz kötü botlar olabilir. Öte yandan, iyi botlar, içeriğinizi Google, Bing ve Yahoo gibi arama motorlarıyla dizine eklemenin hayati bir parçası oldukları için dikkatle kullanılmalıdır.

  1. Baiduspider
  2. Bingbot
  3. DuckDuckBot
  4. Exabot
  5. Facebot
  6. Google Bot
  7. Slurp
  8. Sogou
  9. YandexBot
  10. Yanga

Tabii bunlar benim bildiklerim. Bunların dışında da farklı botlar olabilir.

Bot Kaynakları

İşte popüler kötü botları tarayıcıları arayabileceğiniz birkaç iyi kaynak:

Özet

Yüzlerce farklı web örümceği var, ancak umarım artık daha popüler olanlardan birkaçına aşina oldunuz. Yine, indeksleme sorunlarına neden olabileceğinden bunlardan herhangi birini bloke ederken dikkatli olmalısınız. Sitenizi ne sıklıkla taradıklarını görmek için web sunucusu günlüklerinizi kontrol etmek her zaman iyidir.

Kaynak: https://www.keycdn.com/blog/web-crawlers

Emrah

1981 Samsun doğumlu ve Gazi Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi mezunu. Bilişim Teknolojileri Öğretmeni, Yazar, WebMaster, Blogger, SEO eğitmeni. Araştırmacı, sinema sever, fitness yapar, farklı doğal güzellikleri keşfetmeye bayılır.

One thought on “Sitenizi Ziyaret Eden Web Örümcekleri

  • 18 Ağustos 2009 tarihinde, saat 03:26
    Permalink

    Feedburner botları çok geliyor. :)

Yorum Yap

escort akdeniz escort mezitli çamlıyayla escort escort toroslar escort tarsus escort gulnar escort erdemli escort silifke escort mut mersin escort mersin escort bayan porno izle porno hikayeler