Sitenizi Ziyaret Eden Web Örümcekleri

Arkadaşlar, biliyorsunuz ki sitemizin indexlenmesi için birçok bot sitemizi ziyarete gelir. Bunların başında tabii ki Google bot başta geliyor. Bunun dışında en bildiklerimiz; Yahoo, MSN, Bing, Alexa botlarıdır. Fakat bunun dışında daha bilmediğimiz birçok bot sitemizi ziyarete gelir.

Dünya çapında hem kötü botlar hem de iyi botlar vardır. Bunlar bant genişliğinizi tükettiği, sunucu kaynaklarını kullandığı ve içeriğinizi çaldığı için kesinlikle kaçınmak istediğiniz kötü botlar olabilir. Öte yandan, iyi botlar, içeriğinizi Google, Bing ve Yahoo gibi arama motorlarıyla dizine eklemenin hayati bir parçası oldukları için dikkatle kullanılmalıdır.

1. Baiduspider
2. Bingbot
3. DuckDuckBot
4. Exabot
5. Facebot
6. Google Bot
7. Slurp
8. Sogou
9. YandexBot
10. Yanga

Tabii bunlar benim bildiklerim. Bunların dışında da farklı botlar olabilir.

Bot Kaynakları

İşte popüler kötü botları tarayıcıları arayabileceğiniz birkaç iyi kaynak:

• BotReports.com
• User-Agents.org

Özet

Yüzlerce farklı web örümceği var, ancak umarım artık daha popüler olanlardan birkaçına aşina oldunuz. Yine, indeksleme sorunlarına neden olabileceğinden bunlardan herhangi birini bloke ederken dikkatli olmalısınız. Sitenizi ne sıklıkla taradıklarını görmek için web sunucusu günlüklerinizi kontrol etmek her zaman iyidir.

Kaynak: https://www.keycdn.com/blog/web-crawlers