Sitenizi Ziyaret Eden Web Örümcekleri

Arkadaşlar, biliyorsunuz ki sitemizin indexlenmesi için birçok bot sitemizi ziyarete gelir. Bunların başında tabii ki Google bot başta geliyor. Bunun dışında en bildiklerimiz; Yahoo, MSN, Bing, Alexa botlarıdır. Fakat bunun dışında daha bilmediğimiz birçok bot sitemizi ziyarete gelir. Bu konuda tüm botların adını alfabetik sıraya göre vereceğim:

1. Alexa
2. Ask.com
3. Baidu
4. Cuil
5. DotBot
6. Exabot
7. FeedBurner
8. FeedHub FeedFetcher
9. FollowSite Bot
10. Google
11. Google Feedfetcher
12. Google Images
13. Google Labs
14. Google Sitemaps
15. Icerocket
16. Indy Library
17. Jakarta Commons
18. Java
19. Jigsaw
20. LarBin
21. LinkWalker
22. magpie-crawler
23. Majestic-12
24. MetaTagRobot
25. Microsoft URL Control
26. Moreover
27. MSN
28. MSN  Media
29. Netcraft Web Server Survey
30. Nutch/Lucene
31. Radian6
32. ScoutJet
33. Searchme.com
34. SimplePie
35. Snapbot
36. Sogou
37. Sphere
38. Twingly
39. urlfan
40. vBSEO
41. W3C Validator
42. WebAlta
43. WordPress
44. Yahoo FeedSeeker
45. Yahoo!
46. Yandex
47. Yanga

Tabii bunlar benim bildiklerim. Bunların dışında da farklı botlar olabilir.