Konuya geçmeden önce indekslemenin basitçe tanımını yapmak istiyorum. İndeksleme, arama motorunun web sitesini kendi veritabanına kaydetmesidir. Bot adı verilen robot yazılımlarla yapılan bu iş, arama motoru yazılımlarının en önemli işlevidir. Örneğin Google ‘ın Adsense, Freshbot ve DeepCrawl adında bilinen 3 robot yazılımı vardır. Bu robotlar sitenizin her sayfasına girerler, içerikleri kategorize ederler ve veritabanına kaydederler. Adsense, [...]