nasıl indekslenir

Konuya geçmeden önce indekslemenin basitçe tanımını yapmak istiyorum. İndeksleme, arama motorunun web sitesini kendi veritabanına kaydetmesidir. Bot adı verilen robot