Konuya geçmeden önce indekslemenin basitçe tanımını yapmak istiyorum. İndeksleme, arama motorunun web sitesini kendi veritabanına kaydetmesidir. Bot adı verilen robot yazılımlarla yapılan bu iş, ar…