istanbul escort

Robot.txt Kullanımı

robots.txt dosyası web’i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler.

Sitenizde arama motorlarının dizine eklemesini istemediğiniz içerikler varsa, robots.txt dosyası kullanılmalıdır. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur.

Özetle; sayfanızın googlebot tarafından taranmasını robots.txt dosyası yardımıyla sınırlandırabilirsiniz.

“robots.txt” olarak adlandırılması gereken bu dosya sitenizin kök dizininde olmalıdır.

robot.txt şema

ROBOT.TXT DOSYASI OLUŞTURMA

En basit robots.txt dosyası iki kural kullanır:
User-agent: Aşağıdaki kuralın geçerli olduğu robot
Disallow: Engellemek istediğiniz URL

  1. Bu iki satır, dosyada tek bir giriş sayılır.
  2. İstediğiniz kadar giriş ekleyebilirsiniz.
  3. robots.txt dosyasındaki her bölüm ayrıdır.
  4. Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz.

Örnek:

User-agent: *
Disallow: /klasor1/

User-Agent: googlebot
Disallow: /klasor2/

ROBOTS META ETİKETİNİ KULLANIN

<meta name="robots" content="noindex" />

Yukarıdaki örnekte robots meta etiketi, arama sonuçlarında sayfayı göstermemeleri için tüm arama motorlarına bildirir.

“robots” direktifi tüm tarayıcılar için geçerli olduğunu belirtir.

Google’ın standart web tarayıcısı googlebot adıyla bilinir.

Sayfa taramasını sadece googlebot için, önleyecekseniz aşağıdaki etiketi kullanın:

<meta name="googlebot" content="noindex" />

DİREKTİF TALİMATLAR

<meta name="robots" content="nofollow" />
<meta name="googlebot" content="noindex" />

noindex: Arama sonuçlarında bu sayfayı gösterme ve arama sonuçlarında bir “önbellek” bağlantısı gösterme.

nofollow: Bu sayfadaki linkleri takip etme.

none: Eşdeğeri noindex, nofollow

NOT: Eğer sitenizde alt alan adı kullanıyorsanız ve bu dizinlerde belirli sayfaların taranmasını istemiyorsanız o alt alan adı için de ayrı robots.txt dosyası oluşturmanız gerekir.

Ayrıca hassas veya gizli bilginin robots.txt ile bloke edilmesi sizi tamamen rahatlatmasın. Eğer bu bağlantılar internette başka bir yerde referans olarak verilmişse (örneğin referans veren bloglarda), bloke ettiğiniz URL’ler arama sonuçlarında referans olarak görüntülenebilir.

Robot.txt kullanımı ile ilgili sunuyu indirmek için tıklayın

Eşleştirilen İçeriklere Göz Atın

Emrah

1981 Samsun doğumlu ve Gazi Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi mezunu. Bilişim Teknolojileri Öğretmeni olarak görev yapmakta olup Web-Grafik Tasarımı ve SEO eğitmeni. Sinema ve doğa gezileri en sevdiği hobileri.

Bunları da sevebilirsiniz

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

sakarya escort sakarya escort sakarya escort maltepe escort sakarya escort sakarya escort escort Canlı Maç Siteleri escort ankara esenyurt escort Başakşehir escort avcılar escort ataköy escort beylikdüzü escort gaziantep escort bornova escort kayıs dagı escort tuzla escort ümraniye escort Antalya escort Ankara escort istanbul escort avcılar escort ankara escort escort ankara izmir escort Pendik escort istanbul escort seks hikayeleri Ankara escort izmir escort tuzla escort alsancak escort escort izmir hardcore porn mobil porn porno brazzers Para yatırmadan ilk üyelik bonusu veren bahis siteleri