Googlebot Tarama Geciktirme Kuralını Dikkate Almıyor Mu? | SEO Snippets Vol.1

John Mueller, SEO Snippets’in ilk bölümünde, robots.txt dosyasındaki crawl-delay olayına açıklık getiriyor

Google Webmaster ekibi, Aralık 2017’den itibaren Webmaster yardım forumunda en çok sorulan sorularla ilgili video serileri çekmeye başlamıştı. SEO Snippets adını verdikleri ve başrolde artık Matt Cutts yerine John Mueller‘i göreceğimiz bu serinin ilk videosunu Ingoduo olarak Türkçe’leştirdik. Keyifli okumalar:

Bugünkü soru Hindistan-Noida’dan geliyor.
Amit soruyor: ”Tarama gecikme kuralı (crawl-delay) Googlebot tarafından yok mu sayılıyor?Search Console’da bir uyarı mesajı alıyorum.”
Search Console’da bu uyarıyı gösterdiğimiz ve sizin de test etmek için kullanabileceğiniz harika bir araç var. Robots.txt test aracı.
Bu ne demek?
Ve ne yapmanız gerekiyor?
Robots.txt dosyaları için tarama geciktirme yönergesi ilk zamanlarında diğer arama motorları tarafından tanıtılmıştı.
Fikir, web sunucusu üzerindeki yükü sınırlandırmak adına, web yöneticilerinin, arama motoru örümceklerinin sunucu istekleri arasında kaç saniye bekleyeceğini belirtmeleri için ortaya atılmıştı.
Genel olarak kötü bir fikir değil.
Bununla birlikte, sunucular artık oldukça dinamik ve istekler arasında tek bir döngüye sadık kalınması gerçekten mantıklı değil.
Tarama geciktirme kuralında belirtilen değer, istekler arasında beklenmesi gereken saniyeyi gösteriyor fakat bu artık yararlı değil çünkü çoğu sunucu artık saniye başına daha fazla trafik işleyebiliyor.
Googlebot ise tarama geciktirme yönergesi yerine, sunucunuzun nasıl davrandığını anlayarak otomatik olarak taramasını ayarlıyor.
Yani bir sunucu hatası ya da sunucu yavaşlığı görürsek, taramamızı geri çekiyoruz.
Ayrıca, tarama konusundaki geri bildiriminizi doğrudan Search Console’dan göstereceğiniz geri bildirim alanınız da mevcut.
Böylece site sahipleri, tarama yönergelerini kullanarak tercih ettikleri değişiklikler hakkında bize bilgi verebiliyor.
Bu yönergeyi görürsek, bunun desteklemediğimiz bir şey olduğunu belirtiyoruz.
Elbette, web sitenizin hiç taranmasını istemediğiniz parçaları varsa bu konuda robots.txt dosyasından geri bildirimde bulunmanız iyi bir şey.

SEO Snippets ikinci videosu için:

? Subdomain mi Kullanmalısınız, Subfolder mı? Hangisi SEO İçin Daha Yararlı? | SEO Snippets Vol.2