Çok eski bir web tarayıcısı kullanıyorsunuz. Bu veya diğer siteleri görüntülemekte sorunlar yaşayabilirsiniz.. Tarayıcınızı güncellemeli veya alternatif bir tarayıcı kullanmalısınız.
Robots.txt dosyası nasıl çalışır?
Robots.txt dosyasının nasıl çalıştığını anlamak için Google, Yahoo ve Bing gibi arama motoru botlarının nasıl tarama yaptığını anlamak gerekir. Örneğin www.benimsitem.com şu şekilde analiz edilir:
http://www.benimsitem.com/robots.txt dosyasını indirip analiz...