robotx nedir

  1. ExTreMe

    Robots txt gizlemek mümkünmü?

    Merhaba başlıkta belirtiğim gibi robot txt gizlemek mümkünmü?
  2. ferdi

    Robots.txt dosyası nasıl oluşturulur?

    Robots.txt dosyası nasıl çalışır? Robots.txt dosyasının nasıl çalıştığını anlamak için Google, Yahoo ve Bing gibi arama motoru botlarının nasıl tarama yaptığını anlamak gerekir. Örneğin www.benimsitem.com şu şekilde analiz edilir: http://www.benimsitem.com/robots.txt dosyasını indirip analiz...
Üst