Robots.txt dosyası nasıl oluşturulur?

Robots.txt dosyası nasıl çalışır?
Robots.txt dosyasının nasıl çalıştığını anlamak için Google, Yahoo ve Bing gibi arama motoru botlarının nasıl tarama yaptığını anlamak gerekir. Örneğin www.benimsitem.com şu şekilde analiz edilir:

• http://www.benimsitem.com/robots.txt dosyasını indirip analiz ederek işe başlarlar.
• Hangi dosyaların indirilmesine izin verildiğini öğrenmek için bu dosyanın (robots.txt) kurallarını analiz ederler.
• txt buna izin veriyorsa, sitenin kökü, yani http://www.benimsitem.com/ sitesinin URL’sini indirirler.
• Bu sayfanın içeriğini analiz eder ve içerdiği iç linklerin listesini çıkarırlar.
• Tüm bu iç bağlantılar sırasıyla indirilir (robots.txt dosyasının kuralları bunları filtrelemezse).
• Yinelemeli olarak tüm bu bağlantılar, arama motoru robotları yenilerini bulana kadar indirilip analiz edilir.

Sitem için bir robots.txt dosyasına ihtiyacım var mı?
Aslında tüm siteler için bir robots.txt dosyası bulundurma zorunluluğu yoktur. Herhangi bir web sitesinde robots.txt dosyası yoksa arama motorları sitede bulabildiği tüm dizinleri analiz eder.
Sitenizde bir robots.txt dosyasına ihtiyacınız olup olmadığını öğrenmek için kendinize şu basit soruyu sorun: Sitenizde, arama sonuçlarında görmek istemediğiniz güvenli olmayan alanlar var mı? Cevap evetse, o zaman bir robots.txt dosyasına ihtiyacınız var. Aksi halde, bir robots.txt dosyası oluşturmak zorunda değilsiniz.

Robots.txt dosyası nasıl oluşturulur?
Bir robots.txt dosyası hazırlanırken dikkate alınması gereken 3 temel nokta vardır:

1. Robots.txt dosyasının site url’siyle aynı formatta olması gerekir. Daha önce http://www.benimsitem.com için http://www.benimsitem.com/robots.txt olduğunu söylemiştik.
2. Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması gerekir.
3. Ve son olarak robots.txt dosyasının UTF-8 karakter kodlamasına uygun olması gerekiyor.

Robots.txt dosyası içinde işlemleri gerçekleştirmek için kullanılan komutlar şunlardır:

• User-agent: Bu komutla sitenize hangi arama robotunun gelebileceğini siz karar verirsiniz. (Örneğin tüm arama motoru robotları, sadece Google ya da sadece Bing) Yine sitenizin arama robotları tarafından hiçbir şekilde taranmasını istemiyorsanız yine bu komutu kullanabilirsiniz.
• Allow/ Disallow: Dizin engelleme ya da izin verme komutlarını kullanarak sitenizdeki sadece belirli dizinlere erişim izni verebilir ya da istediğiniz sınırlamayı koyabilirsiniz.
• Crawl-delay: Tarama gecikmesi belirtme komutu olarak da adlandırabileceğimiz bu komutla birlikte arama motorlarının site içinde tarama yaparken harcadığı zamanı sınırlandırabilirsiniz. Bu komut genellikle sunucu hatası yaşayan ve yüksek ziyaretçi sebebiyle zaman zaman hizmet veremeyen siteler tarafından kullanılır.
• Sitemap komutu: Bir “Site Haritası” yönergesi, sitenin XML Site Haritası adresini belirtir. Sitemap.xml dosyası, sitenizin doğru taranması konusunda arama botlarına en önemli bilgileri verir.

Online robots.txt oluşturma aracı
Robots.txt generator - Create a robots.txt file instantly ve Free robots.txt file Generator adreslerinden herhangi birine girerek kendi sitenize en uygun robots.txt dosyasını saniyeler içinde oluşturabilirsiniz.

İşte sizin için örnek olarak düzenlenmiş bir robots.txt dosyası:
Tüm arama motoru robotları tarafından resimlerin indexlenmesinin engellenmesi:
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /images/
Allow: /
Bu örnek, robotların sitenizdeki tüm görüntüleri (tüm resimler klasörü, .jpg, .pgn, .gif ile biten her şey) indirmesini önler. Diğer her şeye izin verilir.
Örneğin sitenizde herhangi bir içeriğin taranmasını istemiyorsunuz. O halde Robots.txt dosyanız bunları içeriyor olmalı:
User-agent: Robot adı (Google, Yahoo, Bing)
Disallow: Engellenecek dizin

WordPress için robots.txt örneği
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /attachments/
Disallow: /?attachment_id=*
Disallow: /?replytocom=*
Sitemap: https://www. siteniz .com/sitemap.xml

Sonuç olarak Robots.txt dosyasının ne işe yaradığını ve nerelerde kullanılması gerektiğini öğrendik. Daha önceden de belirttiğim üzere her sitenin bir robots.txt dosyasına sahip olması gerekmiyor. Sadece taranmasını istemediğiniz alanlar, ya da önemli bilgilerin olduğunu düşündüğünüz bölümler varsa robots.txt dosyası kullanmak yararlı olacaktır. Arama motoru robotları sitenize ilk geldiğinde ilk olarak varsa robots.txt dosyalarına bakacak ve içindeki komutlara göre hareket edecektir. Bu noktada robots.txt noktasına sahip olmak da istemediğiniz alanların taranmamasına yardımcı olur ve site indexlenmesinde zaman kazanmış olursunuz. Robots.txt sayesinde sitenizin istediğiniz şekilde arama motoru dizinine eklenmesini sağlarsınız.