Crawling

Crawler veya diğer adıyla Web Crawler, web sitelerini belleklerine almak için World Wide Web üzerinde sürekli bir tarama yapan arama botlarıdır. Örneğin bir crawler içerisinde belirli anahtar kelimelerin yer aldığı sayfaları tarayıp, daha sonra bu tarama sonuçlarını arama motorunun mekanizmasına bildirebilir. İnternette arama motorları başta olmak üzere otomatik olarak çalışan servislerin bir çoğu interneti sürekli taramak amacıyla Crawler adını verdiğimiz bu gezgin botları kullanır.

İyi ama, bu Crawler’lar nasıl var oluyor? Crawler’da bizim bilgisayarlımızda kullandığımız yazılımlar gibi tasarlanan, filtreleme yapabilen veya işaretleme yöntemiyle yalnızca istenen kriterleri göz önünde bulundurabilen yazılımlardır. Sürekli olarak aynı rutini tekrar ederler ancak kendi başlarına karar veremezler. Dolayısıyla bir Crawler’ı arama motorunun tümü şeklinde düşünmek yanlış olacaktır.

Crawler Bot​

Crawler Bot’da Crawler için kullanılan bir diğer alternatif isimdir. Yazılım yapısı açından baktığımızda Crawler’lar normal bir yazılımdır ve hatta bottur. Yani insanların iş yükünü azaltmak için insanlar tarafından oluşturulan ve otomatik olarak insanların yapması gereken işi yapan bir araçtır. Crawler bot ile Crawler tamamen aynı şeydir.

Web Crawler​

Yazının başında da değindiğimiz üzere Web Crawler, Crawler’ın bir diğer adıdır. Web Crawler veya Crawler tamamen aynı yazılımlardır ve işlevleri aynıdır. Web Crawler’ın yazılışının daha uzun olması nedeniyle zamanla insanlar Web kısmını kullanmamayı tercih ederek bu botları Crawler olarak adlandırmıştır.