crawler, internetteki bilgileri tarayıp kendi belirlediği kurallara göre dizinlerine kaydeder. tam manasıyla taranmayan web sayfaları için genellikle web sayfalarının açıklamalarını daha doğru bir şekilde sağlayan anchor (bağlayıcılar) kullanılır.