Definition
Ein Crawler (engl. Kriecher, Kriechtier), auch Webcrawler, ist eine Software, die das Internet anhand von Indexeinträgen nach neuen Webseiten oder bestimmten Informationsinhalten durchsucht und analysiert. Zudem werden RSS-Newsfeed sowie Email-Adressen erfasst.
Crawler werden vorzugsweise von Suchmaschinen eingesetzt, um ihren Datenbestand zu erweitern. Dabei gehen Crawler sich ständig wiederholenden Aufgaben nach und arbeiten sich weitestgehend autonom durch alle Seiten im Internet, die miteinander verbunden sind.
Mehr aus der Welt des Online-Marketing: