Definition

Ein Crawler (engl. Kriecher, Kriechtier), auch Webcrawler, ist eine Software, die das Internet anhand von Indexeinträgen nach neuen Webseiten oder bestimmten Informationsinhalten durchsucht und analysiert. Zudem werden RSS-Newsfeed sowie Email-Adressen erfasst.

Crawler werden vorzugsweise von Suchmaschinen eingesetzt, um ihren Datenbestand zu erweitern. Dabei gehen Crawler sich ständig wiederholenden Aufgaben nach und arbeiten sich weitestgehend autonom durch alle Seiten im Internet, die miteinander verbunden sind.

 

Mehr aus der Welt des Online-Marketing:

google-ranking-system-update

Neues Googles Ranking-System: Was es jetzt zu beachten gilt

| SEO | Keine Kommentare
Google sorgt für einiges an Verwirrung…
Die Zukunft des Marketings - Al als treibende Kraft

Die Zukunft des Marketings: AI als treibende Kraft

| AI | Keine Kommentare
Artificial Intelligence (AI; dt. KI, künstliche…
40 besten Marketing Prompts ChatGPT

Die 40 besten Marketing-Prompts für ChatGPT

| AI | Keine Kommentare
Die künstliche Intelligenz (KI; engl. AI…