❯ ZUM LEXIKON

Defini­tion

Ein Crawler (engl. Kriecher, Kriech­tier), auch Webcraw­ler, ist eine Software, die das Inter­net anhand von Index­ein­trä­gen nach neuen Websei­ten oder bestimm­ten Infor­ma­ti­ons­in­hal­ten durch­sucht und analy­siert. Zudem werden RSS-Newsfeed sowie Email-Adres­sen erfasst.

Crawler werden vorzugs­weise von Suchma­schi­nen einge­setzt, um ihren Daten­be­stand zu erwei­tern. Dabei gehen Crawler sich ständig wieder­ho­len­den Aufga­ben nach und arbei­ten sich weitest­ge­hend autonom durch alle Seiten im Inter­net, die mitein­an­der verbun­den sind.