Definition
Crawling bezeichnet den automatisierten Prozess, bei dem Computerprogramme, sogenannte Crawler oder Spider, systematisch Webseiten im Internet durchsuchen. Ziel ist es, Inhalte zu erfassen und für weitere Verarbeitungsschritte, wie das Indexieren, vorzubereiten. Dabei folgen die Crawler den Hyperlinks von einer Seite zur nächsten, um ein möglichst umfassendes Abbild des Webs zu erhalten.
Der Begriff stammt aus dem Englischen und bedeutet wörtlich „kriechen“ oder „krabbeln“, was die Art der sequenziellen Navigation durch Webseiten beschreibt. Crawling ist eine grundlegende Technik in Suchmaschinen, um aktuelle und relevante Inhalte zu entdecken und zu sammeln. Ohne Crawling könnten Suchmaschinen keine Informationen über neue oder geänderte Webseiten gewinnen.
Was bedeutet das für Ihr Unternehmen?
Nur was Suchmaschinen crawlen können, kann bei Google erscheinen. Häufige Hindernisse sind eine falsch konfigurierte robots.txt, Seiten, die nur über Suchfelder oder Filter erreichbar sind, und Inhalte, die erst durch JavaScript im Browser entstehen. In der Google Search Console sehen Sie, welche Seiten gecrawlt wurden und wo es Probleme gab, nach einem Relaunch ist ein Blick dort besonders wichtig.
Technische Grundlagen
Crawler sind spezialisierte Software-Agenten, die HTTP-Anfragen an Webserver senden, um HTML-Dokumente und andere Ressourcen herunterzuladen. Anschließend analysieren sie die erhaltenen Daten, extrahieren Links und fügen diese der Liste der zu besuchenden URLs hinzu. Dieser Prozess wiederholt sich, bis bestimmte Grenzen erreicht sind, etwa eine maximale Tiefe oder eine Begrenzung der besuchten Domains.
Um die Effizienz und die Belastung der Webserver zu steuern, verwenden Crawler Regeln wie die robots.txt-Datei, die vom Webserver bereitgestellt wird. In dieser Datei können Website-Betreiber festlegen, welche Bereiche für Crawler zugänglich sind und welche nicht. Zudem berücksichtigen Crawler häufig Meta-Tags auf Webseiten, die das Crawling oder die Indexierung einschränken.
Einsatzgebiete
Das Crawling ist vor allem im Bereich von Suchmaschinen wie Google, Bing oder DuckDuckGo von zentraler Bedeutung. Es ermöglicht diesen Diensten, aktuelle Inhalte zu erfassen und in ihren Index aufzunehmen, damit Nutzer relevante Suchergebnisse erhalten. Darüber hinaus wird Crawling auch in anderen Bereichen eingesetzt, etwa bei Preisvergleichsportalen, zur Marktanalyse oder im Bereich der Datenaggregation.
Neben dem Web-Crawling gibt es auch spezialisierte Formen, wie das Social Media Crawling, bei dem Inhalte aus sozialen Netzwerken gesammelt werden. Ebenso existiert das Deep-Web-Crawling, das versucht, Inhalte zu erfassen, die nicht direkt über Hyperlinks erreichbar sind, beispielsweise durch das Ausfüllen von Formularen.
Herausforderungen und Einschränkungen
Crawling steht vor technischen und rechtlichen Herausforderungen. Technisch müssen Crawler mit der enormen Größe und Dynamik des Internets umgehen, da ständig neue Seiten entstehen und bestehende Inhalte sich ändern. Zudem müssen sie mit unterschiedlichen Web-Technologien und -Strukturen zurechtkommen, etwa JavaScript-generierte Inhalte, die nicht direkt im HTML enthalten sind.
Rechtlich gibt es Einschränkungen durch Urheberrecht, Datenschutz und Nutzungsbedingungen von Webseiten. Einige Betreiber verbieten das Crawling explizit oder schränken es über robots.txt ein. Zudem können hohe Crawling-Frequenzen die Serverlast erhöhen und zu einer Beeinträchtigung der Verfügbarkeit führen, weshalb verantwortungsvolles Crawling notwendig ist.
Abgrenzung zu verwandten Begriffen
Crawling wird häufig mit Indexierung verwechselt, die jedoch ein separater Schritt ist. Während das Crawling das Sammeln der Webseiteninhalte umfasst, beschäftigt sich die Indexierung mit der strukturierten Speicherung und Analyse dieser Daten, um sie für Suchanfragen zugänglich zu machen. Beide Prozesse sind Teil der Suchmaschinenarchitektur, aber funktional klar getrennt.
Ein weiterer verwandter Begriff ist das Scraping, das ebenfalls automatisiert Webseiteninhalte sammelt. Im Gegensatz zum Crawling, das systematisch und häufig großflächig arbeitet, ist Scraping meist zielgerichtet und extrahiert spezifische Daten von einzelnen Seiten. Zudem kann Scraping rechtlich problematischer sein, da es oft gegen Nutzungsbedingungen verstößt.