Unter Crawler oder auch Web-Crawler werden Software-Programme verstanden, die das Internet systematisch durchsuchen und nach Inhalten „crawlen“. Sie analysieren und indizieren Inhalte wie Texte, Bilder und Videos. Suchmaschinen sind die primären Provider, die Crawler zu Indexierung von Webseiten nutzen. Ihre Aufgabe ist es, Websites zu analysieren und zu indizieren, damit sie in die Datenbank einer Suchmaschine aufgenommen werden können.
Crawling und Indexing: wie funktioniert’s?
Wenn Crawler eine Website besuchen, untersuchen sie alle Links auf dieser Website und folgen ihnen zu den anderen Websites, zu denen diese Links führen. Durch diesen Prozess der Querverlinkung entdecken Web-Crawler neue Websites. Sobald ein Crawler eine neue Website entdeckt hat, indiziert er alle Seiten dieser Website, damit diese in den Suchergebnissen erscheinen können. In der Suchmaschinenoptimierung ist deshalb das Cross-Linking (zu Deutsch: Querverlinkung s. oben, bspw. auf thematisch relevante Unterseiten) besonders wichtig.
Weitere Texte zum Thema:
