Spider

Spider, Robot und Crawler sind Programme, mit deren Hilfe Suchmaschinen Internetseiten analysieren. Je besser eine Webseite für solche Spider optimiert ist, desto besser werden auch die Inhalte von der Suchmaschine gefunden. Fast alle Spider können derzeit nur Texte lesen. Das heißt, sie sind weder in der Lage, Bilddateien zu erkennen, noch Umschreibungen auf einen bestimmten Suchbegriff zurückzuführen. Spider hangeln sich bei Ihrer Analyse über Links durch das abzusuchende Web (Netz). Die Treffer werden von den Suchmaschinen bewertet und in riesigen Datenbanken archiviert (Volltextindizierung). Eingehende Suchanfragen können dadurch in Millisekunden über den archivierten Datenbestand beantwortet werden. Damit die Datenbanken aktuell bleiben, müssen Spider Seiten je nach deren Änderungsverhalten mehrmals täglich analysieren.