Suchmaschinen, die man auch Spider oder Crawler (zu deutsch Spinne bzw. Kriecher, kriechen oder krabbeln) nennt, suchen ständig Websites im Internet auf, um Kataloge von Websites anzulegen. Suchmaschinen wie etwa Fireball erzeugen ihre Ergebnislistings automatisch. Bei dieser Methode klappern die Suchmaschinen einfach das ganze Web ab, wobei anschließend Menschen das untersuchen, was bei der Suche herausgekommen ist. Auf diese Weise können die Suchmaschinen gegebenenfalls Änderungen, die Sie an Ihren Websites vorgenommen haben, automatisch ausfindig machen. Beeinflusst wird durch Änderungen wiederum die Art und Weise, wie Ihre Seiten im Ergebnislisting aufgelistet werden, wobei viele Faktoren eine Rolle spielen können: die Seitentitel, die Textblöcke oder andere Elemente der Seite. Da Suchmaschinen automatisch arbeiten und außerordentlich viele Websites indizieren, finden Sie dort oft Informationen, die in den Verzeichnissen (siehe unten) nicht aufgeführt sind. Bei Suchmaschinen werden in der Regel alle Websites, die angemeldet wurden, auch aufgenommen.