Index

Ein Index, auch Web-Index oder Suchmaschinenindex beschreibt eine Datenbank, die von einer Suchmaschine oder einem Webcrawler erstellt wird, um den Inhalt von Websites zu speichern und zu organisieren. Er enthält normalerweise eine Liste aller URLs der Website sowie eine Zusammenfassung der Inhalte jeder Seite, die von der Suchmaschine oder dem Crawler im Zuge einer Vertical Search gescannt, analysiert und indexiert wurde. Die indexierten Daten können unter anderem aus Titeln, Meta-Beschreibungen, Überschriften, Texten und als relevant erachteten Informationen bestehen. Einmal im Index enthalten, können Benutzer*innen durch Suchanfragen jederzeit auf die relevanten Seiten zurückgreifen.

Wie gelangt eine Website in den Index einer Suchmaschine?

Eine Website schafft es in den Index, indem sie von Suchmaschinen-Crawlern oder -Spidern besucht wird. Diese automatisierten Programme durchsuchen das Internet kontinuierlich nach neuen oder aktualisierten Webseiten.

Um sicherzustellen, dass Ihre Website in den Index aufgenommen wird, ist es wichtig, dass sie leicht für diese Robots zugänglich ist und sowohl strukturell als auch inhaltlich optimiert wurde. Dazu zählen eine klare Struktur, eine saubere HTML-Codierung, eine angemessene Verwendung von Schlüsselwörtern sowie eine entsprechende Meta-Tag-Optimierung. Zusätzlich kann die Einreichung einer Sitemap helfen, Suchmaschinen bei der Entdeckung Ihrer Seiten zu unterstützen und Ihnen eine bessere Vorstellung von der Struktur Ihrer Website zu geben. Ein weiterer wichtiger Faktor ist das Einbinden von Links anderer, bereits indexierten Webseiten, um Ihre Website bekannter zu machen und den Crawlern über Backlinks einen Hinweis auf Ihre Website zu geben.
Wichtig zu wissen: Eine Aufnahme einer Website in den Index einer Suchmaschine ist kein Garant für eine gute Platzierung in den Suchergebnissen. Hierfür ist eine umfassende Suchmaschinenoptimierung erforderlich – nur so können die Suchmaschinen-Algorithmen Ihre Seite als besonders relevant einordnen.

Ausschlussmöglichkeiten vom Suchmaschinen-Index

Um eine Website oder eine bestimmte (Test-) Seite von der Indizierung durch Suchmaschinen auszuschließen, gibt es zwei Möglichkeiten:

Sie können eine Robots.txt-Datei damit beauftragen, bestimmte Ordner oder Seiten auszuschließen, indem Sie sie mit dem "Disallow" Befehl (User-agent: * Disallow: /) kennzeichnen.
Sie fügen ein Meta-Tag mit dem Namen "noindex" in den HTML-Code der Seite ein, die Sie ausschließen möchten. Dies teilt Suchmaschinen mit, dass sie die Seite nicht in ihren Index aufnehmen sollen. Fügen Sie dafür den folgenden Code in den HTML-Code der Seite ein: <meta name="robots" content="noindex">
Beachten Sie, dass diese Methoden Suchmaschinen nicht daran hindern, Ihre Website zu crawlen. Sie verhindern lediglich, dass bestimmte Seiten oder Ordner in ihren Index aufgenommen werden.