Parallax-Programmierung
Was bedeutet eigentlich
Crawler
Crawler, auch bekannt als Spider oder Bot, sind automatisierte Programme, die das Internet durchsuchen und Informationen sammeln. Vor allem Suchmaschinen-Provider setzen Crawler ein, um das World Wide Web zu durchsuchen und darüber einen umfangreichen Index aufzubauen.
Funktionsweise und Einsatz von Crawlern
Die Crawler beginnen ihre Arbeit, indem sie (meist über Hyperlinks) eine Startseite besuchen und dann alle Links auf dieser Seite verfolgen, um darüber weitere Webseiten zu finden. Auf jeder besuchten Seite sammeln sie Informationen wie Texte, Bilder, Links, Meta-Daten und andere (für ihre Auftraggeber*innen) relevante Informationen. Diese werden dann z. B. von den Suchmaschinen verwendet, um die besten Suchergebnisse für bestimmte Keywords zu liefern.
Grundsätzlich gibt es neben den Suchmaschinen-Bots noch weitere Arten von Crawlern:
- Web-Crawler für Forschungszwecke sammeln Daten führen und Analysen durch, z. B. um soziale Netzwerke auszuforschen oder Daten im Bereich der Künstlichen Intelligenz zusammenzutragen.
- Preisvergleich-Crawler sammeln automatisch Daten von verschiedenen Online-Shops, um die Preise für bestimmte Produkte zu vergleichen. Vergleich-Websites wie Idealo oder billiger.de nutzen solche Crawler.
- Sicherheits-Crawler werden von Unternehmen oder Organisationen eingesetzt, um ihre Websites auf Schwachstellen oder Sicherheitslücken zu überprüfen.
- Content-Crawler werden für das sog. Web-Scraping verwendet: Sie lesen Inhalte von Webseiten aus, die für das Erstellen von Produktdatenbanken oder News-Aggregatoren genutzt werden.
Je nach Zweck und Zielsetzung kann die Art des Crawlers und die eingesetzte Technologie variieren. Allerdings müssen Crawler auch ethische und rechtliche Grenzen beachten, wie beispielsweise Robots.txt-Dateien, die bestimmte Bereiche einer Website für Crawler sperren.
Bekannte Web-Crawler
Zu den bekanntesten Web-Crawlern zählen:
- Googlebot: Der Web-Crawler von Google ist der bekannteste und am weitesten verbreitete Crawler, der für die Indexierung von Websites für die Google-Suche verwendet wird.
- Bingbot, der Web-Crawler von Microsoft.
- Baiduspider als Web-Crawler von Baidu.
- Alexa Crawler: Der Alexa Crawler ist ein Web Crawler von Amazon, der für die Sammlung von Daten für das Alexa-Ranking verwendet wird.
Crawler und SEO
Bei der Erstellung Ihrer Website sollten Sie darauf achten, dass Suchmaschinen-Crawler optimal auf alle relevanten Inhalte zugreifen können. Über eine Robots.txt-Datei lassen sich sensible Bereiche schützen und hinderliche Dopplungen von Kategorie-Seiten verhindern.
Wichtig zu wissen: Eine Website lässt sich leichter scannen und indexieren, wenn sie SEO-optimiert ist, d. h., wenn ihr Inhalt leicht zugänglich und strukturiert aufgebaut ist. Neben der inhaltlichen On-Page-SEO ist auch die Site-Struktur wichtig: Vermeiden Sie Crawling-Fehler wie gebrochene Links, Redirect-Loops oder unvollständige Sitemaps, die die Indexierung beeinträchtigen können.
Viele gute Backlinks und eine gelungene interne Verlinkung führen dazu, dass Ihre Website tendenziell öfter von Crawlern besucht wird und dadurch bevorzugt in den Suchergebnissen gelistet werden kann.
Crawler
Glossar-List-Small
→
ALT-Attribut→
Abwanderungsrate→
Accelerated Mobile Pages (AMP)→
Agile Content Development→
Augmented Reality (AR)→
Call to Action (CTA)→
Canonical Tag→
Click-Through-Rate (CTR)→
Cloaking→
Content Gap Analyse→
Content Marketing→
Content Score→
Conversion→
Conversion-Rate→
Conversion-Rate-Optimierung→
Conversional Marketing→
Cookies→
Cost per Click (CPC)→
Cost per Mille (CPM)→
Crawler→
Dead Link→
Direct Answers→
Domain Popularity→
Domain Trust→
Duplicate Content→
Dynamic Content→
GIF→
Google Ads→
Google Analytics→
Google Hummingbird Algorithmus→
Google Images→
Google Keyword Planner→
Google Lighthouse→
Google Maps→
Google Mobile Updates→
Google My Business→
Google News→
Google Panda Update→
Google Penguin Update→
Google Phantom Update→
Google Places→
Google Search Console→
Google Shopping→
Google Trends→
Google Updates Überblick→
Google+-Local→
Kaltakquise→
Keyword→
Keyword Density→
Keyword-Kannibalisierung→
Keyword-Proximity→
Keyword-Stuffing→
Knowledge Graph→
Mere Exposure Effect→
Meta Title→
Meta-Description→
Meta-Suchbegriff→
Meta-Tag→
Middle-of-the-Funnel→
Paid Listing→
Paid Search Traffic→
Pay per Click (PPC)→
Pinterest→
Plagiate-Finder→
Popup-Blocker→
Progressive Web Apps→
RankBrain→
Ranking→
Ranking-Chancen→
Ranking-Faktor→
Redirect→
Remarketing Kampagnen→
Return on Investment (ROI)→
Review Marketing→
Rich Snippets→
Robots.txt→
SEO Visibility→
SERP (Search Engine Result Page)→
SSL-Verschlüsselung→
Search Engine Advertisting (SEA)→
Search Engine Marketing (SEM)→
Search Engine Optimization (SEO)→
Seite→
Seitenbeschreibung→
Seiteninhalt→
Seitentitel→
Sitemap.xml→
Social Proof→
Statuscodes→
Strukturierte Daten→
Suchbegriff→
Suchbegriffsanhäufung→
Suchbegriffsdichte→
Suchbegriffsnähe→
Suchergebnis→
Suchmaschine