Crawler entdecken Seiten durch Links folgen — das funktioniert, irgendwann, und nur für gut Verlinktes. Eine Sitemap ist das explizite Inventar: jede URL, wann sie zuletzt geändert wurde, optional welche Alternativen in anderen Sprachen existieren. Eine Deklaration, keine Garantie — aber sie streicht 'wir haben die Seite nie gecrawlt' von der Ausredenliste.
Das lastmod-Feld ist das, das sich lohnt: Ein ehrlicher Zeitstempel weist Crawler an, ihr Budget auf Geändertes zu verwenden. Eine Sitemap, die behauptet, heute sei alles geändert worden, trainiert Crawler, sie zu ignorieren — der seltene Fall, in dem Roboter belügen aktiv schadet.
Verwandte Begriffe
robots.txt
Eine Textdatei im Site-Root, die Crawlern sagt, was sie abrufen dürfen — eine Anweisung an Maschinen, kein Schloss an einer Tür.
Indexierung
Eine Suchmaschine nimmt eine Seite in ihre durchsuchbare Datenbank auf — Crawling holt sie, Indexierung macht sie auffindbar; nicht indexiert heißt unsichtbar.
Canonical URL
Ein Tag, der die eine 'echte' Adresse für unter mehreren URLs erreichbare Inhalte nennt — damit Suchmaschinen die gemeinte Kopie einmal ranken.
Die zugehörige Werkbank
Web-PerformanceEin Neubau, der auf dem Handy im Mobilfunknetz lädt, in dem Land, in dem deine Kunden tatsächlich sind. Core Web Vitals sind die Messung, Umsatz ist der Punkt.
