Googlebot ruft mit endlicher Geduld ab: Wie viele URLs pro Besuch gecrawlt werden, hängt von Servergeschwindigkeit und der eingeschätzten Abrufwürdigkeit ab. Kleine Sites erreichen das Limit nie — ein paar hundert Seiten werden alle gesehen. Es wird bei Sites mit Tausenden URLs zur Grenze, wo Crawl-Kapazität für Parameter-URLs, Facetten, Tag-Archive und Redirect-Ketten nicht auf wichtige Seiten entfällt.
Die Pflege ist Hausarbeit: robots.txt und Canonicals halten Müll-URLs fern, interne Links zeigen auf Endziele statt Redirect-Hops, die Sitemap bleibt 404-frei, und der Server bleibt schnell — die Crawl-Rate passt sich einer schnell antwortenden Site an.
Verwandte Begriffe
robots.txt
Eine Textdatei im Site-Root, die Crawlern sagt, was sie abrufen dürfen — eine Anweisung an Maschinen, kein Schloss an einer Tür.
Indexierung
Eine Suchmaschine nimmt eine Seite in ihre durchsuchbare Datenbank auf — Crawling holt sie, Indexierung macht sie auffindbar; nicht indexiert heißt unsichtbar.
XML-Sitemap
Eine maschinenlesbare Liste aller indexierenswerten URLs — inklusive Änderungsdaten — damit Crawler alles finden, schnell.
Interne Verlinkung
Links zwischen deinen eigenen Seiten — wie Autorität zu den Seiten fließt, die sie brauchen, und wie Crawler und Leser Tiefe finden.
Die zugehörige Werkbank
Web-PerformanceEin Neubau, der auf dem Handy im Mobilfunknetz lädt, in dem Land, in dem deine Kunden tatsächlich sind. Core Web Vitals sind die Messung, Umsatz ist der Punkt.
