Jeder ernsthafte Bot liest /robots.txt zuerst: welche Pfade untersagt sind, wo die Sitemap liegt, manchmal welche Bots konkret willkommen sind. 'Disallow: /admin' heißt 'bitte nicht crawlen' — es hält Crawler von Bereichen fern, die ihr Budget verschwenden, wie gefilterte Suchseiten und interne Tools.
Zwei Dinge ist es nicht: Es ist keine Sicherheit — die Datei ist öffentlich und nennt genau, was du versteckt hast, sensible Pfade brauchen also trotzdem Auth — und es ist keine Garantie: Google hält sich daran, bösartige Bots ignorieren es, und ein 'Disallow' entfernt keine Seite aus dem Index, wenn sie schon drin ist. Dafür braucht es noindex auf der Seite selbst.
Verwandte Begriffe
XML-Sitemap
Eine maschinenlesbare Liste aller indexierenswerten URLs — inklusive Änderungsdaten — damit Crawler alles finden, schnell.
Indexierung
Eine Suchmaschine nimmt eine Seite in ihre durchsuchbare Datenbank auf — Crawling holt sie, Indexierung macht sie auffindbar; nicht indexiert heißt unsichtbar.
SEO
Suchmaschinenoptimierung — Seiten auffindbar, indexierbar und rankenswert machen: technische Gesundheit plus Inhalte, die Menschen wirklich wollen.
Die zugehörige Werkbank
Web-PerformanceEin Neubau, der auf dem Handy im Mobilfunknetz lädt, in dem Land, in dem deine Kunden tatsächlich sind. Core Web Vitals sind die Messung, Umsatz ist der Punkt.
