# robots.txt

> Eine Textdatei im Site-Root, die Crawlern sagt, was sie abrufen dürfen — eine Anweisung an Maschinen, kein Schloss an einer Tür.

Jeder ernsthafte Bot liest /robots.txt zuerst: welche Pfade untersagt sind, wo die Sitemap liegt, manchmal welche Bots konkret willkommen sind. 'Disallow: /admin' heißt 'bitte nicht crawlen' — es hält Crawler von Bereichen fern, die ihr Budget verschwenden, wie gefilterte Suchseiten und interne Tools.

Zwei Dinge ist es nicht: Es ist keine Sicherheit — die Datei ist öffentlich und nennt genau, was du versteckt hast, sensible Pfade brauchen also trotzdem Auth — und es ist keine Garantie: Google hält sich daran, bösartige Bots ignorieren es, und ein 'Disallow' entfernt keine Seite aus dem Index, wenn sie schon drin ist. Dafür braucht es noindex auf der Seite selbst.

## Verwandte Begriffe

- https://dfieldsolutions.com/de/glossar/xml-sitemap.md
- https://dfieldsolutions.com/de/glossar/indexing.md
- https://dfieldsolutions.com/de/glossar/seo.md

---

Source: https://dfieldsolutions.com/de/glossar/robots-txt
DField Solutions — Dunakeszi, Hungary — dezso@dfieldsolutions.com
Booking: see https://dfieldsolutions.com/en/contact