Werkstattnotizen3 Abschnitte · 2 Min. LesezeitVon Dezső Mező · Veröffentlicht 3. Oktober 2026.mdRAGLLMEmbeddingsData
Die Demo funktioniert, weil die Demo-Daten sauber sind. Die Produktion scheitert an den langweiligen Teilen: Chunking, das einen Preis von seinem Produkt trennt, Retrieval, das den Katalog vom Vorjahr liefert, und ein Prompt, das das Modell Lücken aus dem Gedächtnis füllen lässt.
01Um den Fakt chunken, nicht um die Tokenzahl
Wenn Name, Preis und Lagerbestand eines Produkts in verschiedenen Chunks landen, kann Retrieval dem Modell den Preis eines anderen Produkts in die Hand geben, ohne dass etwas im Prompt es merkt. Nach Dokumentstruktur chunken — ein Eintrag, ein Chunk — und die Größe variieren lassen.
02Frische ist ein Feld, keine Hoffnung
Jeder Chunk trägt den Zeitstempel seiner Quelle, und Retrieval bevorzugt bei widersprüchlichen Fakten die frischere Quelle. Ein Katalog-Update ohne Re-Index ist eine Halluzination mit Termin nächste Woche.
03Die Aufgabe des Prompts ist Ablehnung, nicht Eloquenz
Weise das Modell an, nur aus dem abgerufenen Kontext zu antworten und zu sagen, wenn der Kontext die Frage nicht abdeckt. Ein sichtbares 'das steht nicht im aktuellen Katalog' ist ein Feature; ein selbstbewusst falscher Preis ist ein Risiko.
Was bleibt
- Nach Dokumentstruktur chunken, nicht nach Tokenzahl.
- Jeden Chunk mit Zeitstempel; bei jedem Quell-Update neu indexieren.
- Bei fehlendem Kontext Ablehnung einfordern, keine Flüssigkeit.
- Den Chunk in der Antwort zitieren, damit falsche Antworten debuggbar sind.
Mehr aus dem Lab
Alle Beiträge ansehen
Prompts sind Code: evaluiere sie wie Code
Self-hosted n8n oder Zapier — wo die Rechnung wirklich abweicht
MCP-Server in Produktion, nicht in der Demo
Die Rechnungs-Pipeline, die den Freitagnachmittag-Admin beendete
Sollen wir das an Ihrem System ansehen?Gespräch beginnen
