# Prompts sind Code: evaluiere sie wie Code

> Ein Prompt, der nicht regressionsgetestet werden kann, ist ein Skript, das niemand zu refactoren wagt. Versioniert, evaluiert, gediffed — dieselbe Hygiene wie jedes deployte Artefakt.

Einen Agenten zu shippen heißt, den Prompt jede Woche zu ändern. Ohne Eval-Harness ist jede Änderung ein Münzwurf — der Fix für einen Fehler bricht still zwei Verhaltensweisen, die niemand geprüft hat.

## Das Eval-Set ist der Vertrag

Fünfzig bis zweihundert repräsentative Inputs mit erwarteten Outputs — oder zumindest erwarteten Eigenschaften — machen aus 'wirkt besser' eine Zahl. Aus echten Transkripten bauen, nicht aus dem, was sich das Team vorstellt.

## Mit einem Judge bewerten, mit Augen stichproben

Ein LLM-as-Judge bewertet jeden Lauf gegen Rubrik-Kriterien und skaliert mit jeder Änderung; ein wöchentliches menschliches Lesen von zehn zufälligen Outputs fängt, was die Rubrik zu fragen vergaß. Keines allein genügt.

## Den Prompt versionieren wie den Code

Prompt-Text in der Versionskontrolle, Eval-Scores in der CI bei jeder Änderung, und ein Rollback, der Minuten statt ein Meeting braucht. Der Prompt ist ein deploytes Artefakt und verdient dieselbe Hygiene.

## Was bleibt

- Das Eval-Set aus echten Transkripten bauen, nicht aus Vermutungen.
- LLM-Judge im großen Maßstab, wöchentliche menschliche Stichprobe.
- Prompt-Änderungen gehen durch die CI wie jeder andere Code.
- Rollback trivial halten — Prompts deployen auch.

## Schlagwörter

LLM, Evals, CI, Prompting

## Das bauen wir auch

https://dfieldsolutions.com/de/leistungen/ai-automation

## Mehr aus dem Lab

- https://dfieldsolutions.com/de/labor/rag-grounding.md — RAG, das keinen falschen Preis nennen kann
- https://dfieldsolutions.com/de/labor/n8n-self-hosted-vs-zapier.md — Self-hosted n8n oder Zapier — wo die Rechnung wirklich abweicht
- https://dfieldsolutions.com/de/labor/mcp-servers-production.md — MCP-Server in Produktion, nicht in der Demo
- https://dfieldsolutions.com/de/labor/invoice-pipeline-automation.md — Die Rechnungs-Pipeline, die den Freitagnachmittag-Admin beendete

---

Source: https://dfieldsolutions.com/de/labor/prompt-evals
DField Solutions — Dunakeszi, Hungary — dezso@dfieldsolutions.com
Booking: see https://dfieldsolutions.com/en/contact