Alles, was das Modell berücksichtigt, muss in dieses eine Budget passen: der System-Prompt, alle abgerufenen Dokumente, das bisherige Gespräch und die Antwort, die es gleich schreibt. Wenn ein langer Chat anfängt zu vergessen, was am Anfang gesagt wurde, liegt es meist daran, dass der Anfang weggefallen ist, um Platz zu schaffen.
Größere Fenster haben eine ganze Klasse von Behelfslösungen überflüssig gemacht, die Disziplin nicht. Ein großes Fenster mit allem Verfügbaren zu füllen kostet bei jedem Aufruf Geld, erhöht die Latenz und verschlechtert messbar die Genauigkeit — Modelle beachten Material in der Mitte eines sehr langen Kontexts weniger zuverlässig. Die richtigen fünf Seiten zu schicken schlägt immer noch alle zweihundert.
Verwandte Begriffe
Großes Sprachmodell (LLM)
Ein auf riesigen Textmengen trainiertes Modell, das vorhersagt, was als Nächstes kommt — was genügt, um zu schreiben, zusammenzufassen, zu übersetzen und viele Aufgaben durchzudenken.
RAG (Retrieval-Augmented Generation)
Erst die passenden Dokumente heraussuchen und in den Prompt legen, damit das Modell aus deinem Material antwortet statt aus dem Gedächtnis.
System-Prompt
Die feststehenden Anweisungen, die jedem Gespräch vorangestellt werden und festlegen, was das Modell tun und wie es sich verhalten soll.
Die zugehörige Werkbank
KI-AutomatisierungDie repetitive Hälfte deiner Woche, übergeben an Software, der nicht langweilig wird. Posteingang sortieren, Nachfassen, Reporting, Datenpflege zwischen Tools, die nie zum Zusammenspiel gedacht waren.
