Wann ein LLM den Tag rettet
Free-Text in JSON, breite Vorrecherche, Volumen mit Toleranz. Drei Szenarien, in denen wir selbst zum LLM greifen - und eine Gegenseite, die das nicht tut.
Pro-Position
Wo GPT und Anthropic wirklich Hebel bauen
Wir haben an anderer Stelle aufgeschrieben, wann KI bei Ihnen Quatsch ist. Hier die andere Seite der Medaille: drei Muster, in denen ein LLM nachweisbar Stunden spart - und in denen wir selbst Function Calling, RAG oder Embedding-Suchen produktiv im Einsatz haben.
Was die folgenden drei Fälle eint
Alle drei Szenarien teilen ein Muster: viel unstrukturierter Input, viel Sprache, eine menschliche Letztkontrolle - und eine Fehlertoleranz, bei der ein Halluzinations-Vorfall ärgert, aber nicht das Geschäft kippt. Genau in dieser Konstellation lohnt sich der Token-Preis, weil ein klassisches System entweder gar nicht greift oder ein Vielfaches an Entwicklungszeit kostet.
Womit wir konkret arbeiten
In der Praxis bedeutet das: GPT-4o und Claude Sonnet für die meisten produktiven Workloads, kleinere Modelle (GPT-4o-mini, Haiku) für Massendurchsatz, Embedding-Modelle für die Suche im eigenen Datenbestand. Function Calling als Pflicht-Pattern, damit der Output strukturiert ans Zielsystem zurückgeht. Und immer ein deterministischer Validierungs-Layer hinter dem Modell - egal wie zuverlässig der Prompt sitzt.
1. Unstrukturierter Input wird strukturierter Output
Free-Text in sauberes JSON - das Brot der LLMs
Eine Kunden-E-Mail, eine Sprachnotiz aus dem Außendienst, ein WhatsApp-Snippet vom Vertrieb: am Ende muss ein Ticket im CRM stehen, mit Kategorie, Priorität und betroffenem Produkt. Klassische Regex-Pipelines scheitern an Sprachvielfalt und Kontext. Ein Function-Calling-Aufruf gegen GPT oder Anthropic liefert direkt das geforderte Schema - inklusive Confidence pro Feld.
Der entscheidende Trick: ein JSON-Schema mit klaren Enums (Kategorie, Priorität) als Function-Definition mitgeben, anschließend serverseitig validieren. Was nicht ins Schema passt, geht in die Mensch-Eskalation. So fängt die Pipeline Halluzinationen ab, bevor sie ins Zielsystem schlüpfen.
Warum Function Calling alles verändert hat
Vor Function Calling musste man Prompts so eng führen, dass das Modell freiwillig sauberes JSON zurückgibt - inklusive Retry-Schleife für Tokens, die das Schema sprengen. Heute übernimmt das Modell die Schema-Treue, weil es weiß, dass ein Tool dahintersteht. Aus drei Tagen Prompt-Engineering werden 90 Minuten Schema-Definition.
Messpunkt: 70 Prozent automatisch, 30 Prozent flagged
Bei einem Bestandskunden im B2B-Service-Geschäft fließen heute 70 bis 80 Prozent der Mails automatisch ins richtige Ticket-Format. Der Rest landet in einer Review-Queue mit Confidence-Werten unter Schwelle. Eingesparte Zeit pro Monat: rund 60 Stunden. Token-Kosten: gut 80 Euro. Diese Asymmetrie ist der eigentliche Punkt - klassische Automatisierung hätte das Volumen nie geschafft.
2. Recherche und RAG für Ihre Experten
Vorrecherche beschleunigen, nicht Entscheidungen ersetzen
Wer Gutachten, juristische Stellungnahmen oder Code-Reviews produziert, verbringt die erste Stunde mit Quellensichtung. Genau dort sitzt der Hebel: ein RAG-Setup über Ihren eigenen Datenbestand - Verträge, Wiki, Repository, Studien - liefert in Sekunden die fünf relevantesten Stellen mit Zitat und Quellenlink. Die fachliche Bewertung bleibt beim Menschen, die Sucharbeit übernimmt das Modell.
Source-Citation ist hier Pflicht, nicht Kür: ohne nachprüfbaren Verweis auf das Originaldokument liefert ein RAG-System nur selbstbewusstes Bauchgefühl. Wir verknüpfen jeden Treffer mit Dokument-ID, Seite und Absatz - so wird der Recherche-Schritt auditierbar.
Embeddings: das unterschätzte Werkzeug
Ein Embedding-Modell verwandelt Texte in Vektoren - in eine numerische Repräsentation, die semantische Nähe abbildet. „Vertragsstrafe bei Lieferverzug“ und „Konventionalstrafe Verzugsfall“ landen im selben Cluster, obwohl kein einziges Wort übereinstimmt. Klassische Volltextsuche scheitert hier, Embedding-Suche trifft direkt.
Hybrid statt Vector-Only
Reine Vektorsuche verfehlt regelmäßig exakte IDs, Aktenzeichen oder Modellnummern - hier ist Volltext überlegen. Wir kombinieren beides in einer Hybrid-Suche: BM25 für lexikalische Präzision, Embeddings für Semantik, ein Reranker-Schritt sortiert den finalen Mix. Das Ergebnis trifft sowohl die exakte Vertragsklausel als auch die thematisch ähnliche Passage drei Verträge weiter.
Konkretes RAG-Setup im Kopf?
Wir bauen Embedding-Pipelines, die Ihr Wissen auffindbar machen - mit Quellenangabe und Audit-Trail.
3. Volumen-Arbeit mit Fehlertoleranz
Wenn fünf Prozent Fehlerquote akzeptabel sind
Produktbeschreibungs-Varianten für 4.000 SKUs. A/B-Test-Titel für die Ad-Plattform. Übersetzungs-Drafts für Marketing-Texte. Alles Aufgaben, in denen ein Mensch am Ende einen kurzen Final-Review macht - und in denen ein kleiner Patzer keine Existenzfrage ist. Ein LLM erledigt hier in Stunden, was sonst Wochen blockiert.
Wichtig: dieselbe Logik gehört nicht auf AGB, Datenschutzerklärungen oder verbindliche Vertragsklauseln. Dort braucht es null Prozent Fehlerquote, und dann ist die Reihenfolge zwingend umgekehrt: Mensch schreibt, KI lektoriert. Diese Trennlinie verteidigen wir konsequent in der Beratung.
Toleranzgrenze als Architektur-Entscheidung
Wir setzen die Toleranzgrenze explizit pro Use-Case fest: maximal fünf Prozent Abweichung im Bestand, daraus ergibt sich das nötige Review-Sampling. Bei 10.000 Produkten heißt das: 500 stichprobenartig prüfen, nicht jeden Datensatz einzeln. So bleibt die Einsparung real und der Qualitäts-Floor messbar.
Self-Critique-Loop als Qualitäts-Verstärker
Bei Volumen-Aufgaben lassen wir das Modell den eigenen Output noch einmal lesen und gegen die Vorgaben prüfen. Klingt nach Spielerei, drückt die Fehlerquote aber regelmäßig von acht auf unter drei Prozent. Tokens kostet das Faktor 1,5 - rechnet sich gegen die eingesparte Reviewer-Zeit dreifach.
Gegenpol
Damit das nicht nach Hype-Pitch klingt: an anderer Stelle haben wir vier Szenarien zusammengetragen, in denen ein LLM bei Ihnen reine Geldverbrennung ist. Wer KI einkauft, sollte beide Listen lesen.
Artikel teilen
Welches LLM-Szenario rechnet sich bei Ihnen?
Schicken Sie uns einen Use-Case mit Volumen, Eingabeformat und gewünschtem Output - wir rechnen ehrlich gegen, ob ein LLM, ein Skript oder eine bestehende SaaS-Lösung die bessere Wahl ist.