KI im Unternehmen einführen: vom Piloten zum Betrieb
Ein KI-Pilot geht in den Betrieb, wenn er eine feste Testreihe mit vorher vereinbarten Schwellen besteht, Fehler an Menschen weiterleitet, Daten vertraglich geregelt verarbeitet und überwacht wird. Die Prüfliste zur Betriebsreife fasst diese Bedingungen vor dem Start zusammen.
Im Betrieb muss eine KI ihre Aufgabe jeden Tag lösen, mit Eingaben, die niemand vorher gesehen hat, und mit einem Plan für die Fälle, in denen sie danebenliegt. Zwischen Pilot und Betrieb liegt deshalb eine Prüfung: Wer entscheidet anhand welcher Zahlen, dass der Pilot reif ist?
Der Weg beginnt dort, wo eine Aufgabe gefunden und ein Pilot gebaut ist. Wie Sie geeignete Aufgaben sammeln, steht unter KI-Anwendungsfälle finden; die Ursachen gescheiterter Vorhaben fasst Warum KI-Projekte scheitern zusammen.
Ausgangslage
Was einen Piloten vom Betrieb trennt
Ein Pilot entsteht unter günstigen Bedingungen: ausgewählte Beispiele, ein engagiertes Team, ein Modell in der Version, die gerade aktuell ist. Im Betrieb ändern sich alle drei. Die Eingaben werden unordentlicher, die Nutzer haben andere Prioritäten, und der Anbieter stellt Modelle um.
Deshalb braucht der Übergang eine feste Schwelle, die vor dem Piloten vereinbart wird. Sie beantwortet vier Fragen: Wie gut muss das Ergebnis sein, gemessen an welchen Fällen? Was passiert mit falschen Ergebnissen? Wer darf welche Daten an wen geben? Und wer merkt, wenn die Qualität nach dem Start sinkt?
Für Abläufe mit Prüfschritten, Rechten und Protokoll entsteht dabei eine Anwendung mit eigener Oberfläche und Anbindung an Ihre Systeme. Wie wir solche Abläufe in der Prozessautomatisierung aufsetzen, steht auf der Leistungsseite.
Prüfung 1 · Testreihe
Testdaten und Bewertung vor dem Start
Die Bewertung beginnt mit einer Testreihe aus echten Fällen, die der Fachbereich auswählt und deren richtige Ergebnisse er vorab festhält. Ausgedachte Beispiele prüfen vor allem, was das Team erwartet.
Jeder Testfall hat vier Angaben: die Eingabe, das erwartete Ergebnis, das Kriterium, nach dem verglichen wird, und eine verantwortliche Stelle, die bei Streit entscheidet. Das Kriterium hängt an der Aufgabe. Beim Auslesen einer Rechnungsnummer zählt die genaue Übereinstimmung, bei einer Antwort auf eine Kundenanfrage zählt, ob bestimmte Angaben enthalten sind und andere fehlen. Fälle, die das System nicht lösen soll, gehören ausdrücklich hinein: Ein unleserlicher Scan muss an einen Menschen gehen.
Die Schwellen legen Sie fest, bevor der erste Lauf startet. Sonst wird aus 91 Prozent im Nachhinein „gut genug“. Rechnen Sie die Schwelle in Fälle um, damit alle Beteiligten dasselbe meinen: Bei 40 Testfällen und einer Quote von 95 Prozent müssen 40 x 0,95 = 38 Fälle bestehen, höchstens zwei dürfen scheitern. Pflichtfälle zählen zusätzlich: Scheitert einer davon, ist die Prüfung nicht bestanden, auch bei 39 von 40. Für Wissenssuchen mit RAG zeigt RAG im Unternehmen, wie Trefferquote und erfundene Antworten getrennt gemessen werden.
Beispiel einer Testreihe für das Auslesen von Eingangsrechnungen; Schwellen und Stellen legt der Fachbereich fest.
{
"task": "invoice-extraction",
"model": "claude-sonnet-5",
"prompt_version": "2026-07-10",
"gate": {
"min_pass_rate": 0.95,
"must_pass": ["re-003", "re-004"]
},
"cases": [
{
"id": "re-001",
"input": { "file": "testdata/re-001.pdf" },
"expected": { "invoice_number": "RE-2026-0412", "net_total": "1250.00", "vat_rate": "19" },
"criterion": "exact_match",
"owner": "accounting"
},
{
"id": "re-002",
"input": { "file": "testdata/re-002-two-pages.pdf" },
"expected": { "invoice_number": "2026/1187", "net_total": "84.03", "vat_rate": "7" },
"criterion": "exact_match",
"owner": "accounting"
},
{
"id": "re-003",
"input": { "file": "testdata/re-003-illegible-scan.pdf" },
"expected": { "status": "needs_review" },
"criterion": "routed_to_human",
"owner": "accounting"
},
{
"id": "re-004",
"input": { "file": "testdata/re-004-credit-note.pdf" },
"expected": { "document_type": "credit_note", "net_total": "-310.00" },
"criterion": "exact_match",
"owner": "accounting-lead"
}
]
}
Prüfung 2 · Fehlerweg
Fehlerfälle und menschliche Freigabe
Sprachmodelle liefern falsche Ergebnisse, auch nach bestandener Testreihe. Für den Betrieb zählt, wo diese Ergebnisse landen.
Legen Sie für jede Art von Ergebnis fest, ob es ohne Prüfung weitergeht, ob ein Mensch es freigibt oder ob es gar nicht automatisch entsteht. Der Maßstab ist der Schaden eines Fehlers: Eine falsch einsortierte Anfrage kostet eine Weiterleitung, eine falsch gebuchte Gutschrift kostet Geld und Klärung. Deshalb steht re-004 in der Vorlage unter „must_pass“: Fällt dieser Fall durch, startet der Betrieb nicht, egal wie gut die Quote ist.
Damit die Freigabe nicht zum Engpass wird, zeigt die Oberfläche dem Prüfer, worauf sich das Ergebnis stützt, etwa die Fundstelle im Dokument, und markiert Felder, bei denen das System unsicher war. Jede Korrektur wird gespeichert. Aus diesen Korrekturen entstehen neue Testfälle, und die Testreihe wächst mit dem Betrieb. Frei erfundene Angaben, sogenannte Halluzinationen, lassen sich mit Anweisungen im Prompt verringern; erkennen lassen sie sich im Betrieb erst durch den Abgleich mit der Quelle.
Zwischen Pilot und vollem Betrieb kann ein Parallelbetrieb stehen: Das System verarbeitet echte Eingänge, die Mitarbeiter arbeiten weiter wie bisher, und beide Ergebnisse werden verglichen. So entsteht eine zweite Testreihe aus dem Alltag, ohne dass ein Fehler Folgen hat. Legen Sie Dauer und Abbruchkriterium vorher fest, sonst wird der Parallelbetrieb zur Dauerlösung mit doppeltem Aufwand.
Prüfung 3 · Daten
Datenschutz, AVV und Protokollierung
Verarbeitet der KI-Anbieter personenbezogene Daten in Ihrem Auftrag, brauchen Sie einen Vertrag nach Art. 28 DSGVO; was hineingehört, steht unter Auftragsverarbeitungsvertrag: was bei Web-Dienstleistern hineingehört. Welche Pflichten die KI-Verordnung zu welchem Datum auslöst, fasst EU AI Act: Welche Pflichten ab August 2026 gelten zusammen.
Das Protokoll ist ein Werkzeug des Betriebs. Für jeden Vorgang hält es fest: eine Kennung der Eingabe, Modell und Prompt-Version, das Ergebnis, die Entscheidung des Prüfers und den Zeitpunkt. Damit lässt sich ein Fehler drei Wochen später nachvollziehen und einer Modellversion zuordnen. Die Eingabetexte selbst gehören nur dann ins Protokoll, wenn Sie sie für die Nachvollziehbarkeit brauchen; dann mit Löschfrist und Zugriffsrechten, wie für jede andere Ablage mit personenbezogenen Daten.
Prüfung 4 · Betrieb
Betrieb: Überwachung, Modellwechsel, Kosten
Im Betrieb beobachten Sie dieselben Größen wie im Test, nur laufend: Anteil der Ergebnisse, die Prüfer korrigieren, Anteil der Fälle, die an Menschen gehen, Antwortzeit und Kosten je Vorgang. Steigt die Korrekturquote, ist das der Hinweis, bevor sich Kunden beschweren. Wie Sie Token-Kosten je Vorgang planen und mit Grenzen absichern, steht unter KI-Kosten im Betrieb.
Modelle laufen nicht unbegrenzt. Anthropic unterscheidet in seiner Dokumentation die Zustände aktiv, Legacy, abgekündigt und abgeschaltet; Anfragen an abgeschaltete Modelle schlagen fehl. Für öffentlich freigegebene Modelle kündigt Anthropic die Abschaltung mindestens 60 Tage vorher an. Ein Beispiel: Claude Opus 4.1 wurde am 05.06.2026 abgekündigt, mit Abschaltung zum 05.08.2026, also zwei Monate später. Anthropic empfiehlt, Anwendungen deutlich vor dem Abschalttermin mit den Nachfolgemodellen zu testen.
Für den Betrieb heißt das: Tragen Sie die Modellversion fest in die Konfiguration ein, wie in der Vorlage oben, damit kein Wechsel unbemerkt passiert. Und lassen Sie bei jedem Modellwechsel die vollständige Testreihe laufen, mit denselben Schwellen wie beim Start. Wie Preisänderungen und Abkündigungen eines Anbieters die Rechnung verschieben, beschreibt Vendor-Lock-in bei OpenAI am Beispiel eines zweiten Anbieters.
Prüfliste
Betriebsreife: die Prüfliste vor dem Start
Gehen Sie die Punkte mit Fachbereich, Technik und Datenschutz gemeinsam durch. Jeder Punkt ist erfüllt oder hat ein Datum, bis wann er erfüllt ist.
Die Aufgabe ist schriftlich abgegrenzt: was das System tut und was ausdrücklich nicht.
Die Testreihe besteht aus echten Fällen, jeder mit Eingabe, Erwartung, Kriterium und verantwortlicher Stelle.
Schwellen und Pflichtfälle standen vor dem ersten Lauf fest, und der letzte Lauf hat sie erreicht.
Für jede Ergebnisart ist festgelegt, ob sie automatisch weitergeht oder freigegeben wird.
Das Ergebnis landet im System, in dem die Mitarbeiter ohnehin arbeiten.
Der Vertrag zur Auftragsverarbeitung mit dem KI-Anbieter ist geschlossen, die Datenarten sind benannt.
Das Protokoll hält Eingabe-Kennung, Modell, Prompt-Version, Ergebnis und Freigabe fest, mit Löschfrist.
Korrekturquote, Weiterleitungsquote, Antwortzeit und Kosten je Vorgang werden gemessen, mit Alarmgrenzen.
Die Modellversion ist fest eingetragen, ein Termin für die Prüfung der Abkündigungsliste steht im Kalender.
Die Funktion lässt sich abschalten, und der Ablauf läuft dann von Hand weiter.
Fachliche und technische Verantwortung sind benannt, die Nutzer sind eingewiesen.
Die Pflichten aus der KI-Verordnung für genau diesen Einsatz sind geprüft und dokumentiert.
Vom Piloten zum Betrieb
Häufige Fragen
-
Planen Sie den Piloten nach seinem Ergebnis statt nach Wochen: Er endet, wenn die vereinbarte Testreihe gegen die Schwellen gelaufen ist und eine Entscheidung fällt. Die Dauer hängt daran, wie schnell der Fachbereich echte Fälle samt richtigen Ergebnissen liefert und wie viele Korrekturrunden nötig sind. Setzen Sie vorab ein Datum für die Entscheidung, auch wenn sie „nicht weiter“ lautet.
-
Für Aufgaben wie Auslesen, Einordnen oder Zusammenfassen nutzen Sie ein fertiges Modell und steuern es über Anweisungen, Beispiele und bei Bedarf Ihre Dokumente; ein eigenes Training ist dafür nicht nötig. Eigene Daten brauchen Sie trotzdem: als Testfälle mit bekannten richtigen Ergebnissen. Ohne sie lässt sich nicht messen, ob der Pilot reif ist.
-
Ein KI-System haftet nicht selbst; Verantwortung tragen die Unternehmen und Personen, die es anbieten und einsetzen. Wie sie sich zwischen Ihnen, Ihrem Dienstleister und dem Modellanbieter verteilt, regeln Verträge und Nutzungsbedingungen. Lassen Sie diese vor dem Start prüfen, besonders dort, wo ein Ergebnis ohne menschliche Freigabe wirkt.
Vom Piloten zum ersten Betriebsmonat
Die Prüfliste steht, der Pilot läuft? Unser Report zur KI-Integration im Mittelstand richtet sich an Teams, die KI vom Versuch in den produktiven Einsatz bringen.
Nachweise
Quellen und Stand
Stand: 17.07.2026. Beschrieben sind allgemeine Anforderungen zu diesem Datum; keine Rechtsberatung.
Artikel teilen