KPIs für KI-Projekte: Erfolg nach der Einführung messen

Die meisten KI-Piloten gehen live, und dann passiert eines: nichts. Keine Messung, kein Vergleich, kein Alarm, wenn das System schlechter läuft als erwartet.

Das klingt nach Übertreibung, ist aber die Regel. Wir sehen das in Projekten regelmäßig: Ein KI-Workflow läuft drei Monate produktiv, niemand kann sagen, ob er 10 oder 40 Stunden pro Woche einspart, und beim nächsten Budgetgespräch fehlen die Zahlen für die Verlängerung.

KPIs für KI-Projekte messen den tatsächlichen Nutzen nach der Einführung: eingesparte Stunden pro Prozess, Fehler- und Ausnahmequoten, Durchlaufzeiten und Prozesskosten, jeweils im direkten Vorher-Nachher-Vergleich. Ohne diese Messgrößen weiß niemand, ob das System arbeitet oder nur läuft. Das ist keine Frage der Kontrolle, sondern des Lernens: Wer nicht misst, kann den zweiten Schritt nicht priorisieren.

Warum „es läuft doch“ keine Erfolgsmessung ist

Viele Teams greifen zu den vertrauten Metriken, wenn sie KI-Erfolg messen sollen: Projektkosten, Zeitplan, Go-Live-Datum. Diese drei Zahlen sagen aus, ob die Einführung gut gelaufen ist. Sie sagen nichts darüber aus, ob das System danach Nutzen schafft.

Der Unterschied: Ein klassisches Software-Projekt endet mit dem Go-Live. Ein KI-Projekt fängt dort erst an. Die Qualität eines Sprachmodell-Workflows verändert sich mit dem Daten-Input, mit neuen Ausnahmetypen, mit Mitarbeitergewohnheiten. Was am Tag 1 funktioniert, kann am Tag 90 schlechter performen, ohne dass jemand es bemerkt.

Wer nur den Projektabschluss misst, hat das Falsche gemessen.

Welche KPIs für KI-Projekte taugen

Drei Kategorien decken den relevanten Messraum ab.

Prozess-KPIs: Wie verändert sich der Ablauf messbar?

• Durchlaufzeit (Minuten pro Vorgang, vorher und nachher)
• Ausnahmequote (Anteil der Vorgänge, bei denen ein Mensch manuell eingreifen muss)
• Durchsatz (Vorgänge pro Zeiteinheit)

Finanz-KPIs: Was kostet und bringt es in Euro?

• Eingesparte FTE-Stunden pro Monat (in Euro umgerechnet)
• Kosten pro Transaktion (Vollkosten: Personal plus Systemlaufzeit)
• Systemkosten pro Monat (Lizenz, Betrieb, Wartung)

Qualitäts-KPIs: Wie gut ist die Ausgabe?

• Fehlerquote (Anteil falsch verarbeiteter Vorgänge)
• Override-Rate (wie oft korrigieren Mitarbeiter das System?)
• Kundenbeschwerden oder Rückläufer, die aus dem Prozess entstehen

Nicht jeder KPI passt zu jedem Projekt. Für eine Dokumentenverarbeitung sind Durchlaufzeit und Fehlerquote die wichtigsten Größen. Für einen Kundenservice-Workflow ist die Override-Rate das aussagekräftigste Signal.

Die Faustregel: Zwei bis drei KPIs pro Prozess reichen. Wer zehn misst, misst nichts richtig.

Drei Messbeispiele

Die folgenden Beispiele sind typische Projektsituationen mit angenommenen Werten zum Nachrechnen. Die konkrete Rechnung wiederholen Sie mit Ihren eigenen Zahlen.

Beispiel 1: Dokumentenverarbeitung in der Buchhaltung

Ein Fertigungsbetrieb mit 120 Mitarbeitern verarbeitet täglich 40–60 Eingangsrechnungen manuell. Zwei Mitarbeiter, je 2 Stunden täglich.

• Baseline: 4 Stunden/Tag × 220 Arbeitstage = 880 Stunden/Jahr
• Ausnahmequote vorher: 100 % (alles manuell)
• Nach KI-Einführung: System verarbeitet 75 % der Rechnungen automatisch, 25 % erfordern manuelle Nacharbeit
• Verbleibender Aufwand: ca. 220 Stunden/Jahr
• Eingesparte Stunden: 660/Jahr. Bei 35 €/Stunde: ca. 23.000 €/Jahr

KPIs im laufenden Betrieb: Ausnahmequote monatlich, Fehlerquote (falsch gebuchte Rechnungen), Durchlaufzeit pro Rechnung.

Beispiel 2: E-Mail-Klassifizierung im Vertriebsinnendienst

Ein Großhändler mit 80 Mitarbeitern erhält täglich 120–150 Kundenanfragen per E-Mail. 70 % davon sind Bestellungen, Statusanfragen oder Preisanfragen mit festem Muster. Ein Mitarbeiter verbringt 3 Stunden täglich mit Sichten, Sortieren und Weiterleiten.

• Baseline: 660 Stunden/Jahr bei 40 €/Stunde = 26.400 €/Jahr
• KI-System klassifiziert und leitet 65 % der E-Mails automatisch weiter
• Verbleibender manueller Aufwand: ca. 230 Stunden/Jahr
• Eingesparte Stunden: 430/Jahr. Ca. 17.000 €/Jahr

KPI-Warnsignal: Steigt die Override-Rate von 15 % auf 30 %, hat sich die E-Mail-Struktur verändert und das Modell braucht Nachtraining.

Beispiel 3: Reporting-Konsolidierung

Ein Logistikdienstleister mit 60 Mitarbeitern konsolidiert wöchentlich Kennzahlen aus drei Systemen. Ein Controller, 4 Stunden pro Woche.

• Baseline: 4 Stunden × 48 Wochen = 192 Stunden/Jahr bei 50 €/Stunde = 9.600 €/Jahr
• KI-Workflow läuft vollständig automatisch, Controllerin prüft nur das Ergebnis (30 Minuten/Woche)
• Verbleibender Aufwand: 24 Stunden/Jahr
• Eingesparte Stunden: 168/Jahr. Ca. 8.400 €/Jahr

Qualitäts-KPI hier: Datenabweichungen im Report. Bringt der automatische Workflow mehr Inkonsistenzen als die manuelle Arbeit, rechnet er sich nicht.

Das Baseline-Problem: Messen fängt vor dem Go-Live an

Wer erst nach dem Go-Live anfängt zu messen, hat ein Problem: Er weiß nicht, von wo er gestartet ist.

Eine Baseline ist kein aufwändiges Projekt. Vier Wochen vor dem Go-Live drei Dinge dokumentieren:

1. Wie viele Stunden kostet der Prozess pro Woche? (Strichliste, nicht Schätzung)
2. Wie hoch ist die Fehlerquote heute? (Stichprobe, 30 Vorgänge)
3. Was kostet ein Vorgang in Vollkosten?

Das dauert insgesamt zwei bis drei Stunden. Ohne diese Ausgangsdaten ist jede Nachher-Zahl relativ.

Wir halten das in jedem Projekt so: Vor dem ersten Sprint existiert eine Messung des Ist-Zustands. Ohne sie lässt sich das Projektergebnis nicht bewerten, auch nicht intern.

Ein einfaches KPI-Cockpit für KI-Projekte

Ein KPI-Cockpit für KI-Projekte muss nicht komplex sein. Ein gepflegtes Dokument, das monatlich aktualisiert wird, reicht für die meisten Mittelstandsprojekte aus.

Was drinstehen sollte:

• Prozessname und Go-Live-Datum
• Baseline-Werte (Stunden, Kosten, Fehlerquote)
• Aktuelle Werte (letzter Monat)
• Trend (besser/schlechter/stabil, letzter Quartal)
• Verantwortlicher: wer pflegt die Zahlen?

Der Verantwortliche ist entscheidend. Ohne eine namentlich benannte Person passiert das Gleiche wie beim Messen: nichts.

Überprüfungsrhythmus: monatlich für laufende Systeme, wöchentlich in den ersten sechs Wochen nach Go-Live. Wer die ersten sechs Wochen übersteht, hat die kritische Phase hinter sich.

Checkliste: Was in jedes KI-KPI-Set gehört

• Baseline dokumentiert (vor Go-Live, gemessen, nicht geschätzt)
• Zwei bis drei Prozess-KPIs definiert (Durchlaufzeit, Ausnahmequote, Fehlerquote)
• Ein Finanz-KPI: eingesparte FTE-Stunden in Euro
• Warnschwellen gesetzt (ab wann greift jemand ein?)
• Verantwortlicher namentlich benannt
• Überprüfungsrhythmus festgelegt (monatlich)
• Systemkosten gegen Einsparung gegengerechnet (Nettonutzen)

Wer den ROI eines KI-Projekts vor der Einführung einschätzen möchte, findet dafür eine strukturierte Methode im Artikel Was kostet KI-Beratung wirklich? Die Logik dort ist dieselbe, nur andersherum: VOR dem ersten Gespräch rechnen statt NACH dem Go-Live messen.

Ob die Voraussetzungen für messbare KI-Projekte in Ihrem Unternehmen vorliegen, klären wir im KI Impact Audit: drei konkrete KI-Hebel und eine Prioritätenliste, Report in 48 Stunden.

Zum KI Impact Audit →