Die KI-Zusammenfassung ist in Sekunden fertig. Der Fachverantwortliche muss anschließend jede Aussage nachprüfen, fehlende Angaben suchen und den Text korrigieren. Solange dieser Aufwand unbekannt bleibt, lässt sich schwer beurteilen, ob die Unterstützung im Arbeitsablauf tatsächlich hilft.
Ich beginne deshalb vor der Erstellung mit der Frage, wofür das Ergebnis gebraucht wird. Eine erste Orientierung, ein interner Entwurf und eine konkrete Kundenantwort verlangen unterschiedliche Prüfungen. Die vorgesehene Verwendung bestimmt den Maßstab.
Die Prüfung gehört in den Auftrag
Als Beispiel nehme ich eine Zusammenfassung von Produktinformationen. Welche Ausführung ist gemeint? Welche Quellen sind maßgeblich? Welche Aussagen müssen vor einer Weitergabe am Original überprüft werden?
Für einen Pilot würde ich diese Bedingungen zusammen mit dem fachlich Verantwortlichen festhalten. Dazu gehören die erwarteten Inhalte, erkennbare Quellenbezüge und der Umgang mit fehlenden Informationen. Ebenso muss klar sein, wer das Ergebnis für die vorgesehene Verwendung beurteilt.
Ein sprachlich überzeugender Text kann sachlich falsch sein. Auch eine mitgelieferte Quellenangabe muss deshalb geprüft werden: Existiert der Beleg, und trägt er die konkrete Aussage?
Schwierige Fälle bewusst aufnehmen
Eine geeignete Prüfung braucht neben dem einfachen Ausgangsfall auch Abweichungen. Eine Angabe fehlt, zwei Dokumentfassungen widersprechen sich oder die Frage geht über die verfügbaren Informationen hinaus.
Mich interessiert dabei, ob das Ergebnis die Grenze sichtbar macht. Eine offene Frage sollte so beschrieben sein, dass ein Mensch sie weiterbearbeiten kann. Wird stattdessen eine unbelegte Antwort geliefert, gehört dieser Fehler mit seinen Folgen in die Bewertung.
Ich würde die Fälle und Ergebnisse dokumentieren. So lässt sich nach einer Änderung nachvollziehen, ob ein Problem behoben wurde und ob bereits geeignete Ergebnisse weiterhin entstehen.
Den Aufwand bis zur Verwendung erfassen
Für die wirtschaftliche Entscheidung zählen Vorbereitung, Erstellung, Prüfung, Korrektur und Übergabe. Die Geschwindigkeit des ersten Entwurfs ist nur eine Größe in diesem Ablauf.
Ein Pilot sollte deshalb zeigen, welche Aufgaben unter welchen Bedingungen unterstützt werden können und wie viel fachliche Arbeit bis zum verwendbaren Ergebnis verbleibt. Daraus lässt sich eine begründete Entscheidung über den nächsten Einsatz ableiten.
Dein nächster Schritt
Wähle eine wiederkehrende KI-Aufgabe. Lege Verwendungszweck, Prüfverantwortung und einige typische Fehlerfälle fest. Wenn Du daraus einen nachvollziehbaren Qualitäts- und Nutzenvergleich entwickeln möchtest, sprich mich an.
Quellen und fachlicher Bezug
NIST AI 600-1: Generative AI Profile, Abschnitt 2.2