Stufe 3, Audited: Wer prüft die KI, wenn du es nicht mehr tust?

Wer „KI-Agenten außer Kontrolle“ sucht, landet schnell bei Sicherheitslücken, Angriffen und Schlagzeilen. Darum geht es hier nicht, und eine IT-Sicherheitsberatung ist dieser Beitrag auch nicht. Es geht um eine leisere Sorge, die Inhaber mit Team öfter haben: Was, wenn ein KI-Mitarbeiter einen Fehler macht und es niemand merkt? Solange dein Team jeden Lauf prüft, sieht es jeden Fehler. Sobald mehrere Prozesse allein laufen, prüft niemand mehr jeden Lauf. Genau dafür gibt es bei uns Autonomie-Stufe 3, Audited: Eine prüfende Rolle übernimmt das Nachsehen, und du bekommst nur noch, was dich braucht.

Bei uns heißen die KI-Systeme, die Prozesse übernehmen, KI-Mitarbeiter. Andere sagen KI-Agenten. Gemeint ist hier dasselbe: ein KI-System mit einer festen Aufgabe, das Arbeit in deiner Firma erledigt.

Die eigentliche Sorge: Fehler, die keiner sieht

Ein lauter Fehler fällt auf. Bricht ein Lauf ab, merkt das jemand. Gefährlich sind die stillen Fehler: ein Dokument im falschen Ordner, eine Variante falsch erkannt, ein Bericht, der „erledigt“ sagt, obwohl ein Fall liegen geblieben ist. Solche Fehler fallen oft erst auf, wenn ein Kunde anruft.

Auf den ersten beiden Stufen ist das gut abgesichert. Auf Stufe 1, Assisted, prüft dein Team jeden Lauf. Auf Stufe 2, Autopilot, startet der Prozess von selbst, läuft bis zum Abschlussbericht durch und gibt Unsicheres an einen Menschen.

Du liest nach jedem Lauf eine Abschlussmail: was erledigt ist, was offen ist, wo es eine Ausnahme gab.

Das funktioniert gut, solange es ein oder zwei Prozesse sind. Mit jedem weiteren Prozess kommt eine weitere Mail dazu. Dazu Sofort-Meldungen und Notfall-Mails ans Team. Irgendwann überfliegst du die Berichte nur noch. Dann bist du wieder der Engpass, nur leiser: Du musst nicht mehr denken, aber du musst noch alles lesen. Und was man überfliegt, prüft man nicht.

Der Beitrag zur Stufe davor, Stufe 2, Autopilot: Der Prozess startet selbst und meldet sich am Ende, beschreibt die Abschlussmail genauer. Hier geht es um den Schritt danach.

Was Stufe 3 heißt

Auf unserer Startseite steht Stufe 3 in einem Satz: Eine KI-Führungskraft prüft seine Arbeit und bündelt die Berichte, du siehst nur noch die Ausnahmen.

Mit den drei Prüffragen, die wir für jede Stufe stellen:

• Wer startet den Lauf? Der Prozess selbst, nach Takt oder Auslöser, wie auf Stufe 2.
• Wer prüft? Eine prüfende Rolle, bei uns KI-Führungskraft genannt. Sie liest die Berichte und Protokolle der KI-Mitarbeiter und gleicht sie ab.
• Was siehst du noch? Einen Bericht am Morgen, in dem oben steht, was dich braucht. Freigaben, Ausnahmen, Prozesse, die nicht gelaufen sind. Den Rest kannst du lesen, du musst aber nicht.

Wichtig ist auch hier: Die Stufe gilt je Prozess. Ein Prozess kann auf Stufe 3 stehen, ein anderer noch auf Stufe 1. Wie alle vier Stufen zusammenhängen, steht im Hauptbeitrag Die vier Autonomie-Stufen: wie ein Prozess deiner Firma allein läuft.

Die prüfende Rolle: sichten, melden, eskalieren

Die KI-Führungskraft ist selbst ein Prozess-Mitarbeiter. Sie wird eingestellt wie jeder andere, mit Stellenbeschreibung und mit denselben fünf Eckpunkten: Auslöser, Anfang, Arbeit, Ende, Bericht.

Im Programm-Material von Unternehmer Autonomy beschreiben wir ihre Arbeit in drei Verben.

Sichten. Sie liest jeden Bericht und jedes Protokoll der KI-Mitarbeiter. Sie gleicht ab, ob jeder erwartete Lauf da ist. Fehlt ein Lebenszeichen, ist das ein Befund. Sie prüft Übergaben: Wenn ein KI-Mitarbeiter zehn Fälle an einen anderen übergibt, müssen dort zehn ankommen. Und sagt ein Bericht „erledigt“, sucht sie den Beleg im Protokoll. Widerspricht sich etwas, schreibt sie es als Befund auf. Sie glättet nichts.

Melden. Einmal am Tag kommt der Bericht an dich. Nicht öfter, sonst bist du wieder beim Mailstapel.

Eskalieren. Was nicht bis morgen warten kann, geht sofort an die zuständige Person. Fehlt das Lebenszeichen eines Prozesses zur festgelegten Uhrzeit, geht die Meldung an den Menschen aus deinem Team, der den Prozess dann von Hand übernimmt. Wartet ein Schritt auf eine Freigabe, geht die Anfrage an den, der freigibt. Taucht dieselbe Ausnahme mehrmals in einer Woche auf, steht sie im Bericht unter „Auffällig“.

Genauso wichtig ist, was sie nicht tut:

• Sie arbeitet nicht fachlich. Die Ablage macht der KI-Mitarbeiter für die Ablage, nicht die Führungskraft.
• Sie gibt nichts frei. Freigeben bleibt beim Menschen.
• Sie ändert keine Ergebnisse anderer. Sie meldet, was nicht stimmt.

Deshalb empfehlen wir, ihr nur lesenden Zugang auf Berichte und Protokolle zu geben und Mails nur an festgelegte Empfänger zu erlauben. Der Grund dahinter ist eine Regel, die wir überall anwenden: Wer etwas erstellt, prüft es nicht selbst. Eine Rolle, die prüft und im selben Zug korrigiert oder freigibt, prüft am Ende ihre eigene Arbeit.

Was in einem Ausnahmebericht steht

Für den Bericht der Führungskraft empfehlen wir einen festen Aufbau. Oben steht, was dich braucht, unten, was nur zur Information ist. So kannst du nach dem ersten Abschnitt aufhören zu lesen, wenn dort „keine“ steht.

1. Braucht dich heute: Freigaben und Entscheidungen, die nur ein Mensch treffen kann. Steht hier nichts, steht da „keine“. Dann weißt du, dass jemand daran gedacht hat.
2. Nicht gelaufen: jeder Prozess, dessen Lebenszeichen fehlt, mit dem, was schon veranlasst ist.
3. Ausnahmen: wo ein KI-Mitarbeiter unsicher war und einen Menschen gefragt hat, an wen es ging und ob es erledigt ist.
4. Erledigt: eine Zeile je Prozess, nur Zahlen.
5. Auffällig: was sich wiederholt. Dieselbe Ausnahme dreimal in einer Woche ist ein Zeichen, dass eine Regel fehlt.

Jede Zeile hat einen Verweis auf ihre Quelle, also auf die Abschlussmail oder den Protokolleintrag. Damit kannst du nachsehen, ohne nachfragen zu müssen. Und die Führungskraft kann keine Zahl erfinden, ohne dass es beim Nachsehen auffällt.

Die Notbremse

„Was, wenn es doch schiefgeht?“ ist die Frage hinter jeder Sorge um Kontrolle. Mit Notbremse meinen wir hier drei Dinge, die im Programm-Material einzeln beschrieben sind. Zusammen sorgen sie dafür, dass ein Prozess anhält, bevor ein Fehler Folgen hat.

Erstens: Der KI-Mitarbeiter hält bei Unsicherheit selbst an. Kennt er eine Variante nicht, fehlt eine Angabe oder ist die Zuordnung nicht eindeutig, bearbeitet er den Fall nicht. Er schreibt einem Menschen und führt den Fall im Bericht als offen. Das ist der Notfallweg, und er gilt auf jeder Stufe.

Zweitens: Vor jedem Schritt ohne Rückweg steht ein Freigabepunkt. Eine Zahlung, eine Abgabe ans Amt, eine Mail an einen Kunden: Hier hält der Prozess an, bis ein Mensch ausdrücklich Ja sagt, und zwar jedes Mal, bei jedem einzelnen Vorgang. Keine Antwort heißt Nein. Bleibt eine Anfrage liegen, passiert nichts, und sie steht am nächsten Morgen wieder oben im Bericht. Jeder Freigabepunkt hat eine Vertretung, damit der Prozess nicht steht, sobald du im Urlaub bist.

Drittens: Fällt ein Prozess aus, geht er zurück an einen Menschen. Im Steckbrief jedes Prozesses steht, wer ihn von Hand übernimmt. Bleibt die Abschlussmail aus, ist das die Meldung. Dann wird zuerst nachgesehen und erst danach neu gestartet, damit nichts doppelt bearbeitet wird.

Die Führungskraft zieht keine dieser Bremsen selbst. Sie sorgt dafür, dass der richtige Mensch rechtzeitig davon erfährt.

Warum Stufe 3 erst nach Stufe 2 kommt

Man könnte meinen, eine prüfende Rolle sei vor allem am Anfang wichtig, wenn der KI-Mitarbeiter noch unsicher ist. In unserer Reihenfolge kommt sie erst danach, und dafür gibt es drei Gründe.

Führung braucht etwas zum Führen. Läuft ein einziger Prozess allein, ist eine Abschlussmail genau richtig. Eine zusätzliche Rolle, die dir diese eine Mail vorliest, wäre Aufwand ohne Nutzen. Der Bedarf entsteht erst, wenn mehrere Prozesse laufen und die Mails anfangen, sich zu stapeln.

Die Führungskraft kann nur sichten, was aufgeschrieben ist. Sie braucht Berichte, Protokolle und Übergaben, die jeder Prozess auf Stufe 2 ohnehin liefert. Fehlen die, sichtet sie nichts und rät stattdessen. Eine prüfende Rolle auf ungeordnete Abläufe zu setzen, erzeugt nur eine zweite Quelle für Behauptungen.

Auf Stufe 1 prüft schon jemand. Dort sieht dein Team jeden Lauf. Eine zweite Prüfung durch eine KI bringt dort wenig.

Im Programm Unternehmer Autonomy ist deshalb Monat 3 für Führung und Autonomie vorgesehen, nach dem ersten Prozess in Monat 1 und den Prozessen als Team in Monat 2. Das Ziel in Monat 3: Eine KI-Führungskraft bündelt die Berichte zu einem Morgenbericht und meldet Ausnahmen.

Auch eine KI-Führungskraft wird angelernt wie jeder andere KI-Mitarbeiter. Wir empfehlen, eine Woche lang die Abschlussmails weiter selbst zu lesen und mit ihrem Bericht zu vergleichen. Jeder Unterschied wird nachgelernt. Freigegeben wird sie erst nach vier sauberen Berichten in Folge.

Wie das bei uns aussieht

Kevin hat in seinem eigenen Business eine solche prüfende Rolle. Eine KI-Führungskraft sichtet dort die Arbeit der anderen KI-Mitarbeiter, und sie ist noch in Erprobung.

Diese Rolle übernimmt bei ihm Kai. Kevin beschreibt ihn öffentlich auf seiner Seite über die Belegschaft, und genau so weit beschreiben wir ihn hier auch.

Kevin gibt Kai einen Führungsauftrag mit Ziel, Prüfmaßstab und Grenzen. Kai liest daraufhin, was die anderen KI-Mitarbeiter hinterlassen: Berichte, Protokolle und die Versionsgeschichte der Dateien. Er hält die Aussagen eines Berichts gegen den tatsächlichen Stand. Fehlt ein Nachweis, schreibt er „nicht belegt“, statt die Lücke stillschweigend zu glätten. Am Ende verdichtet er alles zu einem Dokument mit den Entscheidungen, die bei Kevin liegen. Er entscheidet nichts Fachliches, gibt nichts frei und ändert keine Arbeitsergebnisse anderer.

Ein Beispiel aus den bisherigen Testläufen nennt Kevin selbst: Kai erkannte bei der Arbeit mehrerer KI-Mitarbeiter einen unvollständigen Korrekturlauf, eine offene Berechtigungsfrage und eine nicht belegte Änderung. Gleichzeitig bestätigte er, dass ein anderer Rollout vollständig live war.

Ein unvollständiger Korrekturlauf ist genau so ein stiller Fehler, wie er am Anfang dieses Beitrags steht: Er fällt erst auf, wenn jemand die Arbeit gegen den echten Stand hält.

Das ist der Grund, warum wir „in Erprobung“ schreiben und nicht mehr. Auch die prüfende Rolle braucht am Anfang jemanden, der ihre Berichte liest. Neue Stufen probiert Kevin zuerst bei sich selbst aus, bevor sie in deine Firma kommen.

Häufige Fragen

Kann eine KI die Arbeit einer anderen KI überhaupt prüfen?

Ja, wenn die Prüfung an Belegen hängt. Einen Bericht gegen ein Protokoll halten, Zahlen zwischen zwei Übergaben vergleichen, ein fehlendes Lebenszeichen bemerken: Das sind Handgriffe mit eindeutigem Ergebnis. Entscheidend ist, dass Ersteller und Prüfer getrennt sind und dass die prüfende Rolle nichts selbst korrigiert oder freigibt.

Ersetzt die prüfende Rolle IT-Sicherheit?

Nein. Stufe 3 beantwortet die Frage, ob die Arbeit richtig erledigt wurde. Zugänge absichern, Systeme schützen und Angriffe abwehren ist eine eigene Aufgabe, für die du jemanden brauchst, der sich damit auskennt. Was wir tun, ist die Zugänge so eng wie möglich zu halten: lesend, wo es reicht, und schreibend nur dort, wo der Prozess es braucht.

Ab wann lohnt sich Stufe 3?

Wenn mehrere Prozesse allein laufen und du merkst, dass du ihre Berichte überfliegst statt sie zu lesen. Vorher ist eine prüfende Rolle meist mehr Aufwand als Nutzen.

Was passiert, wenn die Führungskraft selbst einen Fehler macht?

Dasselbe wie bei jedem KI-Mitarbeiter. Am Anfang liest ein Mensch parallel mit, jeder Unterschied wird nachgelernt, und jede Zeile ihres Berichts verweist auf eine Quelle, die man nachsehen kann. Deshalb steht bei Kevin auch die prüfende Rolle noch in Erprobung.

Braucht deine Firma das schon?

Ob eine prüfende Rolle bei dir schon dran ist, hängt weniger an der Zahl der KI-Mitarbeiter als an einem Zustand: Liest du noch, oder überfliegst du schon? Kevin hat auf seinem Blog vier Anzeichen dafür aufgeschrieben und drei einfachere Mittel, die vorher greifen: Braucht mein Betrieb eine KI-Führungsrolle?

Nach Stufe 3 kommt die letzte Prüfung: der Test, ob ein Prozess auch eine Woche ohne dich durchläuft. Davon handelt Stufe 4, Autonomous: der Test ‚eine Woche weg‘.

Dein nächster Schritt

Kontrolle über KI-Mitarbeiter entsteht aus Berichten, die jemand gegen Belege hält, aus Freigabepunkten vor jedem Schritt ohne Rückweg und aus einem Menschen, der weiß, wann er übernimmt. Wenn du wissen willst, wo deine Prozesse heute stehen und was bei dir als Nächstes dran wäre, schauen wir uns das im Gespräch an.