KI-Governance im Mittelstand: Wer prüft die KI, wenn du es nicht mehr tust?
KI-Governance ist alles, was in einer Firma festlegt, wofür KI eingesetzt wird, wer für jedes KI-System verantwortlich ist, welche Daten es sehen darf, wer seine Arbeit prüft und wer es anhalten kann. Für einen Betrieb mit Team läuft das auf wenige Fragen je Prozess hinaus, und die wichtigste kommt meist leise daher: Was, wenn ein KI-Mitarbeiter einen Fehler macht und es niemand merkt? Solange dein Team jeden Lauf prüft, sieht es jeden Fehler. Sobald mehrere Prozesse allein laufen, prüft niemand mehr jeden Lauf. Genau dafür gibt es bei uns Autonomie-Stufe 3, Audited: Eine prüfende Rolle übernimmt das Nachsehen, und du bekommst nur noch, was dich braucht. In diesem Beitrag zeigen wir die Regeln je Stufe als Governance-Regelwerk, dann die prüfende Rolle, ihren Bericht und die Notbremse.
Bei uns heißen die KI-Systeme, die Prozesse übernehmen, KI-Mitarbeiter. Andere sagen KI-Agenten. Gemeint ist hier dasselbe: ein KI-System mit einer festen Aufgabe, das Arbeit in deiner Firma erledigt.
Die vier Prüffragen je Stufe als Governance-Regelwerk
Für jede Autonomie-Stufe stellen wir drei Prüffragen: Wer startet den Lauf? Wer prüft? Was siehst du noch? Für ein Governance-Regelwerk kommt eine vierte dazu: Was hält den Prozess an, wenn etwas schiefgeht? Zusammen ergeben die vier Antworten die Regeln, nach denen ein Prozess auf seiner Stufe läuft.
| Stufe | Wer startet? | Wer prüft? | Was siehst du? | Notbremse |
|---|---|---|---|---|
| 1, Assisted | jemand aus deinem Team | dein Team, jeden Lauf | jeden Lauf, selbst oder über dein Team | ohne Start läuft nichts; Unklares geht über den Notfallweg an einen Menschen |
| 2, Autopilot | der Prozess selbst, nach Takt oder Auslöser | niemand jeden Lauf; Regeln und Bericht halten ihn in der Spur, Unsicheres geht an einen Menschen aus deinem Team | nach jedem Lauf eine Abschlussmail | Notfallweg; Freigabepunkt vor jedem Schritt ohne Rückweg; bleibt die Abschlussmail aus, übernimmt ein Mensch |
| 3, Audited | der Prozess selbst | eine KI-Führungskraft, die Berichte und Protokolle abgleicht | einen Bericht am Morgen mit den Ausnahmen | wie auf Stufe 2; die Führungskraft meldet, ein Mensch hält an |
| 4, Autonomous | der Prozess selbst | die KI-Führungskraft; an den Freigabepunkten du oder deine Vertretung | Ziele und Ausnahmen, auch wenn du eine Woche weg bist | wie auf Stufe 3, jeder Freigabepunkt mit Vertretung |
Die Tabelle gilt je Prozess. Ein Prozess kann auf Stufe 3 stehen, ein anderer noch auf Stufe 1, und dann gelten für beide verschiedene Antworten. Die letzte Zeile beschreibt, was der Abwesenheitstest prüft. Diese letzte Stufe hat bei uns noch kein Prozess erreicht, auch in Kevins eigenem Business nicht. Und die prüfende Rolle aus Zeile 3 ist bei Kevin selbst noch in Erprobung.
Wie du diese Antworten für jeden KI-Mitarbeiter auf eine Seite schreibst, mit Rolle, harten Grenzen, Notfallweg, Bericht, Prüfung und Notbremse, steht in KI-Governance-Regelwerk für einen Betrieb mit zehn Leuten: alles auf einer Seite.
Zum Regelwerk gehört auch das Team, das mit den KI-Mitarbeitern arbeitet. Wer im Betrieb KI-Systeme einsetzt, muss nach der europäischen KI-Verordnung Maßnahmen ergreifen, um die Entwicklung der KI-Kompetenz der Mitarbeitenden zu unterstützen (Art. 4 KI-VO, seit Juli 2026 in neuer Fassung). Ein bestimmtes Niveau verlangt das Gesetz nicht. Für Steuerberatungen gilt zusätzlich ihr Berufsrecht. Was das für eine Kanzlei heißt, steht in KI in der Steuerberatung: was eine Kanzlei heute allein laufen lässt.
Was ein Betrieb ohne Rechtsabteilung darüber hinaus regeln kann, beschreibt KI-Compliance im Mittelstand: was ein Betrieb ohne Rechtsabteilung regeln sollte. Für den Einzelfall ist deine eigene Rechtsberatung da.
Was Stufe 3 heißt
Auf unserer Startseite steht Stufe 3 in einem Satz: Eine KI-Führungskraft prüft seine Arbeit und bündelt die Berichte, du siehst nur noch die Ausnahmen.
Die ersten drei Prüffragen aus der Tabelle, ausführlicher:
- Wer startet den Lauf? Der Prozess selbst, nach Takt oder Auslöser, wie auf Stufe 2.
- Wer prüft? Eine prüfende Rolle, bei uns KI-Führungskraft genannt. Sie liest die Berichte und Protokolle der KI-Mitarbeiter und gleicht sie ab.
- Was siehst du noch? Einen Bericht am Morgen, in dem oben steht, was dich braucht. Freigaben, Ausnahmen, Prozesse, die nicht gelaufen sind. Den Rest kannst du lesen, du musst aber nicht.
Wie alle vier Stufen zusammenhängen, steht im Hauptbeitrag Die vier Autonomie-Stufen: wie ein Prozess deiner Firma allein läuft.
Die prüfende Rolle: sichten, melden, eskalieren
Die KI-Führungskraft ist selbst ein Prozess-Mitarbeiter. Sie wird eingestellt wie jeder andere, mit Stellenbeschreibung und mit denselben fünf Eckpunkten: Auslöser, Anfang, Arbeit, Ende, Bericht.
Im Programm-Material von Unternehmer Autonomy beschreiben wir ihre Arbeit in drei Verben.
Sichten. Sie liest jeden Bericht und jedes Protokoll der KI-Mitarbeiter. Sie gleicht ab, ob jeder erwartete Lauf da ist. Fehlt ein Lebenszeichen, ist das ein Befund. Sie prüft Übergaben: Wenn ein KI-Mitarbeiter zehn Fälle an einen anderen übergibt, müssen dort zehn ankommen. Und sagt ein Bericht „erledigt“, sucht sie den Beleg im Protokoll. Widerspricht sich etwas, schreibt sie es als Befund auf. Sie glättet nichts.
Melden. Einmal am Tag kommt der Bericht an dich. Nicht öfter, sonst bist du wieder beim Mailstapel.
Eskalieren. Was nicht bis morgen warten kann, geht sofort an die zuständige Person. Fehlt das Lebenszeichen eines Prozesses zur festgelegten Uhrzeit, geht die Meldung an den Menschen aus deinem Team, der den Prozess dann von Hand übernimmt. Wartet ein Schritt auf eine Freigabe, geht die Anfrage an den, der freigibt. Taucht dieselbe Ausnahme mehrmals in einer Woche auf, steht sie im Bericht unter „Auffällig“.
Genauso wichtig ist, was sie nicht tut:
- Sie arbeitet nicht fachlich. Die Ablage macht der KI-Mitarbeiter für die Ablage, nicht die Führungskraft.
- Sie gibt nichts frei. Freigeben bleibt beim Menschen.
- Sie ändert keine Ergebnisse anderer. Sie meldet, was nicht stimmt.
Deshalb empfehlen wir, ihr nur lesenden Zugang auf Berichte und Protokolle zu geben und Mails nur an festgelegte Empfänger zu erlauben. Der Grund dahinter ist eine Regel, die für jede prüfende Rolle gilt: Wer etwas erstellt, prüft es nicht selbst. Eine Rolle, die prüft und im selben Zug korrigiert oder freigibt, prüft am Ende ihre eigene Arbeit.
Was in einem Ausnahmebericht steht
Für den Bericht der Führungskraft empfehlen wir einen festen Aufbau. Oben steht, was dich braucht, unten, was nur zur Information ist. So kannst du nach dem ersten Abschnitt aufhören zu lesen, wenn dort „keine“ steht.
- Braucht dich heute: Freigaben und Entscheidungen, die nur ein Mensch treffen kann. Steht hier nichts, steht da „keine“. Dann weißt du, dass jemand daran gedacht hat.
- Nicht gelaufen: jeder Prozess, dessen Lebenszeichen fehlt, mit dem, was schon veranlasst ist.
- Ausnahmen: wo ein KI-Mitarbeiter unsicher war und einen Menschen gefragt hat, an wen es ging und ob es erledigt ist.
- Erledigt: eine Zeile je Prozess, nur Zahlen.
- Auffällig: was sich wiederholt. Dieselbe Ausnahme dreimal in einer Woche ist ein Zeichen, dass eine Regel fehlt.
Jede Zeile hat einen Verweis auf ihre Quelle, also auf die Abschlussmail oder den Protokolleintrag. Damit kannst du nachsehen, ohne nachfragen zu müssen. Und die Führungskraft kann keine Zahl erfinden, ohne dass es beim Nachsehen auffällt.
Die Notbremse
„Was, wenn es doch schiefgeht?“ ist die Frage hinter jeder Sorge um Kontrolle. Mit Notbremse meinen wir hier drei Dinge, die im Programm-Material einzeln beschrieben sind. Zusammen sorgen sie dafür, dass ein Prozess anhält, bevor ein Fehler Folgen hat.
Erstens: Der KI-Mitarbeiter hält bei Unsicherheit selbst an. Kennt er eine Variante nicht, fehlt eine Angabe oder ist die Zuordnung nicht eindeutig, bearbeitet er den Fall nicht. Er schreibt einem Menschen und führt den Fall im Bericht als offen. Das ist der Notfallweg, und er gilt auf jeder Stufe.
Zweitens: Vor jedem Schritt ohne Rückweg steht ein Freigabepunkt. Eine Zahlung, eine Abgabe ans Amt, eine Mail an einen Kunden: Hier hält der Prozess an, bis ein Mensch ausdrücklich Ja sagt, und zwar jedes Mal, bei jedem einzelnen Vorgang. Keine Antwort heißt Nein. Bleibt eine Anfrage liegen, passiert nichts, und sie steht am nächsten Morgen wieder oben im Bericht. Jeder Freigabepunkt hat eine Vertretung, damit der Prozess nicht steht, sobald du im Urlaub bist.
Drittens: Fällt ein Prozess aus, geht er zurück an einen Menschen. Im Steckbrief jedes Prozesses steht, wer ihn von Hand übernimmt. Bleibt die Abschlussmail aus, ist das die Meldung. Dann wird zuerst nachgesehen und erst danach neu gestartet, damit nichts doppelt bearbeitet wird.
Die Führungskraft zieht keine dieser Bremsen selbst. Sie sorgt dafür, dass der richtige Mensch rechtzeitig davon erfährt.
Warum Stufe 3 erst nach Stufe 2 kommt
Man könnte meinen, eine prüfende Rolle sei vor allem am Anfang wichtig, wenn der KI-Mitarbeiter noch unsicher ist. In unserer Reihenfolge kommt sie erst danach, und dafür gibt es drei Gründe.
Führung braucht etwas zum Führen. Läuft ein einziger Prozess allein, ist eine Abschlussmail genau richtig. Eine zusätzliche Rolle, die dir diese eine Mail vorliest, wäre Aufwand ohne Nutzen. Der Bedarf entsteht erst, wenn mehrere Prozesse laufen und die Mails anfangen, sich zu stapeln.
Die Führungskraft kann nur sichten, was aufgeschrieben ist. Sie braucht Berichte, Protokolle und Übergaben, die jeder Prozess auf Stufe 2 ohnehin liefert. Fehlen die, sichtet sie nichts und rät stattdessen. Eine prüfende Rolle auf ungeordnete Abläufe zu setzen, erzeugt nur eine zweite Quelle für Behauptungen.
Auf Stufe 1 prüft schon jemand. Dort sieht dein Team jeden Lauf. Eine zweite Prüfung durch eine KI bringt dort wenig.
Im Programm Unternehmer Autonomy kommt die Führung deshalb erst, wenn mehrere Prozesse laufen. Das Ziel dann: Eine KI-Führungskraft bündelt die Berichte zu einem Morgenbericht und meldet Ausnahmen.
Auch eine KI-Führungskraft wird angelernt wie jeder andere KI-Mitarbeiter. Wir empfehlen, eine Woche lang die Abschlussmails weiter selbst zu lesen und mit ihrem Bericht zu vergleichen. Jeder Unterschied wird nachgelernt. Freigegeben wird sie erst nach vier sauberen Berichten in Folge.
KI-Agenten außer Kontrolle? Die eigentliche Sorge: Fehler, die keiner sieht
Wer „KI-Agenten außer Kontrolle“ sucht, landet schnell bei Sicherheitslücken, Angriffen und Schlagzeilen. Darum geht es hier nicht, und eine IT-Sicherheitsberatung ist dieser Beitrag auch nicht. Die Sorge dahinter haben wir oben schon genannt: Fehler, die keiner sieht.
Ein lauter Fehler fällt auf. Bricht ein Lauf ab, merkt das jemand. Gefährlich sind die stillen Fehler: ein Dokument im falschen Ordner, eine Variante falsch erkannt, ein Bericht, der „erledigt“ sagt, obwohl ein Fall liegen geblieben ist. Solche Fehler fallen oft erst auf, wenn ein Kunde anruft.
Auf den ersten beiden Stufen ist das gut abgesichert. Auf Stufe 1, Assisted, prüft dein Team jeden Lauf. Auf Stufe 2, Autopilot, startet der Prozess von selbst, läuft bis zum Abschlussbericht durch und gibt Unsicheres an einen Menschen.
Du liest nach jedem Lauf eine Abschlussmail: was erledigt ist, was offen ist, wo es eine Ausnahme gab.
Das funktioniert gut, solange es ein oder zwei Prozesse sind. Mit jedem weiteren Prozess kommt eine weitere Mail dazu. Dazu Sofort-Meldungen und Notfall-Mails ans Team. Irgendwann überfliegst du die Berichte nur noch. Dann bist du wieder der Engpass, nur leiser: Du musst nicht mehr denken, aber du musst noch alles lesen. Und was man überfliegt, prüft man nicht.
An diesem Punkt setzt die prüfende Rolle an, die oben beschrieben ist. Wie die Abschlussmail davor aussieht, beschreibt Stufe 2, Autopilot: Der Prozess startet selbst und meldet sich am Ende.
Wie das bei uns aussieht
Kevin hat in seinem eigenen Business eine solche prüfende Rolle. Eine KI-Führungskraft sichtet dort die Arbeit der anderen KI-Mitarbeiter, und sie ist noch in Erprobung.
Diese Rolle übernimmt bei ihm Kai. Kevin beschreibt ihn öffentlich auf seiner Seite über die Belegschaft, und genau so weit beschreiben wir ihn hier auch.
Kevin gibt Kai einen Führungsauftrag mit Ziel, Prüfmaßstab und Grenzen. Kai liest daraufhin, was die anderen KI-Mitarbeiter hinterlassen: Berichte, Protokolle und die Versionsgeschichte der Dateien. Er hält die Aussagen eines Berichts gegen den tatsächlichen Stand. Fehlt ein Nachweis, schreibt er „nicht belegt“, statt die Lücke stillschweigend zu glätten. Am Ende verdichtet er alles zu einem Dokument mit den Entscheidungen, die bei Kevin liegen. Er entscheidet nichts Fachliches, gibt nichts frei und ändert keine Arbeitsergebnisse anderer.
Ein Beispiel aus den bisherigen Testläufen nennt Kevin selbst: Kai erkannte bei der Arbeit mehrerer KI-Mitarbeiter einen unvollständigen Korrekturlauf, eine offene Berechtigungsfrage und eine nicht belegte Änderung. Gleichzeitig bestätigte er, dass ein anderer Rollout vollständig live war.
Ein unvollständiger Korrekturlauf ist genau so ein stiller Fehler, wie er oben beschrieben ist: Er fällt erst auf, wenn jemand die Arbeit gegen den echten Stand hält.
Das ist der Grund, warum wir „in Erprobung“ schreiben und nicht mehr. Auch die prüfende Rolle braucht am Anfang jemanden, der ihre Berichte liest. Neue Stufen probiert Kevin zuerst bei sich selbst aus, bevor sie in deine Firma kommen.
Läuft ohne mich
Alle zwei Wochen ein Prozess, der ohne den Chef läuft: was reinkam, was die KI tat, wo ein Mensch entschied. Zwei Minuten Lesezeit.
Arbeitsblatt
KI-Regelwerk auf einer Seite
Was dein KI-Mitarbeiter darf, was nie, wer hinschaut und was vor der Freigabe geprüft wird: acht Felder zum Ausfüllen und eine Abnahme-Checkliste. Kommt als PDF per Mail, sobald du deine Anmeldung bestätigt hast.
Erstgespräch
In einer Strategie-Session von 20 Minuten schilderst du, wo es bei dir hängt. Wir sagen dir ehrlich, ob ein KI-Mitarbeiter bei dir passt.
Strategie-Session buchenHäufige Fragen
Kann eine KI die Arbeit einer anderen KI überhaupt prüfen?
Ja, wenn die Prüfung an Belegen hängt. Einen Bericht gegen ein Protokoll halten, Zahlen zwischen zwei Übergaben vergleichen, ein fehlendes Lebenszeichen bemerken: Das sind Handgriffe mit eindeutigem Ergebnis. Entscheidend ist, dass Ersteller und Prüfer getrennt sind und dass die prüfende Rolle nichts selbst korrigiert oder freigibt.
Ersetzt die prüfende Rolle IT-Sicherheit?
Nein. Stufe 3 beantwortet die Frage, ob die Arbeit richtig erledigt wurde. Zugänge absichern, Systeme schützen und Angriffe abwehren ist eine eigene Aufgabe, für die du jemanden brauchst, der sich damit auskennt. Was wir tun, ist die Zugänge so eng wie möglich zu halten: lesend, wo es reicht, und schreibend nur dort, wo der Prozess es braucht.
Ab wann lohnt sich Stufe 3?
Wenn mehrere Prozesse allein laufen und du merkst, dass du ihre Berichte überfliegst statt sie zu lesen. Vorher ist eine prüfende Rolle meist mehr Aufwand als Nutzen.
Was passiert, wenn die Führungskraft selbst einen Fehler macht?
Dasselbe wie bei jedem KI-Mitarbeiter. Am Anfang liest ein Mensch parallel mit, jeder Unterschied wird nachgelernt, und jede Zeile ihres Berichts verweist auf eine Quelle, die man nachsehen kann. Deshalb steht bei Kevin auch die prüfende Rolle noch in Erprobung.
Braucht deine Firma das schon?
Ob eine prüfende Rolle bei dir schon dran ist, hängt weniger an der Zahl der KI-Mitarbeiter als an einem Zustand: Liest du noch, oder überfliegst du schon? Kevin hat auf seinem Blog vier Anzeichen dafür aufgeschrieben und drei einfachere Mittel, die vorher greifen: Braucht mein Betrieb eine KI-Führungsrolle?
Nach Stufe 3 kommt die letzte Prüfung: der Test, ob ein Prozess auch eine Woche ohne dich durchläuft. Davon handelt Stufe 4, Autonomous: der Test ‚eine Woche weg‘.
Dein nächster Schritt
Kontrolle über KI-Mitarbeiter entsteht aus Berichten, die jemand gegen Belege hält, aus Freigabepunkten vor jedem Schritt ohne Rückweg und aus einem Menschen, der weiß, wann er übernimmt. Wenn du wissen willst, wo deine Prozesse heute stehen und was bei dir als Nächstes dran wäre, schauen wir uns das im Gespräch an.