KI-Governance: So bleiben KI-Agenten steuerbar

Klassische Software tut, was im Code steht. KI-Systeme, insbesondere KI-Agenten, nutzen ihre Freiheitsgrade situativ. Das macht sie leistungsfähiger, aber schwerer zu kontrollieren. KI-Governance darf deshalb kein Punkt auf der Checkliste kurz vor dem Go-live sein. Sie gehört von Anfang an zur Architektur.

Intelligente Systeme benötigen erweiterte Möglichkeiten zur Steuerung, Kontrolle und Nachvollziehbarkeit. Unser Ansatz: Nicht jede Aktion eines KI-Systems wird gleich behandelt. Je nach Kontext und Risiko wird sie automatisch freigegeben, durch Regeln abgesichert, an eine zusätzliche Freigabe gebunden oder blockiert. Das berücksichtigt sowohl gesetzliche Vorgaben als auch unsere Erfahrung aus Kundenprojekten.

1. Keine KI hat mehr Autorität als der Nutzer oder der Geschäftsprozess, in deren Auftrag sie handelt.
2. Harte Sicherheits- und Geschäftsregeln werden deterministisch und außerhalb der Agenten durchgesetzt.
3. Autonomie wächst nur in dem Maß, in dem Auswirkungen begrenzt, beobachtbar und reversibel sind.
4. Zusätzlich zu üblichen Kontrollen sorgen Data-Science-Methoden dafür, dass Systeme und deren Output beherrschbar und erklärbar bleiben.

Diese Prinzipien gelten unabhängig von Plattform, Modell und Use Case, für klassische wie für generative KI.

Jede Aktion, die ein KI-System ausführen kann, wird einer von fünf Risikoklassen zugeordnet:

• Klasse 0 – Suchen, Lesen freigegebener Daten: automatisch erlauben, protokollieren, stichprobenartig prüfen.
• Klasse 1 – Entwurf erstellen, Ticket ergänzen, internen Datensatz aktualisieren: deterministische Policy sowie Schema- und Business-Rule-Validierung.
• Klasse 2 – E-Mail versenden, kleinere Anträge stellen, Kundendaten exportieren: Step-up-Policy, Grenzwerte, gegebenenfalls Nutzerbestätigung.
• Klasse 3 – Berechtigungen ändern, Angebote erstellen, kostenintensive Aktionen, Bulk-Löschung: Vier-Augen-Prinzip, Human Approval oder definierter Workflow.
• Klasse 4 – Policy-Umgehung, Privilege Escalation, unzulässige Datennutzung: blockieren und als Security Event behandeln.

So laufen unkritische Aufgaben reibungslos, während kritische Entscheidungen in menschlicher Verantwortung bleiben. Aktionen der Klasse 4 sind keine Aufgaben für die Automation.

Ob eine Aktion zulässig ist, hängt von mehr ab als vom Tool-Aufruf selbst. Relevant sind unter anderem:

• Identität von Nutzer und Agent sowie das Mandat des Agenten
• Versionen von Agent, Prompt, Modell und Tool
• aufgerufenes Tool, Operation, Parameter, Zielressource und Destination
• Art der betroffenen Daten und Herkunft entscheidungsrelevanter Informationen
• Reversibilität und Idempotenz der Aktion
• Session, Trace-ID und anwendbare Policy-Versionen

So bleibt nachvollziehbar, warum ein System etwas darf, warum nicht oder warum eine zusätzliche Freigabe nötig ist.

Keine einzelne Maßnahme reicht aus. Wirksam wird KI-Governance, wenn beide Welten zusammenarbeiten:

• Klassische Instrumente: IAM/RBAC, Policies, Gateways und Rate Limits, Secret Management, Tool- und API-Kontrollen, Freigabe- und Eskalationspfade, Monitoring und Audit-Trails, Verschlüsselung.
• Data-Science-Instrumente: Guardrails, Anonymisierung und Redaction, Drift Detection, Schutz vor der Rekonstruktion von Trainingsdaten, Fraud Detection, Human-in-the-Loop, Model Fingerprinting, Evaluation und Testing sowie Transactions und Time Travel, damit Fehlentscheidungen rückgängig gemacht werden können.

Dabei setzen wir sowohl auf Open-Source-Lösungen als auch auf Services unserer Technologiepartner.

Sie brauchen Erklärbarkeit, Nachvollziehbarkeit und Steuerbarkeit für jede Komponente im KI-System. Eine Lösung, die fachlich funktioniert, aber nicht kontrollierbar ist, wird im Betrieb zum Risiko. Deshalb denken wir KI-Governance bei der Implementierung von Agenten- und KI-Lösungen von Anfang an mit und setzen sie technisch um. Nur wenn klassische, deterministische und Data-Science-Methoden zusammenwirken, entsteht ein vertrauenswürdiges und steuerbares Gesamtergebnis.