KI aus ihrer Blackbox befreien

In meinen Gesprächen mit Risiko- und Compliance-Beauftragten taucht immer wieder die gleiche Frage auf: Wie kann ich eine Risikobewertung für meine Anwendungsfälle mit agentenbasierter KI so durchführen, dass ich verstehe, welche Kontrollen für diese Technologie-Assets notwendig sind?

Laut Deloitte glauben 74 % der Führungskräfte, dass fast die Hälfte ihrer Geschäftsprozesse in den nächsten vier Jahren auf KI-Agenten umgestellt werden. Nur 39 % sind der Meinung, aus Risiko-, Sicherheits- und Governance-Perspektive bereit für agentenbasierte KI zu sein.

Ohne klare Governance-Frameworks, die die Erklärbarkeit der KI gewährleisten, können autonome KI-Agenten regulatorische, finanzielle und Reputationsrisiken mit sich bringen. Für sichere agentenbasierte KI muss die KI-Blackbox geöffnet werden, damit die Denk- und Entscheidungswege von Anfang an sichtbar sind.

Was ist das Problem der KI-Blackbox?

KI-Eingaben und -Ausgaben mögen zwar sichtbar sein, doch interne Entscheidungswege und Parameter bleiben in der Regel vor unseren Blicken verborgen und mitunter tief im Code des Anbieters versteckt. So entsteht eine Art Blackbox rund um die KI.

Viele Unternehmen konzentrieren sich auf schnelle Experimente mit agentenbasierter KI und führen kostengünstige Pilotprojekte durch, um möglichst schnell einen Mehrwert nachzuweisen. Mehr als die Hälfte (59 %) der Unternehmen nutzen heute laut dem KI-Reifeindex für Unternehmen 2026 von ServiceNow agentenbasierte KI, wobei weitere 30 % Pilotprojekte mit der Technologie durchführen.

Um eine langfristige Akzeptanz zu gewährleisten, müssen Führungskräfte Vorständen, Aufsichtsbehörden und Auditoren gegenüber die Fähigkeiten von agentenbasierter KI nachweisen können. Audit-Teams stellen grundlegende Fragen:

Die Beantwortung dieser Fragen kann eine gewaltige Herausforderung darstellen, der sich viele Unternehmen gegenübersehen. Laut Simon-Kucher haben mehr als drei Viertel (76 %) der Softwareanbieter KI-Funktionen in ihre Produkte integriert.

Es muss keine böswillige Absicht dahinter stecken, wenn die Denk- und Entscheidungswege der KI verschleiert werden. Viele Anbieter betrachten die Modelllogik als proprietäres geistiges Eigentum, das vor Diebstahl oder Missbrauch geschützt werden muss. Diese mangelnde Transparenz stellt jedoch ein Hindernis für Wirtschaftsführer dar. Sie können nicht sicher in KI-Systeme investieren, die die Entscheidungsfindung im Unternehmen erleichtern sollen, wenn ihr Handeln nicht erklärt werden kann.

Der Nutzen von erklärbarer KI

Durch die Überprüfung der Logik, die automatisierten Entscheidungen zugrunde liegt, können versteckte Vorurteile, systemische Fehler und unfaire Ergebnisse leichter erkannt werden. Solche Überprüfungen müssen mit den Richtlinien und gesetzlichen Verpflichtungen des Unternehmens in Einklang stehen. Wenn die entsprechenden Einblicke erneut Eingang in Feedbackschleifen finden, kann dies dazu beitragen, Modelle zu optimieren und sicherzustellen, dass KI-Ergebnisse präzise auf die Werte und Ziele eines Unternehmens abgestimmt sind.

Der Nachweis darüber, wie die Entscheidungsfindung erfolgt, kann der Einhaltung neuer Rechtsvorschriften wie der EU-Verordnung über künstliche Intelligenz dienlich sein. Diese Verordnung erfordert, dass KI-Systeme mit hohem Risiko transparent und für die menschliche Aufsicht konzipiert sind. Außerdem können Personen, die von bestimmten Entscheidungen betroffen sind, die auf KI-Systemen mit hohem Risiko basieren, „klare und aussagekräftige“ Erklärungen über die Rolle des KI-Systems bei diesen Entscheidungen anfordern.

Über die Compliance hinaus hilft die Erklärbarkeit Unternehmen dabei, globale Best Practices wie das NIST AI Risk Management Framework zu übernehmen. Für risikobewusste Stakeholder ist dies ein deutlicher Hinweis auf eine starke Governance.

Die Akzeptanz von KI am Arbeitsplatz hängt vom Vertrauen ab. Mitarbeitende verlassen sich eher auf KI-Ergebnisse, wenn Klarheit über die Vorgehensweise von KI-Systemen bei der Entscheidungsfindung herrscht. Laut SAS setzen sich Mitarbeitende besonders häufig über KI-Ergebnisse hinweg, wenn ein System keine Begründung liefert – unabhängig davon, ob sie die Ausgabe für korrekt halten.

Wie ein Wirtschaftsführer mir kürzlich berichtete, geht es bei der Implementierung von agentenbasierter KI letztlich darum, Risiken und Innovationen in Einklang zu bringen. Das ultimative Ziel bestehe darin, herauszufinden, wo agentenbasierte KI sicher skaliert werden kann.

Fünf Möglichkeiten, KI aus der Blackbox zu holen

Mit diesen fünf Best Practices sorgen Sie dafür, dass das Ziel einer erklärbaren KI Realität wird.

1. Auf einer sauberen Datenbasis aufbauen

Die Entscheidungsfindung von KI-Agenten lässt sich möglicherweise nicht einfach erklären, wenn die zugrunde liegenden Daten inkonsistent oder fragmentiert sind. Wenn Sie vor dem Einsatz agentenbasierter KI eine hochwertige Datenbasis schaffen, können zuverlässige Ergebnisse auf der Grundlage transparenter Entscheidungen sichergestellt werden. ServiceNow Workflow Data Fabric hilft Unternehmen, ihre Systeme in Echtzeit zu vereinheitlichen, ohne redundante Daten zu schaffen.

2. Die eingesetzten Workflows zuordnen

Wirtschaftsführer erzählen mir häufig, dass es ihnen schwerfällt zu verstehen, wie KI-Agenten ohne klar zugeordnete Prozesse mit Daten und Systemen interagieren. Die teamübergreifende Zusammenarbeit zur Erstellung von End-to-End-Workflows kann dabei helfen, jedes System sowie jeden Daten- und Entscheidungspunkt zu identifizieren, mit denen ein Agent Aufgaben ausführt.

3. Vorschriften einhalten

Die direkte Einbindung von regulatorischen Anforderungen wie dem EU AI Act in Lieferanten-Audits kann dazu beitragen, Compliance-Risiken zu mindern. Die Zuordnung von KI-Funktionen zu zutreffenden Risikostufen trägt dazu bei, entsprechende Erklärbarkeitsstandards einzuhalten.

4. KI-Anwendern Kontext bereitstellen

Wenn KI-Aktionen samt Echtzeit-Zusammenfassungen von Begründungen in der Anwenderoberfläche angezeigt werden, erhalten Mitarbeitende unmittelbaren Einblick in den Kontext. Dieser Ansatz kann dabei helfen, die Erklärbarkeit im Arbeitsalltag zu standardisieren und das Vertrauen der Anwenderinnen und Anwender zu stärken. Der Super Intelligence Control Tower von ServiceNow ermöglicht eine kontinuierliche Überwachung von KI-Modellen in Unternehmen.

5. Jederzeit Menschen in den Prozess einbeziehen

Die Festlegung von Vertrauensschwellenwerten, die dazu dienen, KI-Ergebnisse mit geringer Sicherheit vor der Ausführung an menschliche Experten weiterzuleiten, kann zur Aufrechterhaltung der Kontrolle beitragen. Ein hybrides Aufsichtsmodell sorgt bei jeder automatisierten Aktion für einen klaren Audit-Pfad bezüglich der Verantwortlichkeit.

Agentenbasierte KI skalieren

Undurchsichtige KI-Modelle, deren Logik im Unklaren bleibt, können inakzeptable Auditrisiken verursachen und die Einführung von KI in Unternehmen behindern. Der Einsatz von agentenbasierter KI bedeutet nicht, sich zwischen Innovation oder Kontrolle entscheiden zu müssen.

Wenn Sie Entscheidungsnachweise zwingend vorschreiben, erhalten Sie Transparenz, die die Akzeptanz beschleunigt. Klare Begründungen beantworten Fragen von Aufsichtsbehörden, schützen Unternehmens-Assets und fördern das Vertrauen in die autonome Ausführung von Aufgaben.

Mit ServiceNow Super Intelligence Control Tower wird die KI-Nutzung im gesamten Unternehmen erkannt, damit es Entscheidungen treffen, handeln und sie sichern kann. Die KI-Governance in der gesamten Cloud- und Lieferantenumgebung ist dabei auf derselben Plattform gewährleistet, die das Unternehmen bereits nutzt. Wenn Sie KI aus der Blackbox befreien, ist der Weg frei für agentenbasierte Technologie ohne Abstriche bei der Transparenz.

Erfahren Sie, wie ServiceNow Ihnen dabei helfen kann, die KI transparent arbeiten zu lassen.