KI-Agenten und delegierte Befugnisse: der neue Kontrollpunkt in regulierten Diensten

Die Diskussion über KI-Agenten beginnt meist bei der Oberfläche und erreicht selten die Frage, die für ein reguliertes Unternehmen zählt: Was genau darf dieser Agent im Namen des Kunden tun, wer hat ihm dieses Recht gegeben, und wie wird es entzogen?

Ein Agent, der Fragen beantwortet, ist Suchsoftware mit besserer Sprache. Ein Agent, der handelt — Geld überweist, Vertragsdaten ändert, einen Antrag stellt, eine Leistung kündigt — ist ein Mechanismus delegierter Befugnis. Der Unterschied ist nicht technischer Natur. Er ist rechtlich und betrieblich und bestimmt das gesamte Kontrolldesign.

Die Entwurfseinheit ist die delegierte Befugnis

Es hilft, nicht länger über „den Agenten“ als eine Sache nachzudenken, sondern das Mandat zu beschreiben: Wer ist der Vollmachtgeber, welche Handlungen sind erlaubt, in welchen Wert- und Zeitgrenzen, mit welchen Ausnahmen, und wie endet das Mandat. Das ist dieselbe Analyse, die Banken auf eine Vollmacht oder ein Lastschriftmandat anwenden — die Frage ist alt, neu ist nur, dass der Ausführende ein Modell ist.

Sobald das Mandat so beschrieben ist, wird offensichtlich, welche Teile nicht im Modell liegen dürfen. Umfang, Limits und Widerruf sind Zustand, der ausserhalb des Sprachmodells gespeichert und geprüft werden muss — denn sie müssen auch dann stimmen, wenn das Modell irrt.

Identität und Einwilligung müssen das Gespräch überdauern

Natürliche Sprache ist gut darin, Absichten auszudrücken, und schlecht darin, Befugnis zu beweisen. „Überweise das Geld auf mein anderes Konto“ bestimmt weder Konto noch Empfänger, Betrag, Zeitpunkt oder Berechtigung. Der Agent braucht eine vertrauenswürdige Identitätssitzung und einen strukturierten Berechtigungsdienst ausserhalb des Modells.

Im Zahlungsverkehr ist das keine Gestaltungsfrage. Richtlinie (EU) 2015/2366 und die Delegierte Verordnung (EU) 2018/389 zur starken Kundenauthentifizierung bestimmen, wann authentifiziert werden muss und wie die Elemente dynamisch mit Betrag und Empfänger zu verknüpfen sind. Ein Agent hebt diese Anforderungen nicht auf; er arbeitet zwischen ihnen.

Wo eine Handlung belastbar einer Person zuzuordnen ist, bietet Verordnung (EU) Nr. 910/2014 den etablierten Rahmen für elektronische Identifizierung und Vertrauensdienste. Er ist eine tragfähigere Grundlage für den Nachweis der Einwilligung als ein Gesprächsprotokoll.

Setzen Sie eine Richtlinie zwischen Modell und Handlung

Der häufigste Architekturfehler besteht darin, das Modell den handelnden Dienst direkt aufrufen zu lassen. Dazwischen gehört eine Schicht, die jede vorgeschlagene Handlung gegen das Mandat prüft: im Umfang, im Limit, bestätigungspflichtig, oder in einer Kategorie, die überhaupt nicht delegiert wird.

Diese Schicht übersetzt zugleich unstrukturierte Absicht in eine strukturierte Anweisung. Die Bestätigung muss dem Nutzer in klarer Sprache zeigen, was geschehen wird: Ressource, Empfänger, Betrag, Zeitpunkt, Entgelte und ob die Handlung umkehrbar ist. Wer nicht versteht, was er bestätigt, hat formal eingewilligt, nicht informiert.

Was die Finanzaufsicht erwartet

Die BaFin hat mit ihrem Prinzipienpapier zu Big Data und künstlicher Intelligenz früh aufsichtliche Erwartungen an den Einsatz von Algorithmen in Entscheidungsprozessen formuliert, und in einem Fachartikel zu KI bei Banken und Versicherern die Frage der Fairness automatisierter Entscheidungen aufgegriffen.

Der praktisch wichtigste Punkt daraus ist unspektakulär: Auslagerung verschiebt keine Verantwortung. Wird der Agent von einem Dienstleister betrieben, bleiben Steuerung, Überwachung und Nachweisführung beim beaufsichtigten Unternehmen — und müssen vertraglich abgesichert sein, bevor der Dienst produktiv geht.

Bestehende Pflichten gelten weiter

Automatisierte Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung sind in der Datenschutz-Grundverordnung geregelt, einschliesslich des Rechts auf menschliches Eingreifen und auf Anfechtung. Die Leitlinien des Europäischen Datenschutzausschusses und die Orientierungshilfen der Datenschutzkonferenz bleiben massgeblich, unabhängig von der Umsetzung der Oberfläche.

Parallel führt das KI-Gesetz Transparenzpflichten bei der Interaktion mit KI-Systemen ein sowie ein eigenes Regime für Hochrisikosysteme. Bedient der Agent einen Prozess aus Anhang III, entstehen Pflichten zu menschlicher Aufsicht und Protokollierung unabhängig davon, wie dialogisch die Oberfläche wirkt.

Menschliche Kontrolle muss das Ergebnis ändern können

Aufsicht, die nichts stoppen kann, ist Dekoration. Der praktische Test lautet: Kann eine bestimmte Person ein Mandat in Echtzeit beenden, darf sie eine Handlung innerhalb eines definierten Fensters rückgängig machen, und geschieht das oft genug, um zu belegen, dass der Mechanismus funktioniert? Ein Unternehmen, das die Notbremse nie benutzt hat, weiss nicht, ob sie angeschlossen ist.

Entwerfen Sie auch den Rückweg. Wer erstattet, wer informiert die betroffene Person, in welcher Frist, und an wen wird berichtet. Wiederherstellung ist Teil des Kontrolldesigns, nicht Folge seines Versagens.

Ein praktischer Hinweis zur Reihenfolge: Klären Sie die Frage der Rückabwicklung, bevor Sie die Frage der Reichweite klären. Teams entscheiden meist zuerst, was der Agent alles können soll, und erst danach, was bei einem Fehler geschieht. Die umgekehrte Reihenfolge führt fast immer zu einem engeren, aber tragfähigen ersten Umfang — weil sich schnell zeigt, welche Handlungen sich nicht sauber zurücknehmen lassen.

Nachweise entscheiden, was später belegbar ist

Im Streitfall zählt nicht, was der Agent getan hat, sondern was belegt werden kann. Der Mindestnachweis je Handlung umfasst sechs Elemente: Vollmachtgeber, Mandat zum Handlungszeitpunkt, konkreter Vorschlag, Entscheidung der Richtlinienschicht, Bestätigung des Nutzers und Ergebnis des Dienstes. Jedes davon muss unabhängig vom Modell rekonstruierbar sein.

Hier zeigen sich die meisten Umsetzungen schwach. Ein Gesprächsprotokoll ist kein Nachweis der Befugnis. Es zeigt, was gesagt wurde, aber nicht, welche Limits galten, welche Richtlinienversion angewendet wurde und ob die Bestätigung verständlich dargestellt war. Werden diese Elemente aus Modellprotokollen abgeleitet, sind sie Rekonstruktion, kein Nachweis.

Testen Sie den Dienst, nicht nur das Modell

Modellkennzahlen — Treffergenauigkeit, Fehlerquote, Antwortqualität — beantworten nicht die Frage, ob der Dienst sicher ist. Testen Sie den vollständigen Pfad: unklare Anweisung, abgebrochene Sitzung, abgelaufene Authentifizierung, Ablehnung durch den Zieldienst, teilweise ausgeführte Handlung, Nutzer, der seine Absicht mitten im Vorgang ändert. Die meisten realen Vorfälle entstehen in den Zuständen zwischen den Schritten, nicht im erzeugten Text.

Prüfen Sie zudem die Zugänglichkeit. Versteht der Agent ältere Nutzer, Nutzer mit abweichender Ausdrucksweise oder Menschen, die für dieselbe Leistung eine andere Bezeichnung verwenden? Wenn nicht, muss ein nutzbarer Alternativweg bestehen — nicht nur eine Telefonnummer.

Verknüpfen Sie auch die Versionen. Ein Mandat, das unter einer Richtlinienfassung erteilt und nach deren Änderung ausgeführt wurde, ist eine bekannte Streitquelle. Der Nachweis muss zeigen, welche Fassung im Handlungszeitpunkt galt, nicht welche heute gilt.

Wählen Sie die strategische Position bewusst

Den Kontrollpunkt besitzen

Das Unternehmen baut eine eigene Schicht für Mandate, Identität und Richtlinien. Das ist die teuerste Variante und die einzige, die die Kundenbeziehung erhält, wenn Agenten zur üblichen Schnittstelle werden.

An einen fremden Agenten anbinden

Das Unternehmen stellt seine Dienste so bereit, dass ein fremder Agent gegen sie handeln kann. Günstiger und schneller, aber Kundenbeziehung und Erlebniskontrolle wandern zur Gegenseite. Unter welchen Bedingungen das akzeptabel ist, gehört vorab entschieden — nicht beim ersten Streitfall.

Bereit sein, ohne Handlungen zu delegieren

Das Unternehmen bereitet Schnittstellen, Identität und Nachweise vor, delegiert aber keine Handlungen. Für die meisten mittelständischen Unternehmen ist das heute die vernünftige Position: Sie erhält Optionen, ohne ein Risiko einzugehen, das nicht gesteuert werden kann.

Was dieser Ansatz nicht leisten kann

Der Kontrollrahmen macht das Modell nicht zuverlässig. Er begrenzt die Folgen seiner Unzuverlässigkeit. Er löst auch die Haftungsverteilung in der Lieferkette nicht: Gehören Agent, Plattform und Dienst drei Unternehmen, ist die Zuordnung eine Vertragsfrage, die Technik nicht regelt. Beginnen Sie mit Anwendungen, bei denen der Fehler umkehrbar ist, und weiten Sie erst aus, wenn die Nachweise es tragen.

Wenn Sie einen handelnden Agenten in einem regulierten Dienst erwägen, beginnen Sie mit der Bewertung von Anwendungsfall und Kontrollrahmen.

Dieser Beitrag ist eine Adaption des englischen Originals. Im Zweifel gilt die englische Fassung.