AI агенти и делегирани правомощия: новата контролна точка в регулираните услуги

Разговорът за AI агенти обикновено започва от интерфейса и рядко стига до въпроса, който има значение за регулирана организация: какво точно има право да направи този агент от името на клиента, кой му е дал това право и как то може да бъде отнето.

Агент, който отговаря на въпроси, е софтуер за търсене с по-добър език. Агент, който извършва действие — прехвърля средства, променя данни по договор, подава заявление, отменя услуга — е механизъм за делегирани правомощия. Разликата не е техническа. Тя е правна и оперативна, и определя целия контролен дизайн.

Единицата на проектиране е делегираното правомощие

Полезно е да се спре да се мисли за „агента“ като за едно нещо и да се опише вместо това мандатът: кой е принципалът, кои действия са разрешени, в какви граници на стойност и време, при какви изключения и как мандатът се прекратява. Това е същият анализ, който банките прилагат към пълномощно или към нареждане за директен дебит — въпросът е стар, новото е само, че изпълнителят е модел.

Веднага щом мандатът е описан така, става очевидно кои части не могат да живеят в модела. Обхватът на правомощието, лимитите и прекратяването са състояние, което трябва да се съхранява и проверява извън езиковия модел, защото те трябва да са верни и когато моделът греши.

Идентичността и съгласието трябва да преживеят разговора

Естественият език е добър в изразяването на намерение и слаб в доказването на правомощие. „Прехвърли парите към другата ми сметка“ не установява коя сметка, кой е получателят, каква е сумата, кога и дали говорещият изобщо има право да разпорежда. Агентът се нуждае от доверена сесия за идентичност и от структурирана услуга за разрешения извън модела.

При платежни услуги това не е предмет на избор. Директива (ЕС) 2015/2366 и Делегиран регламент (ЕС) 2018/389 относно задълбоченото удостоверяване на идентичността определят кога се изисква удостоверяване и как елементите се свързват със сумата и получателя. Агент не отменя тези изисквания; той работи между тях. В България надзорът върху доставчиците на платежни услуги се упражнява от Българската народна банка по реда на Закона за платежните услуги и платежните системи.

Там, където е необходимо надеждно свързване на действие с конкретно лице, Регламент (ЕС) № 910/2014 дава установената рамка за електронна идентификация и удостоверителни услуги. Тя е по-подходяща основа за доказване на съгласие, отколкото запис на разговор.

Поставете политика между модела и действието

Най-често срещаната архитектурна грешка е да се позволи на модела да извиква пряко услугата, която извършва действието. Между двете трябва да стои слой, който проверява всяко предложено действие спрямо мандата: в обхвата ли е, в лимита ли е, изисква ли допълнително потвърждение, попада ли в категория, която изобщо не се делегира.

Този слой е и мястото, където се превежда неструктурираното намерение в структурирана инструкция. Потвърждението към потребителя трябва да показва какво ще се случи на разбираем език: ресурс, получател, сума, момент, такси и дали действието може да бъде отменено. Ако потребителят не може да разбере какво потвърждава, съгласието е формално, а не информирано.

Съществуващите задължения остават приложими

Автоматизираното вземане на решения с правни или подобни съществени последици за лицето е уредено в Общия регламент относно защитата на данните, включително правото на човешка намеса и на оспорване. Практиката и насоките на Европейския комитет по защита на данните и на Комисията за защита на личните данни остават меродавни, независимо от това как е реализиран интерфейсът.

Успоредно с това Законодателният акт за изкуствения интелект въвежда задължения за прозрачност, когато лицето взаимодейства с AI система, и отделен режим за системите с висок риск. Ако агентът обслужва процес, попадащ в приложение III, задълженията за човешки надзор и водене на записи възникват независимо от това колко разговорен е интерфейсът.

Записите определят какво може да се докаже по-късно

Когато възникне спор, въпросът не е какво е направил агентът, а какво може да бъде доказано. Минималният запис за всяко действие е шест елемента: кой е принципалът, какъв е бил мандатът към момента на действието, какво точно е било предложено, какво е одобрила политиката, какво е потвърдил потребителят и какъв е бил резултатът от услугата. Всеки от тях трябва да е възстановим независимо от модела, който ги е генерирал.

Това е и мястото, където повечето реализации се оказват слаби. Записът на разговора не е запис на правомощието. Той показва какво е било казано, но не и какви лимити са били в сила, коя версия на политиката е приложена и дали потвърждението е било показано на разбираем език. Ако тези елементи се извличат от лога на модела, те не са доказателство — те са реконструкция.

Обвържете и версиите. Мандат, одобрен при една версия на политиката и изпълнен след промяна в нея, е познат източник на спорове. Записът трябва да сочи коя версия е била действаща в момента на действието, а не коя е действаща днес.

Човешкият контрол трябва да променя резултата

Надзорът, който не може да спре нищо, е декорация. Практическият тест е дали конкретен служител може да прекрати мандат в реално време, дали има право да отмени действие в определен прозорец и дали това се случва достатъчно често, за да е доказано, че механизмът работи. Организация, която никога не е използвала аварийния спирач, не знае дали той е свързан.

Проектирайте и обратния път. Кой възстановява средства, кой уведомява засегнатото лице, в какъв срок и на кого се докладва. Възстановяването е част от контролния дизайн, а не последица от неговия провал.

Тествайте услугата, не само модела

Показателите за модела — точност, честота на грешки, качество на изхода — не отговарят на въпроса дали услугата е безопасна. Тествайте целия път: неясна инструкция, прекъсната сесия, изтекло удостоверяване, отказ от страна на услугата, частично изпълнено действие, потребител, който променя намерението си по средата. Повечето реални инциденти идват от състоянията между стъпките, а не от текста, който моделът е генерирал.

Оценявайте и достъпността. Дали агентът разбира по-възрастен потребител, потребител, който пише на латиница, или човек, който използва различна терминология за същата услуга. Ако не, трябва да съществува използваем алтернативен път, а не само телефонен номер.

Изберете стратегическата позиция съзнателно

Притежаване на контролната точка

Организацията изгражда собствен слой за мандати, идентичност и политики. Това е най-скъпият вариант и единственият, който запазва отношението с клиента, когато агентите станат обичайният интерфейс.

Свързване към чужд агент

Организацията излага услугите си така, че чужд агент да може да действа спрямо тях. По-евтино е и по-бързо, но отношението с клиента и контролът върху опита преминават към другата страна. Условията, при които това е приемливо, трябва да са решени предварително, а не при първия спор.

Готовност без делегиране на действие

Организацията подготвя интерфейси, идентичност и записи, но не делегира извършването на действия. Това е разумната позиция за повечето организации в средния сегмент днес — тя запазва възможностите, без да поема риск, който не може да бъде управляван.

Какво този подход не може да направи

Контролната рамка не прави модела надежден. Тя ограничава последиците от ненадеждността му. Тя не решава и въпроса с отговорността по веригата от доставчици: ако агентът, платформата и услугата са на три различни компании, разпределението на отговорността е договорен въпрос, който технологията не урежда. Започнете с приложения, при които грешката е обратима, и разширявайте едва когато записите го подкрепят.

Ако обмисляте агент, който извършва действия във ваша регулирана услуга, започнете с оценка на приложението и контролната рамка.

Тази публикация е адаптирана от английския оригинал. При различие английската версия е меродавна.