Вътрешен AI асистент в компанията: как се внедрява така, че да издържи проверка

Вътрешният асистент е първото AI приложение в повечето организации от средния сегмент, защото изглежда безобидно: няма клиент от другата страна, няма автоматично действие, само по-бърз достъп до собствената информация. Точно затова той се внедрява без анализа, който би получило всяко друго приложение с достъп до цялата вътрешна документация.

Рискът не е, че асистентът ще каже нещо неуместно. Рискът е, че ще каже нещо вярно на човек, който не е имал право да го знае, или нещо невярно на човек, който няма как да провери.

Започнете с решение за работата

„Асистент за вътрешни въпроси“ не е обхват. „Да намери действащата одобрена процедура и нейния източник, когато служител от обслужването я търси по време на разговор“ е обхват. Второто определя потребител, задача, източник и изход и може да бъде оценено.

Тесният обхват при пускането не е предпазливост, а начин да се получи полезна обратна връзка. Асистент, който отговаря на всичко, не може да бъде оценен по нищо, защото няма определено какво е верен отговор.

Основата е одобрена граница на знанието

Асистентът трябва да отговаря само от определен набор от документи, за които някой отговаря: действащи процедури, одобрени политики, актуални продуктови описания. Това звучи очевидно и почти никога не е реализирано, защото истинската вътрешна информация живее в споделени папки с три версии на един и същ документ и без указание коя е меродавната.

Практическото следствие е, че първата работа по асистента не е техническа. Тя е да се определи кой набор е одобрен, кой го поддържа и как остарял документ се изважда от него. Ако този процес не съществува, асистентът ще разпространява остарялата версия по-бързо и по-убедително, отколкото хората са я разпространявали досега.

Наследяването на правата за достъп не подлежи на компромис

Ако служител няма право да прочете документ, асистентът не може да му преразказва съдържанието му. Това изискване трябва да е реализирано на ниво извличане — правата се проверяват преди документът да достигне до модела — а не чрез инструкция към модела да не разкрива определени неща. Инструкцията е предпочитание; проверката на правата е контрол.

Заплатите, дисциплинарните преписки, данните за здравословното състояние и правните становища са очевидните категории. По-малко очевидните са чернови, вътрешни обсъждания на цени и досиета на кандидати. Когато се обработват лични данни на служители, приложим е Общият регламент относно защитата на данните, а насоките на Комисията за защита на личните данни относно обработването в трудов контекст са пряко относими.

Одобреният набор има нужда от собственик, не от папка

Най-честата причина вътрешният асистент да загуби доверие през втория месец е, че съдържанието му е остаряло, а никой не отговаря за това. Техническият екип поддържа системата; авторът на процедурата е сменил работата си; отделът, който ползва документа, не знае, че той изобщо е в набора.

Работещият модел е прост: всеки документ в одобрения набор има назован собственик и дата на следващ преглед. Документ, чийто преглед е просрочен, се маркира като такъв в отговора на асистента, вместо да бъде мълчаливо поднесен като действащ. Това е малка функционалност с непропорционално голям ефект върху доверието, защото прави състоянието на знанието видимо, а не предполагаемо.

Определете и как документ напуска набора. Изтеглена процедура, която остава индексирана, е по-опасна от липсваща процедура, защото служителят получава уверен отговор, който е бил верен миналата година. Проверявайте това на практика: подайте въпрос, чийто отговор е бил променен наскоро, и вижте коя версия се връща.

Проектирайте отговора за проверка

Всеки отговор трябва да сочи към документа и мястото в него, откъдето произлиза. Без това асистентът е убедителен разказвач без източник, а служителят няма как да различи вярното от правдоподобното. С това асистентът се превръща в по-бърз указател към документа, което е по-скромно обещание и значително по-полезен резултат.

Определете и как изглежда отговорът „не знам“. Система, която винаги отговаря, ще измисля. Система, която казва, че в одобрения набор няма отговор, и насочва към човек, е по-надеждна и по-лесна за защита.

Изградете оценъчен набор преди пилота

Съберете от петдесет до сто реални въпроса от хората, които ще ползват системата, с верните отговори, определени от човек, който познава материята. Включете въпросите, при които отговорът зависи от датата, от юридическото лице или от продукта, защото те откриват мястото, където асистентът смесва източници.

Този набор е активът, който остава при смяна на доставчик или на модел. NIST AI Risk Management Framework дава използваема структура за това какво се измерва и как се управлява промяната, приложима и извън задължителния регулаторен обхват.

Пуснете една тясна услуга и заслужете разширяването

Разширяването трябва да бъде спечелено с данни, а не с ентусиазъм. Определете предварително какъв резултат от оценъчния набор и каква обратна връзка от потребителите дават право на следващия набор документи. Разширяване, което се случва защото пилотът е харесал, е как асистентът стига до досиетата на персонала за три месеца.

Границата в защитата на данните, която повечето предложения пропускат

Ако асистентът работи върху външна услуга, въпросите са конкретни: къде се обработва съдържанието, кои подизпълнители участват, колко дълго се съхраняват заявките и използва ли се вашето съдържание за обучение или подобряване на модели. Отговорите трябва да са в договора, а не в маркетинговия материал.

Отделно, Законодателният акт за изкуствения интелект въвежда изискване за достатъчна степен на грамотност по отношение на изкуствения интелект у хората, които работят с такива системи. За вътрешен асистент това означава реално обучение какво системата може и какво не може, а не еднократно съобщение при пускането. Насоките за доставчици и внедрители на високорискови системи помагат да се провери дали конкретното приложение изобщо попада в този режим.

Насоките на Европейския комитет по защита на данните остават отправната точка при оценка на въздействието, когато асистентът обхваща данни на служители или на клиенти.

Измервайте ползата, а не използването

Броят заявки към асистента не е показател за стойност. Той измерва любопитство през първите седмици и навик след това. Показателите, които имат значение, са различни: колко често отговорът е бил приет без последваща проверка в източника, колко често служителят все пак е ескалирал към колега, и колко от въпросите изобщо не са получили отговор от одобрения набор.

Последният показател е най-полезният и най-пренебрегваният. Списъкът с въпроси без отговор е директно указание какво липсва в документацията — той описва разликата между това, което организацията смята, че е записала, и това, което хората реално търсят. В много случаи този списък носи повече стойност от самия асистент.

Задайте и период на преоценка. Ако след три месеца хората продължават да питат колегите си вместо системата, отговорът не е повече обучение — отговорът е, че обхватът или качеството на одобрения набор не покрива реалната работа.

Какво този подход не може да направи

Асистентът не подобрява документите. Ако процедурите са противоречиви, той ще отразява противоречието по-бързо. Той не замества и обучението — служител, който не разбира материята, не може да прецени дали отговорът е верен, и точно при него рискът от сляпо доверие е най-висок. Ползата е реална, но е ползата от добър указател, а не от заместващ експерт.

Ако планирате вътрешен асистент и искате да го докажете преди разширяване, започнете с пилот с определен обхват и оценъчен набор.

Тази публикация е адаптирана от английския оригинал. При различие английската версия е меродавна.