AI в регулираната документация: всяко твърдение има нужда от проследима следа

В регулираната среда крайният резултат не е документът. Резултатът е способността този документ да бъде защитен години по-късно — да се покаже откъде е дошло всяко твърдение, кой го е проверил и какво е било вярно към момента на изготвянето.

Това променя изцяло преценката за генеративните инструменти. Въпросът не е колко бързо се пише черновата, а дали следата остава непокътната.

Кои приложения са реалистични

По веригата на жизнения цикъл на лекарствения продукт полезните приложения са по-тесни от рекламата и по-полезни от очакванията на скептиците: обобщаване на изходен материал в структурирана чернова, проверка на документ срещу шаблон или стилово изискване, откриване на несъответствия между свързани документи, извличане на прецедент от предишни досиета и превод между регистрирани езици.

Общото между тях е, че всяко има проверим изход. Обобщение може да бъде сравнено с източника. Несъответствие може да бъде потвърдено или отхвърлено. Приложенията, при които изходът не може да бъде проверен срещу нещо определено, са тези, които създават риск без съответна полза.

Какво казва регулаторът

Документът за размисъл на Европейската агенция по лекарствата относно използването на изкуствен интелект в жизнения цикъл на лекарствата поставя две ясни очаквания: непрозрачните архитектури въвеждат риск за безопасността на пациентите и за интегритета на клиничните проучвания, а мерките срещу предубеденост трябва да бъдат активни, а не предполагаеми. Съответното научно указание развива подхода по фази на жизнения цикъл.

Успоредно, Регламент (ЕС) 2024/1689 се прилага независимо от секторното законодателство. Приложение, което подпомага изготвянето на документация, обикновено не е високорисково само по себе си, но преценката трябва да бъде направена и записана, а не приета по подразбиране. Рамката на Акта за ИИ и насоките за високорисковите системи са отправната точка.

Автоматичното доверие е документиран риск, а не въпрос на обучение

Гладка, добре структурирана чернова, която е уверено погрешна, се преглежда по-трудно от груба чернова. Прегледът на машинно генериран текст последователно открива по-малко грешки, отколкото прегледът на човешка чернова със същото качество, защото гладкостта се чете като компетентност и проверката се превръща в коректорска работа.

Проектирайте срещу това, вместо да обучавате срещу него. Показвайте изходния пасаж до всяко генерирано твърдение, за да се извършва проверка, а не припомняне. Изисквайте изрично потвърждение на числовите стойности спрямо източника, а не приемането им в свързан текст. Правете независим извадков контрол на завършените документи от човек, който не е извършил първоначалния преглед, и следете дела на откритите грешки във времето. Ако този дял е неразличим от нула при голяма извадка, това по-скоро показва слаб контрол, отколкото съвършен процес.

Започнете там, където източникът вече е контролиран

Най-добрите първи кандидати са документи, съставени от материал, който вече е под контрол на версиите и вече е одобрен — обобщение от заключен доклад от проучване, раздел, изграден върху одобрена брошура на изследователя, превод на регистриран текст на друг регистриран език. Въпросът за произхода е решен, преди инструментът да се включи.

Най-лошите първи кандидати са документи, които синтезират от неконтролирани източници: работни таблици, кореспонденция, чернови с различна зрялост. Точно там усилието по изготвяне се усеща най-тежко, което е причината екипите да посягат първо натам. Там обаче генерираният документ е и най-трудно защитим, защото записът не може да покаже на какво се е позовал авторът.

Преводът между регистрирани езици е отделен случай

Преводът изглежда като най-безопасното приложение и в известен смисъл е — източникът е одобрен, задачата е ограничена, изходът е проверим. Именно затова заслужава внимание какво точно се проверява.

Рискът при регистрираните текстове не е в общия смисъл, а в термините с определено значение: наименования на показатели, дозировки, категории нежелани реакции, стандартизирана терминология. Модел, обучен върху общ текст, ще предпочете естествено звучащия вариант пред регистрирания, а разликата е точно тази, която има значение при проверка.

Работещият подход е речник с фиксирани съответствия, приложен като ограничение, а не като предложение, плюс проверка, че всички фиксирани термини присъстват в изхода. Това превръща свободния превод в контролирано попълване, което е и по-лесно за валидиране, и по-лесно за защита.

Валидирането е на процеса, не на модела

Компютризираните системи в регулирана среда се валидират срещу предназначение и срещу определени изисквания. Езиков модел, чието поведение се променя при обновяване, не се вписва добре в еднократна валидация. Работещият подход е валидиране на процеса около него: контролираните входове, задължителните проверки, записите и правилата, при които изходът се отхвърля.

Това означава и контрол върху промяната. Определете кой одобрява преминаване към нова версия на модела, какъв набор от документи се прегенерира и сравнява при такава промяна и кой има право да върне предишната версия. Без този контрол системата се променя мълчаливо между два одита.

Какво трябва да съдържа записът

Ако се наложи документът да бъде защитен години по-късно, записът трябва да съдържа шест елемента: кой е изходният материал и в коя негова версия; кой инструмент и коя негова версия са били използвани; какво е било генерирано; какво е променил проверяващият; кой е одобрил и кога; и на какво основание е приета всяка стойност, която не се извежда пряко от източника.

Липсващият най-често елемент е четвъртият. Много реализации записват изхода и одобрението, но не и разликата между тях. Тази разлика е най-полезната информация в целия запис — тя показва къде системата греши систематично и дали прегледът реално работи.

Следете и промените в инструмента. Ако версията се обновява без запис, документите, изготвени преди и след обновяването, не са съпоставими, а обяснението за това ще трябва да бъде дадено при инспекция, а не преди нея.

Лични данни и данни от проучвания

Голяма част от изходния материал съдържа лични данни или данни за здравословно състояние, което поставя приложението в пълния обхват на Общия регламент относно защитата на данните. Насоките на Европейския комитет по защита на данните и практиката на Комисията за защита на личните данни определят рамката за оценка на въздействието и за трансграничното обработване.

Ако инструментът е външна услуга, местоположението на обработката, срокът на съхранение на заявките и въпросът дали съдържанието се използва за подобряване на модели са условия, които трябва да бъдат уредени преди първия качен документ.

Първо решете кой носи отговорността

Преди технически въпрос стои организационният: кой подписва документа. В регулирана среда отговорността е лична и не се променя от това, че част от текста е генерирана. Затова използването на инструмент трябва да бъде известно на подписващия, а не решение на екипа, който изготвя черновата.

Практически това означава изрично обозначаване вътре в процеса кои раздели са минали през генериране, за да може проверяващият да разпредели вниманието си. Скритото използване е по-рисково от откритото — не защото е забранено, а защото лишава подписващия от информацията, от която се нуждае, за да поеме отговорността съзнателно.

Какво този подход не може да направи

Инструментът не намалява регулаторната отговорност и не заменя специалиста. Той не подобрява и качеството на изходния материал: ако протоколът е противоречив или данните са непълни, генерираната чернова ще представи този проблем в по-убедителна форма. Той измества работата от съставяне към проверка, което изисква повече, а не по-малко експертиза при трудните места. Организация, която възприеме спестеното време като основание за по-малък екип, е поела риск, чиято проява ще се появи при инспекция, а не в отчета за производителността.

Ако обмисляте генеративни инструменти в регулиран документален процес, започнете с доказване върху контролиран източник.

Тази публикация е адаптирана от английския оригинал. При различие английската версия е меродавна.