Изкуственият интелект вече може да анализира информация, да обработва имейли и да изпълнява задачи вместо служителите в една компания. Но способността му да следва инструкции може да се превърне и в сериозна уязвимост. AI агентите могат да бъдат подведени чрез техники за социално инженерство, подобни на тези, с които хакерите манипулират хората – и понякога е достатъчно една скрита инструкция в обикновен имейл.

Това обясни Лора Иванова от Google Cloud по време на панела When AI Fights AI – Who's Really in Control? в рамките на форума Digital Trends 2026, организиран от Profit.bg и Sportal.bg. Според нея изкуственият интелект може да бъде подведен не само чрез технически уязвимости, но и чрез подходи, които използват склонността му да бъде услужлив и да изпълнява поставените задачи.

„AI агентите са създадени така, че да бъдат емпатични и да помагат на хората. Именно това обаче може да бъде използвано срещу тях. Ако някой подходи правилно и успее да ги убеди, че трябва да изпълнят определена инструкция, те могат да направят нещо, което първоначално са отказали“, обясни тя.

Един от примерите за подобна манипулация е т.нар. prompt injection – техника, при която злонамерени инструкции се вграждат в съдържание, което AI агентът трябва да обработи. Например служител може да възложи на асистент да анализира получен имейл. В самото съобщение обаче да има скрит текст, който да инструктира агента да пренебрегне първоначалната задача и вместо това да изпрати последните три имейла на външен адрес.

Това е своеобразен дигитален „троянски кон“: на пръв поглед агентът изпълнява напълно безобидна задача, но съдържанието, което обработва, може да го насочи към действие с потенциално сериозни последици.

Лора Иванова участва в панела „When AI Faces AI“ на Digital Trends 2026 заедно със Стоян Попов, CISO в Amusnet, и съоснователят на Stihia.ai Петър Кирков. Модератор - Илияна Захариева, директор „Корпоративни комуникации“ в A1

Има и други начини за заобикаляне на защитите. Един от тях е чрез промяна на контекста, в който е зададен въпросът. Ако потребител поиска от AI информация за опасна дейност, системата може да откаже. Но ако същата заявка бъде представена като част от подготовката на роман за хакер, моделът може да даде много повече подробности. Така атакуващият не е задължително да пробива техническа защита – понякога е достатъчно да промени начина, по който агентът възприема задачата.

Рискът нараства, когато компаниите внедряват подобни инструменти без ясни правила за употреба. Особено проблематично е служителите да използват безплатни AI услуги, без организацията да има представа каква информация се въвежда в тях и какви действия могат да бъдат предприети въз основа на нея.

Петър Кирков, съосновател на Stihia.ai: Най-опасната комбинация е AI с достъп до чувствителни данни, външни инструкции и възможност да изпраща информация извън организацията

Смъртоносната триада на AI: Когато компаниите сами отварят вратата за хакерите

За да ограничат подобни сценарии, компаниите трябва да прилагат принципа на минималните привилегии – всеки агент да получава само достъпа, който му е необходим за конкретната задача. Ако един инструмент трябва да анализира документи, това не означава, че трябва да има възможност да променя фактури, да предоставя отстъпки или да редактира търговски условия.

„Не трябва да приемаме, че един агент ще направи правилното нещо само защото сме му поставили правилна задача. Трябва да ограничим възможностите му и да определим до какво може да има достъп. Ако той няма необходимите права, дори да бъде подведен, няма да може да извърши всяко действие, което му бъде поискано“, обясни Key Account Executive за корпоративни акаунти в Google Cloud за ЦИЕ.

Стоян Попов, Chief Information Security Officer в Amusnet: В новата надпревара между атака и защита печели този, който е изградил правилната архитектура навреме

Хакерите влизат за 27 секунди: Как Amusnet се подготвя за новата ера на AI атаките

Преди да бъдат внедрени в реална работна среда, AI агентите трябва да бъдат тествани в изолирана среда, където компаниите могат да проверят как реагират на различни сценарии и опити за манипулация. При по-сложни задачи е важно и човек да остане част от процеса, особено когато решението може да засегне клиенти, данни или критични системи.

След това пък хората не трябва да приемат всички техни сигнали, без да си направят труда да ги проверяват. Дори когато агентът разполага с достатъчно данни и предлага конкретно действие, неговата преценка трябва да бъде проверена, преди да се стигне до последици за реална организация или неин клиент.

„Сигурността не трябва да се добавя към AI системите едва след възникването на проблем. Тя трябва да бъде част от самото им проектиране – с предварително определени правила, права за достъп и механизми за контрол. Така защитата не се превръща в спирачка пред иновациите, а в условие за по-бързото и безопасно внедряване на новите технологии“, обясни още Лора Иванова.