AI върви по тънък лед: Скритите слаби места, които превръщат езиковите модели в новото бойно поле на кибервойната

Най-мащабните компании в света, които работят с изкуствен интелект, засилват усилията си за решаването на един наболял и изключително сериозен проблем със сигурността в големите езикови модели, който може лесно да бъде използван от киберпрестъпници.

Компаниите Google DeepMind, Anthropic, OpenAI и Microsoft се опитват да предотвратят т.нар. „индиректни инжекционни атаки“ (indirect prompt injection) — случаи, в които трети страни прикриват зловредни команди в уебсайтове или имейли, за да подмамят AI моделите да разкрият неоторизирана информация, например поверителни данни.

„Изкуственият интелект вече се използва от хакери за всеки един етап от атаките им“, твърди Джейкъб Клайн, ръководител на екипа по киберразузнаване в AI стартъпа Anthropic пред Financial Times.

Компаниите прилагат различни методи за защита, като наемат външни експерти по сигурността и използват AI инструменти за откриване и ограничаване на злонамерени действия. Въпреки това експерти предупреждават, че проблемът с индиректните атаки все още не е решен.

Една от причините за това е, че езиковите модели са създадени да следват инструкции, без да могат да различават дали командата идва от надежден източник. Това ги прави уязвими и към „jailbreaking“ - когато потребителите успяват да подведат модела да игнорира активните си защити.

Клайн обяснява, че Anthropic работи с външни екипи, за да направи своя модел Claude по-устойчив на подобни атаки, и също така използва AI инструменти за по-прецизното им откриване.

„Когато засечем злоупотреба със софтуера, в зависимост от увереността на системата, автоматично можем да задействаме намеса или да изпратим случая за проверка от човек“, добавя той.

Цената на кибератаката: Кой какво плаща, когато компаниите нямат защита

Google DeepMind използва техника, наречена automated red teaming — вътрешни екипи постоянно „атакуват“ модела Gemini, за да откриват слабости в реалистични сценарии.

През май Британският национален център за киберсигурност (NCSC) предупреждава, че този тип проблеми могат да изложат милиони компании и потребители на риск от фишинг атаки и онлайн измами.

Освен това големите езикови модели имат и друга значителна слабост — възможност за „отравяне на данни“ (data poisoning). Това се случва, когато в обучителните данни умишлено се вкарват зловредни елементи, които могат да накарат модела да се държи неправилно.

Според проучване, проведено миналия месец от Anthropic, AI Security Institute и Alan Turing Institute, подобни атаки са много по-лесни за осъществяване, отколкото се е смятало преди.

Въпреки рисковете, експертите подчертават, че изкуственият интелект също помага на компаниите да се защитават по-добре от кибератаки.

„Дълги години нападателите притежаваха едно предимство — достатъчно е да открият една единствена слабост, докато тези, които защитават, трябва да пазят абсолютно всичко“, казва Ан Джонсън, вицепрезидент и зам.-директор по сигурността в Microsoft.

„Сега защитните системи се учат по-бързо, адаптират се по-бързо и преминават от реактивна към проактивна защита.“

В ерата на перфектната илюзия: Става все по-трудно да разграничим AI-генерираното съдържание от реалното

Борбата със слабостите в AI системите идва в момент, когато киберсигурността е сред водещите опасения на компаниите, които въвеждат изкуствен интелект в своя бизнес. Според анализ на Financial Times, базиран на стотици корпоративни отчети на компании от S&P 500, над половината са посочили киберсигурността като основен риск през 2024 г.

Анализатори на киберзаплахи отбелязват, че напредъкът в изкуствения интелект вече е подхранил мултимилиардната индустрия на киберпрестъпността. AI предоставя евтини инструменти за писане на зловреден софтуер и системи, които автоматизират атаките в огромен мащаб.

„Големите езикови модели позволяват на хакерите да генерират нов зловреден код, който все още не е засечен, което затруднява защитата“, обяснява Джейк Мур, глобален експерт по киберсигурност в ESET.

Изследване на MIT показва, че 80% от анализираните ransomware атаки са използвали изкуствен интелект. През 2024 г. фишинг измамите и престъпленията с дийпфейкове са се увеличили с 60%.

Хакерите използват AI и за събиране на информация за онлайн жертви — моделите могат да претърсват мрежата за снимки, публикации и гласови записи на дадено лице, за да подготвят персонализирани измами.

„Тези данни могат да бъдат използвани за сложни социално-инженерни атаки и финансови престъпления“, казва Пол Фабара, директор по риска във Visa.

Виджай Баласубраманиан, съосновател и изпълнителен директор на Pindrop, компания, специализирана в защита от гласови измами, допълва:

„Преди 2023 г. виждахме по една дийпфейк измама месечно в клиентската ни база. Сега наблюдаваме по седем на ден - за всеки отделен клиент.“

Компаниите стават все по-уязвими, казва Мур от ESET - AI може да събира информация от публични източници, например LinkedIn, за да разбере какви системи и софтуери използват служителите, и после да атакува именно тях.

Пробив в доверието: CRM системите са новото слабо звено на бизнеса

Наскоро Anthropic засече организирана престъпна група, която използвала езиковия модел Claude Code за автоматизация на атаки - т.нар. „vibe hacking“. Групата е използвала AI, за да извършва разузнаване, да краде идентификационни данни и да прониква в системи. Тя е атакувала 17 организации с цел изнудване до 500 000 долара.

Експертите предупреждават, че корпорациите трябва да следят активно за нови заплахи и да ограничават достъпа до чувствителни данни и AI инструменти, податливи на злоупотреба.

„Днес не ти трябва много, за да се превърнеш в престъпник“, казва Фабара от Visa. „Достатъчен е лаптоп и 15 долара, за да си купиш нелегална версия на генеративен AI от тъмната мрежа — и вече си в играта.“