Австралийските власти разследват необичаен пробив в правителствени онлайн системи, извършен не от хакер, а от автономен AI агент на OpenAI. Според експерти това е първият публично известен случай, при който подобна система достига сама до непублична информация на държавна институция, без да е получила подобна задача от човек.

За инцидента разкри премиерът Антъни Албанезе по време на посещението си в Ню Йорк за Общото събрание на ООН. Той определи случилото се като „неприемливо“ и разговаря с главния изпълнителен директор на OpenAI Сам Алтман, пред когото изрази „крайната загриженост“ на Австралия. Недоволството на Канбера е насочено и към реакцията на компанията, която установява проблема седмици след случилото се и уведомява властите още по-късно.

Всичко започва на 18 юни, когато AI агент на OpenAI участва във вътрешна оценка на моделите на компанията и търси отговори и статистически данни за Австралия. В процеса той получава достъп както до публична, така и до непублична информация от няколко правителствени сайта и услуги.

Сред тях е Medicare – универсалната система за здравно осигуряване на страната. OpenAI не е открила доказателства за достъп до пациентски данни, но признава, че моделите ѝ са предприели действия, които разработчиците не са предвиждали.

„В хода на прегледа установихме активност, включваща няколко австралийски правителствени уебсайта и услуги, докато нашите модели се опитваха да намират отговори и налична статистика по въпроси за Австралия в рамките на вътрешна оценка“, обяснява компанията, цитирана от BBC.

OpenAI разбира за потенциалния пробив едва през август при по-мащабна проверка на т.нар. misaligned model activity – поведение, при което действията на AI система се разминават с намеренията или поставените от разработчиците цели.

Главният изпълнителен директор на Nvidia отхвърля предупрежденията за изчезване на човечеството като „апокалиптични сценарии“, които не почиват на научни доказателства

Дженсън Хуанг: Няма никакъв шанс AI да унищожи света до 2030 г.

Австралия е уведомена близо три месеца по-късно

Хронологията на последвалите събития предизвиква остра реакция от австралийското правителство.

OpenAI уведомява Services Australia на 10 септември – близо три месеца след самия инцидент. Вместо да се обърне директно към специализираните органи по киберсигурност, компанията изпраща съобщение до общата електронна поща на държавната агенция.

Пет дни по-късно информацията достига до Australian Cyber Security Centre, а впоследствие е информирана и министърът на публичната администрация Кейти Галахър. Кабинетът на Албанезе научава за случая на 19 или 20 септември, непосредствено преди премиерът да отпътува за Ню Йорк. На 23 септември той го оповестява публично.

„Разочарован съм, че на компанията ѝ отне твърде много време да информира правителството за случилото се, а и самият начин, по който беше направено уведомяването, беше неприемлив“, коментира Албанезе.

Критики отправят и специалисти по киберсигурност. Роб Никълс от Университета в Сидни определя като повече от странно решението OpenAI да не потърси своевременно Australian Cyber Security Centre.

Хамънд Пиърс от Института за киберсигурност към Университета на Нов Южен Уелс обръща внимание и на другата страна на случая – компанията в крайна сметка сама съобщава за него. Това според него дава известна увереност, че придобитата информация няма да бъде използвана неправомерно, докато при злонамерени хакери подобна гаранция не би съществувала. Същевременно той критикува забавянето и неофициалния начин, по който е подаден сигналът.

Засегнати може да са още три системи

Проверката не се ограничава до Medicare. Австралийските власти разглеждат възможността да са засегнати още Australian Institute of Health and Welfare, Бюрото за статистика и изследвания на престъпността на Нов Южен Уелс и здравното ведомство на щата Виктория.

Албанезе е разговарял с ръководителите на Виктория и Нов Южен Уелс, които трябва да получат подробен брифинг от специалистите по киберсигурност.

Засега няма доказателства, че е компрометирана чувствителна информация. OpenAI посочва, че предоставя технически данни на засегнатите организации, за да подпомогне разследването и отстраняването на евентуални уязвимости.

Амодей и Алтман настояват за повече предпазливост, Зъкърбърг и Хуанг залагат на развитие без спирачка, Мъск предлага конкурентите да се проверяват взаимно, докато Китай избира контрол и практическо приложение

Да забавиш AI, докато конкурентът ускорява: Дилемата, която раздели технологичните лидери

„AI агентът прескочи оградата“

Австралийското правителство уверява, че най-чувствителната държавна информация има значително по-високо ниво на защита.

Изпълняващият длъжността премиер Ричард Марлс използва аналогия, за да обясни разликата. По думите му най-важните данни за националната сигурност се намират зад „крепост“, докато информацията в този случай е била по-скоро зад „ограда“.

„AI агентът прескочи оградата“, коментира той.

Случаят показва една от особеностите на AI агентите. За разлика от стандартния чатбот, който обикновено генерира отговор на конкретно запитване, агентът може да извършва последователност от действия с ограничена човешка намеса – например да стартира код, да работи с приложения и сам да определя междинните стъпки, необходими за изпълнението на дадена задача.

Тъкмо тази по-голяма автономност поставя нови предизвикателства пред сигурността. Разработчиците могат да зададат крайната цел, без непременно да предвидят всеки метод, който моделът ще използва, за да я постигне.

Случай без известен досега аналог

Според специалистите, цитирани от BBC, досега не е бил публично документиран аналогичен случай на AI агент, който без човешка инструкция прониква в непублична част на правителствена система.

Изкуствен интелект вече е използван като инструмент при кибератаки срещу държавни институции. По-рано през годината чуждестранни хакери прибягват до AI агенти при предполагаеми пробиви в правителствени бази данни в Тайван. Там обаче технологията изглежда е била част от целенасочена операция.

Пионери на технологията предупреждават за риск от катастрофални последици, докато други учени оспорват прогнозите за човешко изчезване и настояват фокусът да остане върху опасностите, които AI създава още днес

„Може да изгубим контрол“ срещу „Апокалипсисът отвлича вниманието“: Гласът на учените в спора за AI

Професор Тоби Уолш от Университета на Нов Южен Уелс отбелязва и разлика в мащаба. Според него операцията на OpenAI вероятно е включвала стотици или хиляди агенти, докато при случая в Тайван става дума за десетки.

Австралийският инцидент се вписва и в поредица от сигнали за неочаквано поведение на подобни системи. Компании като OpenAI, Anthropic и Google вече са разкривали случаи, при които техни агенти излизат извън рамките на контролирани тестови среди и предприемат действия, които не са били предвидени от разработчиците.

Рискът е в автономността

Макар засега да няма доказателства за сериозно изтичане на информация, случаят поставя по-широк въпрос за контрола върху все по-автономните AI системи.

Особено притеснителен за специалистите е фактът, че случилото се не е засечено в момента на пробива. OpenAI го открива седмици по-късно при последващ анализ на поведението на своите модели, а засегнатите институции очевидно също не са разпознали своевременно действията на агента.

Пиърс очаква подобни инциденти да стават все по-чести с разширяването на възможностите на технологията. „Очаквам подобни атаки да продължат да се случват“, коментира той и предупреждава, че вероятно ще нарастват както честотата, така и сериозността им.

Натискът за регулация на AI се засилва

Разкритието идва в момент, когато контролът върху най-мощните AI системи отново е във фокуса на международния дебат.

Сам Алтман говори тази седмица пред Съвета за сигурност на ООН и призова за международни стандарти в сектора и по-активна роля на правителствата.

Американският президент заяви, че САЩ не се нуждаят от нови ограничения върху технологията, докато Сам Алтман, Илон Мъск и Дарио Амодей призовават за по-бавен и контролиран напредък на най-мощните AI модели

Тръмп отхвърли призивите за повече регулации на AI и атакува шефа на Anthropic Дарио Амодей

„Пред нас има избор“, заяви той. „AI може да бъде като нов Ренесанс на творчеството и откритията или като нова индустриална революция на сътресенията и безпорядъка.“

Главният изпълнителен директор на Anthropic Дарио Амодей също настоя за международно сътрудничество и предупреди за рисковете при липсата на общ подход.

В Австралия пробивът допълнително засилва спора за отговорността на технологичните компании. Министърът на комуникациите Аника Уелс заяви, че големите платформи трябва да поемат повече отговорност и призова за основни стандарти за безопасност.

Канбера подготвя законодателство за т.нар. digital duty of care, което Уелс планира да внесе през октомври. Идеята е технологичните компании да бъдат задължени да предприемат по-активни мерки за ограничаване на рисковете, свързани с техните услуги.