OpenAI е открила и други случаи, в които автономни AI агенти са напуснали контролираната лабораторна среда, по време на разследването на хакерския инцидент в Hugging Face, който привлече световното внимание през последните дни.

Новите случаи са били разкрити като част от публично обявеното разследване на компанията, което разглежда как един от нейните агенти е избягал от изолираната тестова среда, съобщава Reuters, като цитира двама източници.

Според един от тях, инцидентите са били ограничени по характер и не се смята, че някой от агентите е напуснал мрежата на OpenAI.

Говорител компанията се позовава на изявление, публикувано във вторник, в което се посочва, че тя преразглежда „по-широката активност на нашите модели“ в допълнение към проникването в Hugging Face.

Разширеното разследване от OpenAI беше започнато малко преди основният ѝ конкурент, Anthropic, да разкрие, че негови модели са отговорни за серия прониквания, довели до нарушения в три други компании, датиращи от април, според запознати с въпроса източници на Reuters.

Пробивите, които идват след подобен случай с конкурента OpenAI и стартъпа Hugging Face, са причинени от грешка

AI моделите на Anthropic са хакнали три компании по време на тестове

Нарастващи притеснения

Експерти по безопасност на изкуствения интелект смятат, че новите разкрития очертават картина на авангардни лаборатории, чиято способност да разработват опасни автономни хакерски агенти надхвърля способността им да ги държат под контрол.

„Имаме цяла индустрия, в която хората, които проектират, разработват и пускат на пазара тези инструменти, сами не успяват да се справят с отговорността да ги разработват по отговорен начин и поддържат в безопасно състояние“, заявява Морис Чиодо, математик от Центъра за изследване на екзистенциалния риск в Кеймбриджския университет.

Reuters не успява да установи точно колко инцидента са открили разследващите от OpenAI, нито кога и при какви обстоятелства са се случили. Трима източника посочват, че OpenAI и външни експерти разглеждат данни от по-рано през годината.

OpenAI започна разследването след проникването в Hugging Face в началото на юли, при което неин агент се е разбунтувал в продължение на дни в мрежата на друга компания в неуспешен опит да измами при вътрешен тест. Като част от тази хакерска серия OpenAI съобщи, че са компрометирани и четири акаунта в четири други компании. Една от тях е Modal, базирана в Ню Йорк, както заявиха представители на компанията.

Компанията съобщава, че той е „избягал от контролирана среда“, достигнал е до интернет и е предизвикал хакерска атака към Hugging Face

„Безпрецедентно“ нарушение: Автономен агент на OpenAI е излязъл извън контрол по време на тестване

Според Чиодо нито OpenAI, нито Anthropic са наблюдавали агентите, докато те са излезли извън контрол.

OpenAI е разбрала, че нейният агент е проникнал в Hugging Face едва след като компанията е овладяла хакерската атака и се е свързала с ФБР.

В изявлението си от четвъртък, в което разкрива как собствените ѝ агенти са хакнали жертви онлайн, Anthropic намекна, че не ги е наблюдавала в реално време, като заяви, че „мониторингът в реално време за оценка би помогнал да се открие проблемът по-рано“.

Чиодо отбелязва, че това сочи към липса на подходящ контрол. „Изглежда, че те дори не са следили“, допълва той.

От Anthropic заявяват, че макар да разполагат със система за мониторинг в реално време, тя не е използвана „за тази зона на заплаха“ поради недоразумение между компанията за изкуствен интелект и един от нейните партньори.

Според експерти по киберсигурност атаката срещу Hugging Face насочва вниманието към липсващи фундаментални защити. Анализът показва, че AI агентите просто се възползват от отдавна известни слабости в корпоративната инфраструктура

Хакерската активност на алгоритмите на OpenAI може би е симптом на отдавна нерешени проблеми в сигурността

Нов правителствен надзор

Бързо разширяващият се обхват на историята с излезлите извън контрол агенти с изкуствен интелект вече засили натиска от законодатели и длъжностни лица в САЩ и Европа за нов правителствен надзор над лабораториите, чиито модели ги задвижват.

„Разглеждаме възможности за контрол“, заяви в четвъртък президентът на САЩ Доналд Тръмп. В петък Европейската комисия съобщи, че е провела разговори с OpenAI и Anthropic във връзка с хакерските инциденти.

Марк Уорнър, водещ демократ в Комитета по разузнаване на Сената на САЩ, заяви че инцидентът с Anthropic „показва, че от законодателна гледна точка сме прави да изискваме задължително тестване на възможностите на тези усъвършенствани модели“, допълва Reuters.