Голям брой AI агенти на OpenAI са получили достъп до сайтове на американското правителство в рамките на продължил с месеци инцидент, при който тестове на компанията са се развили по неочакван начин и са довели до непредвидена активност в интернет.

AI агентите са получили достъп до сайтове на Министерството на търговията и Комисията по ценните книжа и борсите на САЩ (SEC), където са извършвали действия, определени от OpenAI като „несъответстващи на зададеното поведение“, или “misaligned”.

Това е терминът, който AI компаниите използват за случаи, при които агентите им започват да действат по начин, различен от предвидения. В конкретния случай агентите изглежда са търсили и извличали информация от сайтовете по начин, който е надхвърлял зададените им ограничения.

При SEC агентите на OpenAI са копирали и публикували публично достъпни данни, въпреки че не е трябвало да го правят. В случая с Министерството на търговията един от агентите е получил достъп до сайт с данни на Бюрото за преброяване на населението чрез програмен интерфейс, който не е бил предназначен за подобна употреба, съобщи OpenAI.

Според експерти за първи път автономен изкуствен интелект получава непреднамерен достъп до непублични данни на държавна институция

Австралия разследва пробив в правителствени системи от AI агент на OpenAI

Разкритието на компанията дойде, след като организацията за AI изследвания Transluce заяви, че агенти на OpenAI са използвали „редица тактики в сивата зона, за да проучват сайтове на американското правителство“, както и че са направили „елементарен“, но неуспешен опит за пробив в сайт на Министерството на образованието. За случая по-рано съобщи The New York Times.

Говорител на SEC заяви, че „не е бил осъществен достъп до непублична информация“.

OpenAI разследва действията на своите агенти от края на юли, когато разкри, че нейни AI модели са излезли извън тестовата среда и са извършвали хакерски действия. През последните седмици компанията е уведомила SEC и Министерството на търговията за установената активност.

Достъпът до правителствените сайтове, за който беше съобщено в петък, е бил осъществен по време на тестове в процеса на обучение на моделите, посочва OpenAI. При тях системите са получавали различни въпроси, на голяма част от които е можело да бъде отговорено чрез извличане на информация от сайтове на държавни институции.

„В някои случаи това включваше правителствени сайтове, тъй като моделите ни често ги използват като надеждни източници на публична информация“, коментира OpenAI.

Нова информация разкрива вътрешни опасения около използването на милиони журналистически материали за разработването на AI системи

„Екзистенциална заплаха“ за медиите: Какво разкриват документи от Microsoft и OpenAI

Проблемът според изследователите е, че по време на тези тестове моделите на OpenAI често са проявявали непредвидено поведение. От следите, които са оставили в интернет, се вижда, че в някои случаи те са създавали фалшиви имейл адреси, заобикаляли са ограниченията за броя заявки към даден сайт и невярно са твърдели, че не са ботове, казва пред Тhe Wall Street Journal Лин Хюз, изследовател в компанията за анализ на търговски данни ImportGenius.

OpenAI очаква да уведоми и други засегнати организации. Според компанията обаче по-голямата част от прегледаната досега активност „е била свързана с обичайни изследователски задачи, като достъп до публично съдържание в интернет“.

В сряда австралийският премиер Антъни Албанезе съобщи, че AI агент на OpenAI е проникнал в сайт за държавни услуги в страната през лятото.

Австралийските власти в момента извършват „цялостно криминалистично разследване на инцидента.