Автономни AI агенти на OpenAI са изключили системи за наблюдение и защитни механизми, предназначени да засичат проблемно поведение. Последните инциденти вероятно ще засилят опасенията около безопасността на все по-способните AI системи.

Компанията зад ChatGPT съобщи късно във вторник, че при две скорошни вътрешни задачи по програмиране нейни AI агенти са направили опит умишлено да заблудят служители и са предприели действия, с които да отслабят системите за наблюдение.

При единия случай, по-рано този месец, агент е изключил автоматичните предупреждения към екипа по сигурността на OpenAI. При друга задача няколко дни по-късно агент е премахнал система за наблюдение, след което е излъгал служители на компанията, че не го е правил.

„И в двата случая агентите са обмислили дали защитните механизми за наблюдение трябва да бъдат запазени, но са изтълкували рутинни инструкции за програмиране като разрешение да ги отслабят“, посочва OpenAI в блога си.

Изпълнителният директор на OpenAI говори за себе си, тревогата за изкуствения интелект, образа на „лош“ герой, както и за един от главните си конкуренти – Илон Мъск, когото определя като хулиган, заслужаващ „юмрук в носа“

AI трябва да лекува рак, а не да заменя човешките отношения: Бъдещето според Сам Алтман

Стартъпът, оценяван на 852 млрд. долара, вече се сблъска с няколко случая, при които негови усъвършенствани AI агенти показаха непредвидено и проблемно поведение. При тестове модели на OpenAI са успявали да се освободят от наложени ограничения и да проникнат в AI платформата Hugging Face. Те са получили неразрешен достъп и до сайтове на австралийски публични здравни служби.

Главният изпълнителен директор Сам Алтман заяви, че компанията ще отложи първичното си публично предлагане, което първоначално се очакваше тази година, докато не бъде в състояние „с много висока степен на увереност да премине към следващия етап от развитието на AI“, като едновременно с това реши проблемите, свързани с безопасността. Сега листването се очаква през следващата година.

OpenAI съобщи, че след двата инцидента, станали преди около две седмици, засилва системите си за наблюдение. Компанията проверява дали поведението на агентите е било резултат от „безобидна прекомерна настойчивост“ при изпълнението на задачите, или показва „склонност към заобикаляне“ на системите, които следят за неправомерна активност.

Компанията описва сценарий, при който модели проникват в слабо защитени устройства, използват изчислителната им мощност и се разпространяват без централен контрол

Anthropic: AI моделите са на месеци от способността да се копират сами

Двата случая вероятно ще засилят опасенията около възможностите на AI моделите и способността на компании като OpenAI и конкурента ѝ Anthropic да ограничават нежеланото поведение и да гарантират, че моделите им няма да създават сериозни рискове за киберсигурността след пускането им.

Особено безпокойство сред част от експертите буди възможността най-напредналите модели да разбират кога са наблюдавани. Това би им позволило да прикриват проблемно поведение или да се държат различно по време на тестове и след пускането им в реална среда.

Одити на независими изследователи, сред които Asymmetric Security и Transluce, установиха, че скорошните хакерски инциденти са били по-мащабни, отколкото OpenAI първоначално е разкрила. Проверките са открили и действия, насочени към прикриване на опити за извличане на данни, предава Financial Times.

Компанията твърди, че изследователите са нарушили правилата за работа с чувствителна информация, докато те предупреждават, че уволненията могат да ограничат открития дебат за рисковете от AI

OpenAI отхвърли обвиненията, че е уволнила трима служители заради критиките им относно безопасността на AI

През август OpenAI съобщи, че е преработила процедурите си за тестване и ще отделя повече ресурси за наблюдение на AI агентите. Сред новите мерки е изискване потенциалните проблеми да бъдат ескалирани в рамките на 30 минути след засичането им.

Междувременно Anthropic е предоставила на неправителствената организация METR достъп, сходен с този на служителите на компанията, за да оценява рисковете, свързани с нейните модели.

OpenAI все още не е обявила подобно споразумение с външен оценител. Независимият контрол е сред основните конкретни мерки, които AI лабораториите предлагат в отговор на растящите опасения за рисковете от все по-мощните системи.