Anthropic съобщи, че през тази година е спряла няколко опита на учени да използват нейните технологии за изследвания, които биха могли да помогнат за разработването на биологични оръжия. Случаите идват на фона на засилващите се опасения за рисковете, които все по-мощните AI модели могат да създадат за обществената сигурност.

Компанията описва пет случая, при които потребители са „заобикаляли контролните механизми“ и са предприемали други действия, за да прикрият целта на работата си и да избегнат защитите на системата. Сред тях е имало хора от държави, в които Anthropic не позволява достъп до своите модели, включително Русия, Китай и Иран.

„Надяваме се, че споделянето на тези примери ще постави началото на разговор в AI индустрията и с правителствата за нововъзникващите биологични рискове и най-добрите начини за противодействие срещу тях“, посочва Anthropic в доклад за опитите нейните модели да бъдат използвани със злонамерени цели.

Сред описаните случаи на потенциална злоупотреба е изследовател от регион, в който услугите на Anthropic не се предлагат. По данни на компанията той е прекарал „седмици в планиране“ с Claude на експерименти, свързани с птичи грип. Защитните механизми на Anthropic са ограничили работата му до най-слабо способните модели на компанията.

Anthropic подчертава, че не може да установи със сигурност дали учените в описаните случаи действително са възнамерявали да причинят вреда. Част от информацията, необходима за създаването на биологично оръжие, може да бъде използвана и за разработване на ваксина.

Компанията е блокирала всички профили, споменати в доклада, но не разкрива имената на научните институции или държавите, в които са се случили инцидентите.

Темата за безопасността на AI отново се оказа във фокуса по-рано тази седмица, след като Джейкъб Коксън напусна Anthropic с твърдението, че служители в компанията „искрено вярват, че AI може да убие всички ни до края на десетилетието“.

Предупреждението идва от ръководител в екипа по AI безопасност, след като негов колега напусна компанията с обвинението, че Anthropic и OpenAI „залагат живота ни на карта“ в надпреварата към самоусъвършенстващ се свръхинтелект

Изследовател на Anthropic: Вероятността AI да унищожи човечеството е над 10%

Опасенията около технологията се засилиха още по-рано тази година с появата на усъвършенствани модели като Mythos на Anthropic. OpenAI също предизвика тревога през юли, когато съобщи, че нейни модели самостоятелно са проникнали в системите на AI платформата Hugging Face.

Сред ръководители в AI сектора и специалисти по биосигурност се оформя все по-широк консенсус, че използването на технологията в биологията трябва да бъде по-добре защитено и регулирано с нарастването на възможностите на моделите.

Експертите се опасяват, че AI може да бъде използван от терористични организации, държави или отделни нападатели за разработване на биологични оръжия, създаване на вируси или разпространение на вече съществуващи опасни патогени.

Дори AI да е способен да помогне при проектирането на теоретично биологично оръжие, остават сериозни практически пречки пред реалното му създаване, включително необходимите ресурси и технически възможности.

Все повече изследователи предупреждават, че изкуственият интелект би могъл да доведе до изчезването на човечеството – дори ако единствената задача на машините е да произвеждат кламери. Ето какво трябва да знаем за дебата около най-мрачния сценарий

Как всъщност AI би могъл да унищожи човечеството?

Киберсигурността също остава сред основните опасения на специалистите по безопасност.

В доклада си Anthropic описва различни злоупотреби с нейните технологии - от „мрежа от фалшиви приложения за запознанства, създадени с цел измама на потребители, до системи за наблюдение, разработени за откриване и следене на дисиденти“.

Компанията разкрива и нови подробности за твърденията си, че седем лаборатории в Китай, сред които Moonshot и DeepSeek, са се опитвали да възпроизведат възможностите на нейните модели чрез процес, известен като дестилация.

Според Anthropic тя е засекла „все по-усъвършенствани методи за заобикаляне на защитите ни и извличане на възможностите на водещите американски модели“.