Сам Алтман и Илон Мъск подкрепиха призива на главния изпълнителен директор на Anthropic Дарио Амодей за забавяне на развитието на AI. Това се случва след седмица, в която поредица от тревожни предупреждения на изследователи изведоха темата за безопасността на технологията в центъра на общественото внимание.

В есе, публикувано в събота, Амодей казва, че технологичната индустрия „трябва да забави темпото, с което разширява възможностите на AI моделите“, след като през това лято развитието им се е ускорило „драстично“.

Предупреждението му усложнява подготовката на Anthropic за първично публично предлагане, което се очаква да бъде най-голямото в историята. Компанията трябваше да подаде проспекта си още миналата седмица за сделка, която може да я оцени на 2 трлн. долара или повече, но това все още не се е случило.

В рядък момент на съгласие в индустрия, белязана от ожесточени лични и професионални съперничества, ръководителите на OpenAI и SpaceX - Сам Алтман и Илон Мъск - подкрепиха предложенията на Амодей. Сред тях е и идеята независими оценители да получат постоянен достъп до всяка компания, която разработва най-мощните AI модели.

„Дарио е прав“, написа Мъск в X, споделяйки есето му.

Есето му идва дни след като изследовател на Anthropic предизвика бурни реакции в социалните мрежи, обявявайки, че напуска компанията

Дарио Амодей предлага план за забавяне на развитието на AI

„Съгласен съм с Дарио, че трябва да забавим темпото при най-мощните AI модели“, заяви Алтман в X. По-рано през седмицата той е казал пред служителите на OpenAI, че е отворен към международна координация за ограничаване на скоростта, с която технологията напредва.

„Ангажиментът независими оценители да получават достъп, подобен на този на служителите, е отлична идея и ние ще направим същото. Скоро ще имаме още какво да споделим“, добави Алтман.

Ръководителите на Google DeepMind и Meta - основните американски конкуренти на трите AI лаборатории - засега не са се включили в дискусията. Съоснователят и ръководител на Google DeepMind Демис Хасабис обаче предупреди още през юли, че бързият напредък на AI изисква „нов подход към тестването“ на най-мощните системи.

Демис Хасабис предлага създаването на публично-частно партньорство, което да тества най-мощните модели преди пазарния им дебют и да оценява заплахите за националната сигурност

Ръководителят на Google DeepMind призова САЩ да оглавят нов орган за AI стандарти

Дебатът за безопасността на AI и риска технологията да излезе извън човешки контрол се изостри тази седмица след оставката на изследователя от Anthropic Джейкъб Коксън.

Във вторник той обяви, че напуска компанията, като обвини Anthropic и конкурентите ѝ, че „залагат живота ни на карта“ в надпреварата за създаване на свръхинтелигентен AI, способен да усъвършенства сам себе си по-бързо, отколкото хората могат да го контролират.

„Хората, които създават AI, искрено вярват, че той може да убие всички ни до края на десетилетието“, написа Коксън.

Предупреждението идва от ръководител в екипа по AI безопасност, след като негов колега напусна компанията с обвинението, че Anthropic и OpenAI „залагат живота ни на карта“ в надпреварата към самоусъвършенстващ се свръхинтелект

Изследовател на Anthropic: Вероятността AI да унищожи човечеството е над 10%

Предупреждението му последва разкрития, че група AI агенти на OpenAI са успели да излязат извън тестова среда и да проникнат в платформата за разработчици Hugging Face. Те са поели контрол върху сървъри на OpenAI и са координирали действията си в погрешен опит да изпълнят задачата, поставена им от техните създатели.

„Според мен група с по-големи способности, но със сходно ниво на несъответствие между поставените цели и поведението, би могла да причини катастрофални щети“, пише Амодей в събота. По думите му именно този инцидент е една от основните причини да призове за забавяне.

„Подобни, макар и по-малко сериозни инциденти са се случвали в цялата индустрия, включително в Anthropic. Смятам, че всяка компания, която разработва най-мощните AI модели, трябва да действа така, сякаш инцидентът OpenAI-Hugging Face се е случил при нея.“

Все повече изследователи предупреждават, че изкуственият интелект би могъл да доведе до изчезването на човечеството – дори ако единствената задача на машините е да произвеждат кламери. Ето какво трябва да знаем за дебата около най-мрачния сценарий

Как всъщност AI би могъл да унищожи човечеството?

Амодей призова и за подкрепа от правителствата, която да позволи на AI компаниите в демократичните държави да координират стандартите и ограниченията за безопасност. Подобно сътрудничество иначе би могло да влезе в конфликт с правилата за защита на конкуренцията.

Той предлага и глобална координация с „авторитарни правителства“. Китайските AI компании постигнаха сериозен напредък тази година и успяха значително да намалят изоставането си спрямо американските конкуренти.

Президентът на САЩ Доналд Тръмп засега до голяма степен отхвърля призивите за по-строго регулиране на AI. Миналата седмица той заяви пред журналисти, че няма „никакви“ опасения технологията да доведе до изчезването на човечеството.

Докато американският президент поставя победата над Китай над опасенията за екзистенциалните рискове от изкуствения интелект, Брюксел вижда в предупрежденията на изследователи от Anthropic и OpenAI аргумент в полза на AI Act

„Нямам никакви притеснения“: Тръмп отхвърля страхa от AI, Европа отговаря: „Ние вече имаме закон за това“

„Притеснявам се, че ако не спечелим надпреварата за AI, ще се окажем в много лоша позиция“, каза Тръмп, като добави, че според него САЩ все още са с около година пред Китай.

Амодей се опитва да отговори именно на подобни опасения.

„Координирана стратегия за забавяне би дала на компаниите, разработващи най-мощните AI модели, време да свършат тази жизненоважна работа, без да жертват търговското си предимство или лидерската позиция на САЩ в AI“, пише той.