Опасенията за безопасността на изкуствения интелект достигат точка, в която правителствата започват да осъзнават, че трябва да предприемат действия за защита на обществото, подобно на това, което се случи по време на пандемията от Covid-19, смята Йошуа Бенжио, наричан от някои „кръстник“ на изкуствения интелект.

Според него последните събития, включително „роякът“ от агенти на OpenAI, проникнали в стартъп, и предупрежденията на експерти за екзистенциална заплаха, оказват силно въздействие, което прави правителствените действия по-вероятни.

Канадският учен, който е водеща фигура в кампанията за ограничаване на главоломното развитие на AI твърди, че е „по-оптимистичен от много наблюдатели, защото виждам, че обществеността се задейства“, съобщава The Guardian.

Сравнявайки кризата с безопасността на технологияъа с началото на пандемията от Covid-19 през 2020 г., той казва: „Помислете колко бързо реагираха правителствата след началото на пандемията, когато осъзнаха, че обществената безопасност, тяхното бъдеще и демокрацията са в опасност. Сега бихте очаквали те да действат бързо. Мисля, че се приближаваме към този момент.“

Амодей и Алтман настояват за повече предпазливост, Зъкърбърг и Хуанг залагат на развитие без спирачка, Мъск предлага конкурентите да се проверяват взаимно, докато Китай избира контрол и практическо приложение

Да забавиш AI, докато конкурентът ускорява: Дилемата, която раздели технологичните лидери

Загрижеността относно потенциалната заплаха от мощни системи за изкуствен интелект достигна нов връх през последните месеци след поредицаинциденти, свързани с безопасността, в които агенти на OpenAI и Anthropic са извършвали неразрешени дейности, като хакване на трети страни, „отвличане“ на германски уебсайт и използване на фалшиви самоличности, за да заблудят разработчиците.

Коментарите на Бенжио идват след като 42 членове и чуждестранни представители на Кралското дружество изпратиха писмо до президента на организацията, сър Пол Нърс, за да изразят своята „изключителна загриженост“ относно темпото на развитие на изкуствения интелект.

„Докато ситуацията стане очевидна за широката общественост, може да е твърде късно да се предприемат действия. Смятаме, че това е извънредна ситуация, и призоваваме Кралското дружество да използва влиянието си, за да предаде това на правителството и медиите.“

Предупреждението идва от ръководител в екипа по AI безопасност, след като негов колега напусна компанията с обвинението, че Anthropic и OpenAI „залагат живота ни на карта“ в надпреварата към самоусъвършенстващ се свръхинтелект

Изследовател на Anthropic: Вероятността AI да унищожи човечеството е над 10%

Миналата седмица изследовател от Anthropic, стартъпа, стоящ зад чатбота Claude, подаде оставка, след като предупреди, че колегите му смятат, че AI може да „убие всички до края на десетилетието“.

Дни по-късно главният изпълнителен директор на Anthropic Дарио Амодей, призова за забавяне на темпото на разработката на най-модерния изкуствен интелект, ход, който веднага беше подкрепен от OpenAI, Google и Илон Мъск, главният изпълнителен директор на SpaceX.

Въпреки това скептиците към „забавянето“ твърдят, че призивите на големите компании са пример за „регулаторно завладяване“, ситуация, при която убеждават правителствата да въведат мерки за безопасност, които повишават разходите на по-малките конкуренти и им пречат да се състезават. Те също така твърдят, че екзистенциалните страхове засенчват по-неотложни проблеми, свързани с изкуствения интелект, като например неговото въздействие върху произведенията, защитени с авторски права, и върху правата на човека.

Дарио Амодей получи подкрепа от Сам Алтман и Илон Мъск, но конкуренти и инвеститори подозират опит водещите компании сами да определят правилата на пазара

„Вълк в овча кожа“: Колко искрени са призивите на AI лидерите за забавяне

Бенжио не е съгласен с аргумента за регулаторното завладяване, тъй като забавянето от водещите компании в изкуствения интелект би им „струвало финансово“.

Коментарът му идва след като правителствата на Канада и Германия обявиха финансиране в размер до 300 млн. канадски долара за неговата нестопанска организация, посветена на създаването на „честен AI“, който ще служи като предпазна мярка срещу „неконтролируеми агенти“, които изпълняват поредици от задачи без човешка намеса.

Професорът в Университета в Монреал печели прозвището „кръстникът на изкуствения интелект“, след като беше удостоен с наградата „Тюринг“ през 2018 г., считана за еквивалент на Нобелова награда в областта на информатиката. Той я сподели с Джефри Хинтън, който по-късно спечели Нобелова награда, и с Ян ЛеКун, бивш главен учен по изкуствен интелект в Meta, компанията майка на Facebook, собственост на Марк Зъкърбърг.

Американският президент заяви, че САЩ не се нуждаят от нови ограничения върху технологията, докато Сам Алтман, Илон Мъск и Дарио Амодей призовават за по-бавен и контролиран напредък на най-мощните AI модели

Тръмп отхвърли призивите за повече регулации на AI и атакува шефа на Anthropic Дарио Амодей

Организацията на Бенжио, LawZero, разработва система, наречена Scientist AI, която ще служи като предпазна мярка срещу агенти на изкуствения интелект, проявяващи подвеждащо или самозащитно поведение, като например опити да избегнат изключването си.

LawZero се финансира също от Фондацията „Гейтс“, производителя на чипове Nvidia и Coefficient Giving – филантропична организация, свързана с движението за ефективен алтруизъм, което счита, че AI представлява екзистенциална заплаха.

Технологията на LawZero се разглежда от Бенжио като контрапункт на усилващото обучение, техника за разработка чрез проби и грешки, използвана от големите компании за изкуствен интелект, при която моделите се награждават за това, че са открили как да изпълнят конкретна задача. Канадският компютърен учен, заедно с други експерти, счита, че тази техника ги насърчава да преследват целите си безразсъдно и да причиняват вреда в процеса, както показа „роякът“ на OpenAI.

Приложена заедно с AI агент, технологията на Бенжио би ограничила потенциално вредното поведение на автономна система – след като прецени дали действията ѝ могат да причинят вреда. Бенжио очаква технологията да бъде използвана и за други цели като например ускоряване на научни пробиви.