Докато редица изследователи предупреждават, че изкуственият интелект може да крие катастрофални рискове, към дебата все по-активно се включват и хората, положили основите на технологията.

Само през последната седмица учени от Anthropic, OpenAI и други компании отправиха поредица от предупреждения за потенциалните последици от развитието на най-мощните AI системи. Част от тях поставят въпроса дали индустрията не напредва по-бързо, отколкото се развиват механизмите за контрол и безопасност.

Темата вече излиза далеч извън технологичните лаборатории. Във Вашингтон представители и на Демократическата, и на Републиканската партия подкрепят различни форми на по-строг надзор върху AI, докато президентът Доналд Тръмп се противопоставя на призивите за ограничения.

Но няма единна позиция и сред самите учени. Едни предупреждават за сценарии, при които човечеството може да изгуби контрол върху все по-мощни системи. Други смятат подобни прогнози за спекулативни и настояват вниманието да бъде насочено към рисковете, които могат да бъдат доказани и управлявани още днес.

Предупреждението на Йошуа Бенджио:

Учените виждат рисковете месеци преди всички останали

Канадският компютърен учен Йошуа Бенджио е сред хората, положили основите на технологиите, върху които стъпва съвременният AI.

„Учените във водещите AI лаборатории имат уникален поглед върху най-модерните модели“, заяви Бенджио на 9 септември по повод решението на изследователя от Anthropic Джейкъб Коксън да напусне компанията. Коксън предупреди, че AI може „да ни убие всички до края на десетилетието“.

Според Бенджио изследователите често разпознават рисковете, свързани с новите модели, месеци преди те да станат достъпни за широката публика. Затова техните предупреждения трябва да бъдат приемани сериозно.

В публикация от петък той посочи, че съвременните AI системи вече разполагат с умения за извършване на хакерски атаки и със значителна способност да убеждават хората – комбинация, която според него може да бъде използвана срещу човешките интереси.

Амодей и Алтман настояват за повече предпазливост, Зъкърбърг и Хуанг залагат на развитие без спирачка, Мъск предлага конкурентите да се проверяват взаимно, докато Китай избира контрол и практическо приложение

Да забавиш AI, докато конкурентът ускорява: Дилемата, която раздели технологичните лидери

Бенджио предупреждава и за друга тенденция: системите стават способни да планират действия в рамките на дни или седмици. Ако способността им да изграждат дългосрочни стратегии продължи да се развива, потенциалните последствия според него ще станат много по-сериозни.

Неговото притеснение е, че сегашните методи за съгласуване на поведението на AI с човешките цели може да не премахват нежеланото поведение, а просто да научат системите да го прикриват по-добре.

Затова Бенджио призовава за по-добри инструменти за наблюдение на действията на AI, начина, по който системите достигат до решенията си, и процесите в самите им невронни мрежи.

Все повече изследователи предупреждават, че изкуственият интелект би могъл да доведе до изчезването на човечеството – дори ако единствената задача на машините е да произвеждат кламери. Ето какво трябва да знаем за дебата около най-мрачния сценарий

Как всъщност AI би могъл да унищожи човечеството?

Джефри Хинтън:

Никога не сме създавали нещо, което може да стане по-интелигентно от нас

Джефри Хинтън, почетен професор в Университета на Торонто, е сред учените, положили основите на съвременните невронни мрежи и AI.

На въпрос на BBC на 10 септември дали вероятността AI да унищожи човечеството през следващото десетилетие може да надхвърля 10%, Хинтън отказа да представи подобно число като точна прогноза.

„Това е нещо, което е изключително трудно да бъде оценено, защото никога досега не сме се сблъсквали с подобна ситуация. Никога не сме създавали същества, които скоро може да станат по-интелигентни от нас“, каза той.

Според Хинтън оценка от 10% не е „неразумна“, но той подчертава, че в действителност никой не разполага с надежден начин да изчисли подобна вероятност.

Сред по-конкретните опасности той посочва използването на AI за създаване на опасни биологични агенти, компютърни вируси и извършване на мащабни кибератаки.

„Имаме две възможни бъдещи развития“, казва Хинтън. „В едното успяваме да разберем как да се справим с тези опасности, преди да излязат извън контрол. В другото – не успяваме.“

Американският президент заяви, че САЩ не се нуждаят от нови ограничения върху технологията, докато Сам Алтман, Илон Мъск и Дарио Амодей призовават за по-бавен и контролиран напредък на най-мощните AI модели

Тръмп отхвърли призивите за повече регулации на AI и атакува шефа на Anthropic Дарио Амодей

Ейдън Гомес говори за

Най-мощното кибероръжие, създавано някога

Ейдън Гомес, съосновател и главен изпълнителен директор на Cohere, е сред авторите на знаменитата научна разработка от 2017 г. „Attention Is All You Need“, която полага една от технологичните основи на днешните водещи AI модели.

„Смятам, че тези модели са най-мощното кибероръжие, създавано някога. Те са изключително добри в откриването и използването на уязвимости в огромен мащаб“, заяви Гомес на 1 септември в подкаста The Tech Download на CNBC.

Но неговата теза се различава съществено от предупрежденията, че AI непременно ще развие собствен стремеж към автономност.

Според Гомес решаваща е средата, в която системата работи. „Слабата защита на изолираната среда, в която работят моделите, е това, което им позволява да излязат извън нея, а не някакъв присъщ стремеж на AI към автономност“, казва той.

Затова Гомес предупреждава и срещу универсални правила за всички AI системи. Различните модели носят различни рискове, а регулациите според него не трябва да бъдат определяни единствено от големите технологични компании, преследващи създаването на AGI – изкуствен общ интелект.

Дарио Амодей получи подкрепа от Сам Алтман и Илон Мъск, но конкуренти и инвеститори подозират опит водещите компании сами да определят правилата на пазара

„Вълк в овча кожа“: Колко искрени са призивите на AI лидерите за забавяне

Стюарт Ръсел

Първо докажете, че е безопасно. После продължете

Стюарт Ръсел, професор по компютърни науки в Калифорнийския университет в Бъркли и един от най-разпознаваемите учени в областта на AI, поставя въпроса по различен начин.

За него дилемата не е просто дали развитието трябва да бъде по-бързо или по-бавно. По-важният въпрос е дали следващото поколение системи изобщо трябва да бъде пускано, преди да е доказано, че отговаря на конкретни стандарти за безопасност.

Ръсел използва аналогия с авиацията: никой не би позволил на Boeing да пусне нов самолет по предварително определен график с надеждата, че тестовете за безопасност междувременно ще приключат успешно.

Според него същият принцип трябва да важи и за AI – скоростта не се определя предварително; тя зависи от това дали технологията може да покрие изискванията за безопасност.

Компанията забранява на моделите си да преследват собствени цели и да прикриват действията си, докато лидерите в AI индустрията все по-открито предупреждават за рисковете от надпреварата към свръхинтелект

Microsoft поставя граници пред бъдещите си AI модели на фона на призивите за забавяне на технологията

Пол Кристиано:

Може необратимо да изгубим контрол

Пол Кристиано е един от водещите изследователи в областта на съгласуването на поведението на AI системите с човешките цели и бивш ръководител на американски правителствен екип за изследване на безопасността на технологията.

Неговото предупреждение е свързано със сценария, при който бъдещ свръхинтелигентен AI бъде създаден, преди учените да разполагат с надежден начин да гарантират, че поведението му ще остане съобразено с човешките намерения.

Според Кристиано при подобно развитие човечеството рискува необратимо да изгуби контрол върху системата.

Наскоро той се присъедини към борда на неправителствената структура, която контролира OpenAI, именно с намерението да работи върху този проблем.

Дарио Амодей от Anthropic поиска по-бавен темп на развитие на най-мощните модели, а Сам Алтман и Илон Мъск го подкрепиха. Инвеститорите се опасяват, че подобен ход може да засегне огромните инвестиции в чипове и центрове за данни

Призивът за забавяне на AI разтърси технологичните акции по света

Скептиците отвръщат: Може ли изобщо да се изчисли „10% риск от изчезване на човечеството“?

Не всички водещи изследователи приемат апокалиптичните сценарии – и особено числата, с които понякога те се описват.

Гари Маркъс, почетен професор в Нюйоркския университет и дългогодишен критик на прекомерните обещания около AI, оспорва сценария, при който изкуственият интелект в близко бъдеще би могъл да „превземе целия интернет“.

Той посочва оценки на британския AI Security Institute, според които днешните най-мощни системи могат автономно да компрометират предимно малки и слабо защитени цели. Според Маркъс остава огромна дистанция между подобни способности и установяването на траен контрол върху инфраструктурата на компании като Google, Cloudflare и AWS.

Предупреждението идва от ръководител в екипа по AI безопасност, след като негов колега напусна компанията с обвинението, че Anthropic и OpenAI „залагат живота ни на карта“ в надпреварата към самоусъвършенстващ се свръхинтелект

Изследовател на Anthropic: Вероятността AI да унищожи човечеството е над 10%

Алън Удуърд, професор по киберсигурност в Университета на Съри, стига до сходен извод от техническа гледна точка:

AI няма сам да реши да го направи. Отговорността е на хората, а AI е инструмент.

Интернет, посочва той, не представлява една хомогенна система, която може просто да бъде „превзета“. Инфраструктурата му е разпределена и е създадена именно така, че при проблеми трафикът да може да бъде пренасочван.

Хайди Хлааф, главен научен сътрудник в AI Now Institute и специалист по безопасност на автономни системи, поставя под съмнение друга част от апокалиптичния дебат – опитите рискът от човешко изчезване да бъде изразен в конкретен процент.

Според нея оценки като „над 10% вероятност“ не могат нито да бъдат емпирично проверени, нито надеждно опровергани. При липса на данни, върху които подобна вероятност да бъде изчислена, процентът не трябва да се представя като научно установена оценка на риска.

Враждуващите технологични лидери се обединиха около предупрежденията, че хората могат да изгубят контрол над технологията

Съперниците Алтман и Мъск подкрепиха призива на Дарио Амодей за забавяне на AI

Тимнит Гебру:

Апокалипсисът отвлича вниманието от проблемите, които AI причинява сега

Тимнит Гебру, бивш съръководител на екипа за етичен AI в Google и основател на Distributed AI Research Institute, отправя още по-фундаментална критика към самия дебат.

Според нея постоянният фокус върху хипотетичен бъдещ свръхинтелект, способен да унищожи човечеството, измества вниманието от конкретните вреди, които AI може да причинява още днес.

В скорошно интервю за WIRED Гебру посочва като примери автономните оръжия и реалните обществени последствия от внедряването на AI. Според нея апокалиптичните сценарии рискуват да превърнат далечното и хипотетичното в център на разговора за сметка на проблемите, които вече могат да бъдат наблюдавани и измервани.

Есето му идва дни след като изследовател на Anthropic предизвика бурни реакции в социалните мрежи, обявявайки, че напуска компанията

Дарио Амодей предлага план за забавяне на развитието на AI

Педро Домингос:

Повече изследвания, не по-малко

Педро Домингос, почетен професор по компютърни науки във Вашингтонския университет, заема още по-категорична позиция срещу идеята развитието на AI да бъде забавено:

„Пътят към по-доброто разбиране и контрол върху AI минава през повече изследвания, не през по-малко.“

Аргументът обръща логиката на привържениците на забавянето: ако все още не разбираме достатъчно добре как да контролираме най-мощните AI системи, ограничаването на самите изследвания може да направи решаването на този проблем по-трудно, а не по-лесно.