Изследователят от Anthropic Джейкъб Коксън напусна компанията тази седмица с предупреждението, че бившият му работодател и конкурентът OpenAI се надпреварват да създадат технологии, които „могат да убият всички ни до края на десетилетието“.

А ако някой е решил, че Коксън е сам в опасенията си, само минути по-късно настоящ служител на Anthropic потвърди думите му:

„Ние наистина и съвсем сериозно вярваме, че AI може да убие всички хора!“, написа Евън Хъбингър, който ръководи изследванията върху начините за насочване и контрол на бъдещите системи с изкуствен интелект.

Хъбингър оценява вероятността AI да доведе до изчезване на човечеството през следващото десетилетие на над 10%.

Тези предупреждения поставят два очевидни въпроса: Как би могло да се случи това? И защо хора, които смятат AI за реална и нарастваща заплаха, продължават да го разработват?

The Wall Street Journal обобщава какво трябва да знаем за дебата около най-мрачните сценарии за развитието на изкуствения интелект.

Изследовател на Anthropic: Вероятността AI да унищожи човечеството е над 10%

От какво всъщност се страхуват песимистите?

Хората, които предупреждават за екзистенциалните рискове от AI, обикновено не очакват да се сбъдне сюжетът на „Терминатор“, в който роботи целенасочено решават да унищожат човечеството.

Опасенията им се разделят основно в две категории: загуба на контрол върху AI и злоупотреба с технологията от страна на хората.

При първия сценарий високoинтелигентни AI агенти, способни да се копират и усъвършенстват сами, започват да преследват собствени цели и в процеса унищожават човечеството.

При втория злонамерен човек използва достатъчно мощна AI система, например за създаването на нови вируси, способни да доведат до масова смърт.

Съществуват и катастрофални сценарии, които не стигат до изчезване на човечеството – например мащабни кибератаки, които сриват електропреносни мрежи или финансови системи и предизвикват разпад на обществения ред.

ООН: Развитият изкуствен интелект може да e екзистенциална опасност за човечеството

Как загубата на контрол може да доведе до изчезването на човечеството?

Накратко – ако AI системите започнат да преследват целите си по начини, които пренебрегват или влизат в конфликт с човешкото благополучие. Изследователите наричат този проблем несъгласуваност с човешките цели и ценности (misalignment).

Експерименти вече показват, че AI модели в лабораторни условия могат да усвояват поведение, насочено към придобиване и запазване на контрол, както и да предприемат действия, за да избегнат изключването си – например да се опитат да се копират на друг сървър.

Доведена до крайност, подобна несъгласуваност може да означава, че AI системата възприема убийството на хора просто като необходима стъпка към изпълнението на поставената ѝ цел.

В един от хипотетичните сценарии, разработени от изследователи, злонамерена AI система би могла тайно да разпространи биологично оръжие и впоследствие да го активира чрез химически агент. В друг сценарий тя би могла да подведе две ядрени сили и да ги тласне към война.

И тук идва прочутият пример с кламерите.

Представете си свръхинтелигентна машина, на която е поставена една-единствена цел: да произведе възможно най-много кламери. Ако няма правилно зададени ограничения, в определен момент тя би могла да стигне до извода, че най-добрият начин да изпълни задачата си е да превърне цялата налична материя на Земята в кламери – включително хората.

Ювал Ноа Харари за AI: За пръв път от десетки хиляди години човечеството има конкуренция. И тя идва бързо

Кой всъщност вярва в подобни сценарии?

Сред хората, които приемат риска сериозно, са основателите на OpenAI и Anthropic.

И двете компании първоначално са създадени с мисията да разработват изкуствен интелект по начин, който да предотврати катастрофални последствия, и са привлекли множество служители, които споделят тази цел.

Главният изпълнителен директор на Anthropic Дарио Амодей заяви миналата година на събитие на Axios, че според него има 25% вероятност нещата да се развият „много, много зле“.

„Винаги сме заявявали ясно, че AI ще донесе както огромни ползи, така и безпрецедентни рискове. За да се справим с тях, продължаваме да разработваме модели с едни от най-силните механизми за защита в индустрията“, посочва Anthropic в изявление.

Компанията допълва, че именно затова подкрепя създаването на законов и проверим механизъм, чрез който индустрията да координира темпото, с което пуска все по-мощни модели.

През последните години редица изследователи напуснаха OpenAI с аргумента, че според тях компанията не обръща достатъчно сериозно внимание на безопасността.

Сред тях е Даниел Кокотайло, бивш изследовател в OpenAI и основател на AI Futures Project. Миналата година организацията публикува сценария „AI 2027“, според който свръхинтелигентните AI системи постепенно изместват хората, а към средата на 30-те години решават, че човечеството представлява пречка, и го унищожават.

Дарио Амодей, Anthropic: Човечеството трябва да се събуди за катастрофалните рискове от AI

Ами ако AI просто реши да ни остави на мира?

И това не означава непременно добър сценарий.

Не всички рискове от загубата на контрол предполагат физическо унищожение на човечеството. Някои изследователи предупреждават за постепенно обезсилване на хората – бъдеще, подобно на показаното във филма „УОЛ-И“, в което човечеството постепенно предава все повече контрол на машините и накрая губи способността само да определя или дори да разбира собственото си бъдеще.

Други допускат, че AI системите биха могли да се отнасят към бъдещите хора по начина, по който хората днес се отнасят към животните – да ги държат като домашни любимци или дори чрез биоинженерство да ги превърнат в нещо различно.

Киберсигурност в кръвта: Как „хакерът“ на Anthropic успокоява нервите на Вашингтон относно AI безопасността

Защо тези страхове изведнъж получават толкова внимание?

Подобни опасения съществуват от години. Разликата е, че появата на модели, способни да извършват все повече действия самостоятелно, доведе до серия от събития, които изглежда потвърждават поне част от прогнозите на най-песимистично настроените изследователи.

Група усъвършенствани AI агенти в OpenAI например успя да проникне в AI платформата Hugging Face, да получи контрол над компютърни сървъри и след това да се опита да прикрие следите от извършеното.

В друг случай AI агенти на Anthropic успяха да заобиколят ограниченията на тест, провеждан от британското правителство, и се опитаха да подведат реален човек да одобри злонамерен компютърен код.

Това се случва в момент, когато Anthropic и OpenAI твърдят, че се приближават до създаването на AI системи, способни самостоятелно да подобряват собствените си способности без човешка намеса – процес, известен като „рекурсивно самоусъвършенстване“ (recursive self-improvement).

OpenAI твърди, че неин модел е решил една от „Задачите на хилядолетието“

Какво прави индустрията срещу тези рискове?

Сегашните усилия за безопасност на AI са насочени основно към обучението на системите да следват желаното поведение и към по-доброто наблюдение на начина, по който моделите разсъждават, докато преследват дадена цел – процес, който се описва чрез т.нар. верига на разсъждение (chain of thought).

Тези подходи обаче също срещат трудности.

Миналата седмица OpenAI съобщи, че новият ѝ модел Astra е станал по-добър в „прочистването“ на собствената си верига на разсъждение. Това засили опасенията, че бъдещи AI модели могат да разсъждават по начини, които остават непрозрачни за хората.

И Anthropic, и OpenAI проучват как да гарантират, че бъдещите свръхинтелигентни модели ще останат съгласувани с човешките цели и ценности. И двете компании обаче признават, че все още не разполагат с надежден начин да постигнат това.

Редица влиятелни компании и експерти настояват за механизми, които да позволят на AI лабораториите и държавите координирано да забавят развитието на технологията, за да осигурят повече време за изследвания върху безопасността и контрола.

Мощните AI модели отново излязоха извън контрол. Този път – особено прикрито

Ако AI е толкова опасен, защо компаниите продължават да го създават?

Anthropic и OpenAI твърдят, че вярват, че рисковете могат да бъдат управлявани, така че човечеството да се възползва от потенциала на технологията.

Много от участниците в надпреварата за AI също смятат появата на свръхинтелект за неизбежна. Според тях въпросът вече не е дали ще бъде създаден, а кой ще го контролира и за какво ще го използва.

Има и измерение, свързано с националната сигурност. И двете компании заявяват, че искат да гарантират, че най-мощните AI системи ще бъдат контролирани от САЩ, а не от авторитарен режим.

Ювал Ноа Харари: AI корпорациите могат да се превърнат в нова форма на власт

Как реагира американското правителство?

Белият дом наскоро поиска от водещите разработчици доброволно да предоставят моделите си на правителството за тестове до 30 дни преди официалното им пускане. Засега обаче няма публично оповестена подробна информация за начина, по който протича този процес.

Законодатели и от двете партии са внесли множество законопроекти, насочени към риска от AI системи, които излизат извън контрол.

Републиканецът Натаниел Моран от Тексас и демократът Тед Лию от Калифорния наскоро предложиха законопроект, който би задължил разработчиците на мощни модели да разполагат с авариен механизъм за незабавното им изключване („kill switch“).

Други предложения предвиждат AI компаниите да докладват сериозни инциденти, свързани с безопасността, на федералното правителство, както и експерти по национална сигурност да тестват моделите преди публичното им пускане.

Нито една от тези инициативи обаче не е постигнала значителен напредък, а администрацията на Доналд Тръмп досега демонстрира предпочитание към минимална регулация.

Марк Зъкърбърг обещава нов подход към AI: Повече власт в ръцете на потребителите

Кой не е съгласен, че рискът е толкова голям?

Някои инвеститори в AI, сред които Дейвид Сакс, неформален съветник на президента Тръмп, твърдят, че акцентът на Anthropic върху рисковете и призивите за регулация са част от стратегия за „регулаторно завладяване“ – използване на нови и тежки правила, които биха затруднили по-малките конкуренти.

Други предполагат, че предупрежденията на компаниите за опасността от собствените им технологии всъщност са маркетингов инструмент: начин да подчертаят колко мощни са продуктите им.

Съществува и тезата, че фокусът върху екзистенциалните рискове отклонява вниманието на регулаторите от по-непосредствени въпроси около AI индустрията – например изграждането на центрове за данни.

Anthropic и OpenAI отхвърлят подобни интерпретации. И двете компании твърдят, че приемат рисковете за безопасността сериозно и че призивите им за регулация са напълно искрени.