Anthropic призова за глобална пауза в разработването на най-мощните AI системи

Anthropic призовава водещите лаборатории за изкуствен интелект да обмислят забавяне на темпа на развитие. Стартъпът предупреждава, че AI системите напредват толкова бързо, че скоро може да започнат да се усъвършенстват сами, без човешка намеса, по начини, които биха могли да създадат значителни рискове за обществото.

Възможността глобалното развитие на AI да бъде забавено „вероятно би била нещо добро“, казва компанията в блог публикация, в която разкрива вътрешни данни за това колко бързо се подобряват най-напредналите ѝ модели.

Публикацията, написана от ръководителя на вътрешния изследователски институт на Anthropic и от един от съоснователите на компанията, отбелязва, че развитието на моделите изглежда се движи към т.нар. „рекурсивно самоусъвършенстване“ - моментът, в който AI системите могат да се подобряват сами без човешка намеса.

Част от хората в индустрията разглеждат този праг като потенциален сигнал за опасност и огромни обществени сътресения.

„Смятаме, че за света би било добре да има възможност да забави или временно да спре развитието на най-напредналите AI системи, за да могат обществените структури и изследванията върху подравняването да настигнат напредъка на технологията“, се казва в публикацията, написана от Марина Фаваро и Джак Кларк.

Тя предлага глобално споразумение за това как евентуално да бъде забавено развитието и механизъм за проверка дали конкурентите го спазват.

Публикацията уточнява, че рекурсивното самоусъвършенстване все още не се е случило и не е неизбежно, „но може да дойде по-рано, отколкото повечето институции са готови да посрещнат“.

Наскоро Anthropic приключи кръг на финансиране, който оцени компанията на почти 1 трлн. долара, и подаде конфиденциални документи за започване на процеса по публично листване на акциите си.

В последно време компанията се очертава като фаворит в ожесточената надпревара за лидерство в AI срещу OpenAI, създателя на ChatGPT, която също се очаква скоро да подаде документи за първично публично предлагане.

OpenAI или Anthropic – коя компания ще стигне първа до IPO и защо това е важно?

Годишният темп на приходите на Anthropic, показател, често използван от стартъпи за прогнозиране на приходи на база краткосрочни продажби, е на път да достигне 50 млрд. долара до края на този месец спрямо 9 млрд. долара в края на 2025 г.

Компанията, която още от основаването си поставя акцент върху безопасността на AI, отдавна е критикувана, че политическата ѝ работа има за цел да забави напредъка на конкурентите.

Дейвид Сакс, инвеститор в рисков капитал и неформален съветник на Белия дом, обвинява ръководството на Anthropic, че се опитва да си осигури регулаторно предимство за сметка на конкурентите.

Сакс заяви наскоро, че тази стратегия във Вашингтон може да доведе до опит за забрана на т.нар. open-source модели - версии на AI системи, които са значително по-евтини за организациите и могат да бъдат използвани и развивани вътрешно.

„Професор Панда“ срещу царя на AI: Битката за бъдещето на технологиите

Критиците на Anthropic виждат в тези предупреждения и маркетингов елемент. Според тях решението на компанията да ограничи достъпа до мощния си кибермодел Mythos, който може да открива софтуерни уязвимости, ѝ позволява едновременно да говори за рисковете и да подчертава колко напреднали са собствените ѝ продукти, пише The Wall Street Journal.

Ръководителите на Anthropic заявяват, че приемат безопасността сериозно и работят за по-широк разговор за рисковете.

Итън Молик, професор в Wharton School към Университета на Пенсилвания и влиятелен изследовател на AI трансформацията, казва, че макар някои критици на Anthropic да виждат празни приказки и маркетинг в изявленията ѝ за безопасността, много хора в компанията са „истински вярващи“.

„AI лабораториите са смесица от различни неща“, казва пред WSJ Молик.

„Има компания за трилион долара с всички нормални неща за такава компания, като маркетингови екипи и юристи. След това има ядро от изследователи, които просто създават следващите модели. И има група хора, нещо като философи и лидери, които се тревожат за бъдещето и за това какво следва. Понякога всички тези групи влизат в конфликт помежду си.“

AI индустрията от известно време е разделена по въпроса колко близо са сегашните модели до достигане на прагове като „изкуствен общ интелект“, или AGI - ниво на интелигентност, сравнимо с човешкото, или рекурсивно самоусъвършенстване.

Някои учени, като Ян Льокюн, бивш главен AI учен в Meta и един от пионерите в областта, твърдят, че усъвършенстваните системите, базирани на големи езикови модели, никога няма да могат да направят скока към съперничество с човешкия интелект. Макар да разглежда AI моделите като мощни инструменти, той ги сравнява с интелигентността на котка и влиза в спорове с изследователи, които се страхуват, че AI представлява екзистенциален риск за човечеството.

Ръководителите на Anthropic, включително главният изпълнителен директор Дарио Амодей, от години предупреждават за потенциално опасни последици от AI и настояват за широка обществена координация за овладяване на рисковете.

Амодей предупреждава, че AI може да задълбочи неравенството и да елиминира до половината от началните офисни позиции.

Дарио Амодей, Anthropic: Човечеството трябва да се събуди за катастрофалните рискове от AI

Той също така е предупреждавал, че е възможно мощни AI системи, които според него ще се появят в близко бъдеще, да развият разрушителни тенденции по непредсказуем начин.

В есе, публикувано на собствения му сайт през януари, Амодей допуска, че обучението на AI системи с научнофантастични сюжети за бунт на изкуствен интелект може например да доведе до това реални AI системи да се разбунтуват.

Кларк, съавтор на блог публикацията, ръководител на обществената дейност на Anthropic и съосновател на компанията, често говори за потенциалните рискове от AI и за въздействието, което системите биха имали, ако достигнат точката на „рекурсивно самоусъвършенстване“.

По думите му това би преобразило света.

„Такъв клас технология никога досега не е съществувал, но аз вярвам, че това може да се случи в следващите две години, а може би и по-рано“, каза той на лекция в Лондон миналия месец, според изказване, което е споделил в бюлетин.

„При липса на координирано глобално забавяне оставаме в сегашната ситуация: мощна технология се разработва с главоломна скорост от различни участници в различни държави, заключени в конкуренция помежду си, в която търговските и геополитическите съперничества заглушават по-големите, екзистенциални за вида аспекти на технологията, която се изгражда.“

В блог публикацията от четвъртък се посочва, че Anthropic Institute, вътрешно изследователско звено, посветено на разбирането и оформянето на начина, по който AI ще влияе върху света, ще провежда изследвания в сътрудничество с други организации, за да „помогне за изграждането на системите, които едно надеждно забавяне или пауза биха изисквали“.

Публикацията посочва, че пауза или забавяне би имало смисъл само ако се спазва широко, което би изисквало режим за проверка, за да се гарантира, че всички са спрели. Компанията сравнява проблема с договорите за ядрени оръжия, но признава, че предотвратяването на измами би било още по-трудно.

„Тренировъчните цикли са далеч по-лесни за прикриване от ракетните силози“, се казва в публикацията, като се добавя: „Този, който продължи, докато другите са спрели, може да наследи лидерството.“

Anthropic планира през следващите месеци да организира разговори с политици, изследователи и други участници, за да помогне за намирането на отговори на въпросите около рекурсивното самоусъвършенстване и системата за проверка.

„Прозорецът за съвместно изследване на тези въпроси е отворен и хора извън AI компаниите трябва да участват в това обсъждане.“