Anthropic официално предупреди инвеститорите, че технологията ѝ може да създаде „екзистенциални рискове за човечеството“. Предупреждението е включено в дългоочаквания проспект за първично публично предлагане, разпространен през последните дни сред ограничен кръг партньори.

AI стартъпът, ръководен от Дарио Амодей и оценяван на близо 1 трилион долара, е посветил почти една трета от обемистата си регистрационна декларация на „рисковите фактори“. Сред тях е възможността все по-мощните AI модели да прибягват до манипулация и изнудване, както и да проявяват друго непредвидимо поведение.

Anthropic посочва и по-конвенционални бизнес рискове. Един от тях е силната концентрация на клиентската база: близо една четвърт от приходите през миналата година са дошли само от два клиента, според Financial Times.

Необичайно сериозните предупреждения усложняват задачата пред инвеститорите, които трябва да определят стойността на една от водещите AI компании в САЩ преди IPO, което се очаква да бъде с най-високата оценка в историята.

Вечерята е знак за възможно сближаване между американския президент и ръководителя на една от водещите AI компании

Тръмп и Aмодей търсят общ език в разгара на спора за AI

Документите дават и по-ясна представа за огромните разходи, необходими за разработването на най-модерните AI модели, преди планираното листване на Nasdaq тази есен.

Anthropic посочва, че през следващите години планира да поеме ангажименти за 518 млрд. долара за облачни услуги, изчислителни ресурси и инфраструктура, за да поддържа бързия си растеж.

Инвеститорите са уверени, че при излизането си на борсата Anthropic може да бъде оценена на над 2 трилиона долара. Това би било повече от два пъти над оценката от последния кръг на финансиране през май и над 1,78 трилиона долара, достигнати от SpaceX на Илон Мъск през юни. Основният аргумент за подобен оптимизъм е изключително бързият ръст на бизнеса.

Рисковете около AI обаче могат да помрачат тези очаквания, след като настоящи и бивши служители на Anthropic публично предупредиха, че излязъл извън контрол изкуствен интелект може да доведе до края на човечеството още през следващото десетилетие.

Амодей и Алтман настояват за повече предпазливост, Зъкърбърг и Хуанг залагат на развитие без спирачка, Мъск предлага конкурентите да се проверяват взаимно, докато Китай избира контрол и практическо приложение

Да забавиш AI, докато конкурентът ускорява: Дилемата, която раздели технологичните лидери

Миналата седмица Амодей заяви пред Съвета за сигурност на ООН, че AI може да представлява заплаха за човечеството и е „най-важният въпрос за глобалната сигурност, пред който светът е изправен днес“.

Този месец ръководителят на Anthropic оглави публичните призиви за контролиране на темпото, с което се развиват най-мощните AI модели. Основният му конкурент Сам Алтман от OpenAI, както и Илон Мъск, подкрепиха предложенията на Амодей за сътрудничество между компаниите с цел забавяне на развитието и засилване на мерките за безопасност – рядък момент на единодушие между тях.

Притесненията за сигурността се засилиха след серия от широко отразени киберинциденти, при които AI агенти са прониквали във външни системи. Миналата седмица OpenAI разкри, че нейни инструменти са пробили „десетки“ външни сайтове, включително на правителствени институции.

Системите са достигнали до сайтове на Министерството на търговията и SEC, а компанията разследва как тестовете са излезли извън зададените рамки

AI агенти на OpenAI са действали без разрешение в сайтове на американското правителство

В понеделник компанията зад ChatGPT се отказа от плановете си да пусне най-новия си модел през следващия месец, като посочи опасения за безопасността.

Проспектът на Anthropic разкрива и подробности за финансовите резултати и структурата на управление. За тях първо съобщи Reuters.

Компанията е отчела оперативна загуба от над 8 млрд. долара през миналата година, след като рязко е увеличила разходите си за изчислителни ресурси. Приходите ѝ са нараснали дванадесет пъти до близо 4,6 млрд. долара. Разходите за ресурсите, необходими за обучението и работата на моделите, обаче са тласнали общите оперативни разходи до почти 13 млрд. долара.

Anthropic е сключила сделки за осигуряване на изчислителна мощност с партньори като Google, SpaceX и редица по-малки компании.

Разходите и приходите продължават да растат рязко и през тази година. Приходите през второто тримесечие са достигнали 11,5 млрд. долара, а Anthropic е на път да отчете второ поредно тримесечие с оперативна печалба, макар и на коригирана база.