Близо половината от служителите на OpenAI, чиято задача е била да анализират дългосрочните рискове от свръхмощния изкуствен интелект, са напуснали компанията през последните няколко месеца.

Това твърди Дейниъл Кокотаджло, бивш изследовател на мениджмънта в технологичния стартъп.

Според учредителния устав на компанията нейната мисия е да разработи технология, известна като общ изкуствен интелект, или AGI, по начин, който „е от полза за цялото човечество“. OpenAI определя AGI като автономни системи, които могат да извършват икономически най-ценната работа, както в момента правят хората, обяснява Fortune.

Тъй като такива системи могат да представляват значителни рискове, включително, според някои изследователи, възможността да излязат от контрол и да представляват екзистенциална заплаха за цялото човечество, OpenAI от самото си основаване ангажира голям брой изследователи, фокусирани върху т.нар. „безопасност на AGI“ – техники за гарантиране, че една бъдеща система на AGI няма да представлява катастрофална или дори екзистенциална опасност.

Милиардерът твърди, че създателят на ChatGPT и неговият главен изпълнителен директор са дали приоритет на печалбата пред ползите за човечеството

Илон Мъск съди Сам Алтман и OpenAI заради нарушаване на мисията на компанията

Именно тази група изследователи са си тръгнали от компанията, според Кокотаджло. Сред напусналите са Ян Кирхнер, Колин Бърнс, Джефри Ву, Джонатан Уесато, Стивън Билс, Юрий Бурда, Тодор Марков и съоснователят Джон Шулман. Те последваха високопоставените оставки през май на главния учен Иля Суцкевер и Ян Лейке.

При обявяването на новината за напускането си в социалната платформа X, Лейке заяви, че безопасността все повече е „отстъпвала пред лъскавите продукти“ в компанията за изкуствен интелект в Сан Франциско.

Кокотаджло, който се присъединява към OpenAI през 2022 г. и напуска през април 2023 г., заяви пред Fortune в ексклузивно интервю, че през 2024 г. се наблюдава бавно и постоянно напускане. По думите му, около 30 служители, които са работили по въпроси, свързани с безопасността на AGI, са останали само около 16.

„Това не е нещо координирано. Мисля, че хората се отказват поединично“, допълва експертът, тъй като OpenAI продължава да се ориентира към продукти и търговска дейност, като по-малко се набляга на научните изследвания, целящи да разберат как да се гарантира, че AGI могат да се разработват безопасно.

Високопоставеното попълнение към отбора вероятно има за цел да задоволи критиците, които смятат, че компанията се движи по-бързо, отколкото е разумно за човечеството, пускайки модели и услуги, без да оценява адекватно рисковете от тях

Дори и ОpenAI си има „полковник“

През последните месеци OpenAI нае Сара Фриър за финансов директор и Кевин Уейл за главен продуктов директор, а миналата седмица компанията привлече бившия изпълнителен директор на Meta Ирина Кофман за ръководител на стратегическите инициативи.

Вълната от напускане показва доколко OpenAI е внимателна по отношение на възможните рискове на разработваната от нея технология и дали мотивите за печалба карат компанията да предприема действия, които могат да представляват опасност. Самият Кокотаджло и преди е наричал надпреварата на големите технологични компании в разработването на AGI „безразсъдна“.

Експертите по безопасността на AGI в момента се занимават предимно с това как да контролират бъдещите системи и някои от най-ефективните начини за по-добър контрол на големите езикови модели, които са в основата на софтуера за изкуствен интелект, за да се гарантира, че те не използват расистки или токсичен език, не пишат зловреден софтуер или не предоставят на потребителите инструкции за производство на биологично оръжие.

Компанията на Сам Алтман е възразила срещу стремежа на ЕС да проучи всички данни, предоставени на нейните модели за обучение

Желязно лоби: OpenAI оказва натиск на политици заради контрола над изкуствения интелект

Макар Кокотаджло да не е наясно с конкретните причини за всички оставки, според него, те съвпадат с убеждението му, че OpenAI е „доста близо“ до разработването на AGI, но не е готова „да се справи с всичко, което произтича“.

Това е довело до онова, което описва като „смразяващ ефект“ в рамките на компанията върху онези, които се опитват да публикуват изследвания за рисковете от AGI, и до „нарастващо влияние от страна на комуникационните и лобистките крила в OpenAI“ върху това какво е подходящо да се публикува.

OpenAI не отговори на запитването за коментар.

Бордът на OpenAI разбрал от X за пускането на ChatGPT

Защо уволниха и върнаха Сам Алтман – бивш член на ръководството разкри истината

Кокотаджло заявява, че собствените му опасения относно променящата се култура в OpenAI са започнали още преди драмата в заседателната зала през ноември 2023 г., когато главният изпълнителен директор Сам Алтман беше уволнен и след това бързо възстановен на поста.

По това време трима членове на борда на OpenAI, фокусирани върху безопасността на AGI, бяха отстранени.

„Това сякаш подпечата сделката. След това нямаше връщане назад“, казва той и добавя, че макар да няма достъп до случващото се зад кулисите, има усещането, че Сам Алтман и президентът Грег Брокман (който излезе в продължителен отпуск) са „консолидирали властта“ оттогава. „Хората, които са съсредоточени основно върху мисленето за безопасността и готовността на AGI, са все по-маргинализирани“, допълва той.

Компанията въвежда пет нива по пътя към общия изкуствен интелект и определя себе си на второ

Колко далеч е OpenAI от AGI

Въпреки това много ръководители на изследвания в областта на AI, включително бившият съосновател на Google Brain Андрю Нъг, професорът от Станфордския университет Фей-Фей Ли и главният учен на Meta Ян Лекън, смятат, че фокусът на общността за безопасност на върху предполагаемата заплаха от AI за човечеството е преувеличен.

Според тях AGI е все още на десетилетия разстояние и AI може да помогне за решаването на истинските екзистенциални рискове за човечеството, включително изменението на климата и бъдещите пандемии.

Освен това твърдят, че хиперфокусът върху риска от AGI, често от страна на изследователи и организации, финансирани от организации, свързани с противоречивото движение за ефективен алтруизъм, ще доведе до закони, които задушават иновациите и наказват разработчиците на модели, вместо да се фокусират върху приложенията на моделите на изкуствен интелект.

GPT-4 е най-глупавият модел, който някога ще ни се наложи да използваме, смята предприемачът

Сам Алтман: Не ми пука дали ще горим по $50 милиарда годишно. Изграждаме AGI

Въпреки всички тези събития, Кокотаджло не съжалява, че се е присъединил към OpenAI. „Там научих много полезни неща. Имам чувството, че вероятно съм допринесъл за положителна промяна“, казва той, но смята, че е трябвало да напусне по-рано. „Бях започнал да го обмислям още преди кризата в борда и, погледнато в ретроспекция, трябваше просто да го направя.“

По думите му, в компанията със сигурност има и други хора, фокусирани върху безопасността на настоящите модели на изкуствен интелект. След разпускането на екипа Superalignment, през май OpenAI обяви нов комитет за безопасност и сигурност, „отговорен за изготвянето на препоръки относно критични решения за безопасност и сигурност за всички проекти на OpenAI“.

„Нашата задача е да създадем AGI; не бих казала, че тя е да изградим свръхинтелигентност“, казва високопоставен ръководител на OpenAI

OpenAI започва обучението на следващия си модел, но съображенията за безопасност продължават

Този месец OpenAI назначи професора от университета Карнеги Мелън Зико Колтър, чиято работа е насочена към сигурността на AI, за член на своя борд на директорите.

За останалите в компанията, Кокотаджло предупреждава, че не трябва да се мисли групово на фона на надпреварата кой първи ще разработи AGI.

„Част от случващото се е, че това, което се счита за разумно мнение в компанията, се оформя от това, което мисли мнозинството, а също и от бонусите за служители. Така че не е изненадващо, че компаниите стимулират надпреварата за AGI.“, допълва експертът.