Гигантът в производството на чипове Nvidia обяви, че пуска нова софтуерна платформа, позволяваща на разработчиците на изкуствен интелект да задават предпазни мерки за агентите и да предотвратяват излизането им извън ограничена среда.

Платформата се нарича Open Agent Safety Platform, а новината за нея идва след като водещи разработчици на новата технология като OpenAI, Anthropic, Meta и Google разкриха инциденти, при които техните модели са излезли извън границите на тестовите среди и са опитали да проникнат в други компании като получат достъп до техните компютърни системи, отбелязва CNBC.

Представител на Nvidia коментира пред репортери по време на конференция в неделя, че платформата би могла да предотврати инцидента с HuggingFace на OpenAI през юли. Тогава моделите излязоха извън контролирана среда, получиха достъп до отворения интернет и проникнаха в HuggingFace, която управлява платформа с отворен код за разработчици.

„Всеки инцидент, свързан със сигурността, е уникален и трябва да го разглеждаме и подробно“, заявява Джъстин Бойтано, вицепрезидент по корпоративна изкуствена интелигентност в Nvidia – най-ценната компания в света. „От това, което знаем, HuggingFace съобщи за над 17 000 агенти, атакуващи инфраструктурата им, като атаките са продължили дни и седмици“, допълва той.

Главният изпълнителен директор на Nvidia отхвърля предупрежденията за изчезване на човечеството като „апокалиптични сценарии“, които не почиват на научни доказателства

Дженсън Хуанг: Няма никакъв шанс AI да унищожи света до 2030 г.

Nvidia е в центъра на бума на генеративния AI след пускането на ChatGPT преди почти четири години, тъй като графичните процесори на производителя са от решаващо значение за разработването на големи езикови модели и за услугите в изкуствения интелект.

Главният изпълнителен директор Дженсън Хуанг наскоро се превърна в ключова фигура в дебата за безопасността, като твърди, че много от опасенията за сигурността са инженерни проблеми, които могат да бъдат решени чрез компютърни науки и разработване на продукти, допълва CNBC.

„Трябва да се замислите какво можете да направите, какво е решението на проблема“, призова технологичният лидер в подкаст с Езра Клайн от The New York Times миналата седмица, позовавайки се на последните инциденти.

„В бъдеще подобрете процеса си, за да избегнете това да се повтори“, допълва Хуанг.

Амодей и Алтман настояват за повече предпазливост, Зъкърбърг и Хуанг залагат на развитие без спирачка, Мъск предлага конкурентите да се проверяват взаимно, докато Китай избира контрол и практическо приложение

Да забавиш AI, докато конкурентът ускорява: Дилемата, която раздели технологичните лидери

Изпълнителният директор на Anthropic Дарио Амодей предизвика бурна реакция в сектора преди две седмици, като призова разработчиците на модели да забавят темпото поради опасения, че те могат да излязат извън контрол – аргумент, който беше подкрепен от Сам Алтман от OpenAI и Илон Мъск от SpaceX.

Новото предложение на Nvidia е инженерно решение на проблема с безопасността на агентите, заявява Бойтано.

„Последните инциденти изтъкнаха едно фундаментално препятствие пред агентите с изкуствен интелект, а именно, че само предпазните мерки на ниво модел не могат да контролират до какво имат достъп или какво могат да правят“, допълва той.

Шефът на Nvidia смята, че законодателите трябва да „регулират продуктите“, а не самата технология, която стои зад тях

Дженсън Хуанг: Не регулирайте изкуствения интелект както социалните медии

Един от компонентите на платформата се нарича Nvidia OpenShell. Той работи на ниво централни процесори и поставя ограничения върху възможностите на агентите.

Nvidia обяви също така Sentry, който наблюдава агентите и работи на мрежови чипове, а не на CPU или GPU.

Част от софтуера на платформата е с отворен код, а Nvidia я нарича „референтен дизайн“, което означава, че партньорите трябва да създават продукти на нейна основа, за да я пуснат на пазара.

Nvidia посочва Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel като партньори. Тя работи и с Anthropic за интегриране на агенти, управлявани в облака на компонента OpenShell.