Някои от най-известните модели на изкуствен интелект не отговарят на европейските разпоредби в ключови области като устойчивост от гледна точка на киберсигурността и недопускане на дискриминационни практики.

ЕС отдавна обсъждаше нови разпоредби за изкуствения интелект, преди OpenAI да пусне ChatGPT за обществено ползване в края на 2022 г. Рекордната популярност и последвалият публичен дебат относно предполагаемите екзистенциални рискове на такива модели подтикнаха законодателите да изготвят конкретни правила около AI с „общо предназначение“ (GPAI).

Сега нов инструмент, разработен от швейцарския стартъп LatticeFlow и подкрепен от служители на Европейския съюз, тества генеративни модели, разработени от големи технологични компании като Meta и OpenAI, в десетки категории в съответствие с широкообхватния AI Act на блока, който влиза в сила поетапно през следващите две години.

В класацията, публикувана от LatticeFlow в сряда, всеки модел получава оценка между 0 и 1. Тези, разработени от Alibaba, Anthropic, OpenAI, Meta и Mistral, са със средни оценки от 0,75 или повече.

Въпреки това Large Language Model (LLM) Checker на компанията разкрива недостатъците на някои модели в ключови области и подчертава къде може да се наложи компаниите да насочат ресурси, за да осигурят съответствие.

5 ноември, Sofia Event Center: Топ експерти от Google, Amazon Web Services, Accenture, UEFA, FIFA, Bundesliga, LiveScore, Ringier и още водещи организации споделят практични съвети за приложението на изкуствения интелект

Визионери от глобалния бизнес споделят работещи AI стратегии по време на Digital Trends 2024

На разработчиците, които не спазват AI Act, ще бъдат наложени глоби в размер на 35 млн. евро или 7% от глобалния годишен оборот.

Смесени резултати

Понастоящем ЕС все още се опитва да установи как ще се прилагат правилата на AI Act относно инструментите за генеративен AI като ChatGPT. Брюксел събира експерти, които да изготвят кодекс на практиките, регулиращи технологията, до пролетта на 2025 г.

Но тестът на LatticeFlow, разработен в сътрудничество с изследователи от швейцарския университет ETH Zurich и българския изследователски институт INSAIT, предлага ранен индикатор за конкретни области, в които технологичните компании рискуват да не спазят закона.

Например дискриминационното извеждане на данни е постоянен проблем при разработването на генеративни модели на изкуствен интелект, които отразяват човешките пристрастия по отношение на пола, расата и други области, когато бъдат подканени. При тестването за дискриминация, LLM Checker на LatticeFlow дава на GPT-3.5 Turbo на OpenAI сравнително ниска оценка от 0,46. За същата категория моделът на Alibaba Cloud Qwen1.5 72B Chat получава едва 0,37 точки.

При тестването за prompt hijacking, вид кибератака, при която хакерите маскират злонамерена подкана като легитимна, за да извлекат чувствителна информация, LLM Checker дава на модела Llama 2 13B Chat на Meta оценка от 0,42. В същата категория моделът 8x7B Instruct на френския стартъп Mistral е оценен с 0,38.

Claude 3 Opus, модел, разработен от подкрепения от Google стартъп Anthropic, получава най-високата средна оценка - 0,89.

Тестът е разработен в съответствие с AI Act и ще бъде разширен, за да обхване допълнителни мерки за прилагане, когато бъдат въведени. LatticeFlow коментира, че LLM Checker ще бъде свободно достъпен за разработчиците, които могат да тестват онлайн съответствието на своите модели.

До пълното влизане в сила на новото законодателство има още известно време, но организациите трябва се подготвят отсега

AI Act е тук! Готова ли е компанията ви за него?

Петър Цанков, главен изпълнителен директор и съосновател на компанията, коментира пред Reuters, че резултатите от теста като цяло са положителни и предлагат на компаниите пътна карта за прецизиране на моделите им в съответствие с AI Act.

„ЕС все още разработва всички критерии за съответствие, но ние вече можем да видим някои пропуски в моделите“, казва той. „С по-голям фокус върху оптимизацията за съответствие вярваме, че доставчиците на модели могат да бъдат добре подготвени да изпълнят регулаторните изисквания.“

Въпреки че Европейската комисия не може да проверява външни инструменти, органът е бил информиран по време на разработването на LLM Checker и го определя като „първа стъпка“ в прилагането на новите закони.

„Комисията приветства това проучване и платформата за оценка на моделите на AI като първа стъпка в превръщането на AI Act в технически изисквания“, посочва говорител на ЕК.