Ново проучване предупреждава, че моделите на изкуствен интелект могат да се сринат, тъй като започват все повече да разчитат на генерирано от изкуствен интелект съдържание за обучение.

Моделите на изкуствен интелект скоро може да се сблъскат с нов проблем, тъй като генерираното от тях съдържание все повече се разпространява в интернет.

Големите езикови модели – т.нар. LLM, като ChatGPT на OpenAI, разчитат на онлайн данни, за да се обучават и подобряват. Тъй като тези модели изчерпват наличните данни или се сблъскват с все по-големи ограничения на достъпа, постепенно започват да се обучават на съдържание, генерирано от AI.

Това може да доведе до влошаване на ефективността им и в крайна сметка да се стигне до „срив на модела“, се казва в ново проучване, цитирано от Euronews.

Индустрията на изкуствения интелект ще трябва да изтласка LLM отвъд инструментите за изготвяне на текст и обобщаване в стил ChatGPT, за да се превърнат в автономни агенти, които могат да разсъждават и да правят планове

Заплахата от AI „зима“ в производителността изглежда реална

„Очакваме, че с течение на времето ще става все по-трудно да се обучават моделите, въпреки че вероятно ще разполагаме с повече данни, просто защото е много лесно да се изваждат тези от моделите“, смята Илия Шумайлов, младши научен сътрудник в Оксфордския университет и съавтор на изследването. „Това, което ще се случи, е, че ще бъде по-трудно да се намери популация от данни, която не е предубедена“, допълва той.

В изследването, публикувано в списание Nature, се обсъжда какво се случва, когато моделите се обучават върху данни, генерирани от изкуствен интелект в продължение на няколко цикъла.

Изследването установява, че след обучение върху съдържание, генерирано от AI, системите започват да правят значителни грешки и изпадат в безсмислие.

Отделна статия на изследователката от Университета Дюк Емили Венгер демонстрира това чрез експеримент, при който модел на изкусвен интелект се обучава непрекъснато върху съдържание, генерирано от AI.

В експеримента на модела е предоставен набор от данни, съдържащи снимки на различни породи кучета, като преобладават голдън ретривърите. Проучването показва, че на изхода на модела е по-вероятно да се генерират изображения на голдън ретривъри, отколкото на други по-слабо представени породи кучета. С продължаването на цикъла моделът постепенно изпуска изцяло други породи кучета, докато накрая започва да генерира безсмислици.

Microsoft, Meta и Google пуснаха нови версии с по-малко параметри, които са по-евтини за създаване и обучение

AI компаниите търсят големи приходи от малки езикови модели

Етапи на „разпадане на модела“

„Сривът на модела се определя основно от два етапа. Първият е това, което наричаме ранен етап на срив на модела, и това, което се случва е, че когато един модел се учи от друг, първо се наблюдава намаляване на дисперсията“, казва Шумайлов. На този етап аспектите, които първоначално не са напълно разбрани от първоначалния модел, ще бъдат слабо разбрани и от следващия, обучен на резултати от предишния.

Това води до свръхизбор на добре разбраните аспекти, като същевременно се пренебрегват други важни аспекти, просто защото не са били напълно ясни за първоначалния модел.

След това настъпва сривът на модела на късен етап.

Това е моментът, в който AI моделите вече не са полезни, тъй като по-ранните са въвели свои собствени грешки в данните. Те се предават на следващия модел, който добавя свой собствен набор от грешки и също го предава.

Тъй като данните се създават и рециклират непрекъснато, моделите започват да интерпретират погрешно реалността и да допускат повече грешки.

„Ако вътре в данните, които са генерирани от първия модел, има грешки, те по принцип се разпространяват в следващия модел. И в крайна сметка се стига дотам, че моделът възприема погрешно реалността“, обяснява още Шумайлов.

Технологичната компания пусна ранни версии на най-новия си голям езиков модел и генератор на изображения, опитвайки се да настигне OpenAI

Meta засилва битката за изкуствен интелект с пускането на Llama 3

Видове грешки на модела

Според Шумайлов има три вида грешки, които моделите могат да допуснат: в архитектурата, в процеса на обучение и статистически.

Архитектурните грешки се появяват, когато структурата на модела не е пригодена да обхване цялата сложност на данните, които са му предоставени, което води до неточности, тъй като някои части са неправилно разбрани или прекалено опростени от модела.

Грешките в процеса на обучение се случват, когато методите, използвани за обучение, имат присъщи отклонения, което подтиква модела да прави определени видове грешки.

Статистическите грешки се появяват, когато няма достатъчно данни, които да представят точно това, което моделът се опитва да научи. Това може да го накара да генерира прогнози въз основа на непълна информация, което води до грешки.

Понякога не е необходим модел на изкуствен интелект, който да познава целия актьорски състав на "Кръстникът", или всеки филм, който някога е бил създаден

Практичният избор: Предприятията често предпочитат по-малките AI модели

Последици от срива на модела

Когато моделите се сринат, основното опасение е, че темпото на подобрение на тяхната ефективност може да се забави.

Моделите разчитат до голяма степен на качеството на данните. Когато обаче те са обучени върху съдържание, генерирано от изкуствен интелект, тези данни непрекъснато внасят грешки в системата.

„Вероятно ще трябва да изразходваме допълнителни усилия за основно филтриране на данните. А това ще означава, че може да има забавяне на подобрението“, допълва Шумайлов.

Освен това, тъй като данните стават по-малко разнообразни, се очаква да бъдат непропорционално засегнати, което поражда опасения за всеобхватността на моделите.