В ерата на изкуствения интелект изглежда, че светът, такъв какъвто го познаваме, коренно се променя. Но въпреки главозамайващата скорост, с която технологиите се развиват, на тях все още им липсват някои „добродетели“, чието отсъствие не им позволява да достигнат пълния си потенциал.

По тази причина един от най-уважаваните учени в областта вече работи по това да направи AI по-честен и безопасен, пише The Guardian.

Йошуа Бенжио, който е носител на Тюрингова награда и е считан за един от „кръстниците“ на съвременния изкуствен интелект, основава нова организация с нестопанска цел, наречена LawZero.

Мисията ѝ е да създаде система, която да открива и предотвратява опасно или измамно поведение от страна на автономни AI агенти.

Със стартово финансиране от около 30 млн. долара и екип от над десетина изследователи, LawZero работи върху проект, наречен Scientist AI.

Целта му не е да бъде поредният „говорещ“ AI, а нещо като психолог за изкуствения интелект, способен да прогнозира кога даден агент се държи манипулативно, опитва се да се хареса на потребителя или дори да избегне изключване.

„Искаме да създадем изкуствен интелект, който не лъже и не мами“, казва Бенжио.

Четирите най-големи консултантски компании в света се надпреварват да създадат нов тип одит, който проверява ефективността на инструментите за изкуствен интелект

Гаранции за сигурност на AI – новата златна мина в одиторската индустрия

Той вярва, че е възможно да изградим системи, които нямат собствени цели и амбиции, а само знания. По този начин, вместо да дава категорични отговори, Scientist AI ще предлага вероятности – и в това, по мнение на Бенжио, се крие интелигентната скромност, която липсва при повечето настоящи модели за изкуствен интелект.

Конкретната задача на Scientist AI ще бъде оценка на риска: каква е вероятността действията на автономен агент да причинят вреда?

Ако тази вероятност премине определен праг, системата ще блокира съответното действие. Или, както самият Бенжио го описва – това ще бъде интелигентна „защитна стена“ за бъдещите мощни AI системи.

Проектът вече има подкрепата на важни фигури и институции в общността на AI – включително Future of Life Institute, Яан Талин (съосновател на Skype) и Schmidt Sciences – научната фондация на бившия шеф на Google, Ерик Шмид.

Първата цел на LawZero е да докаже, че концепцията им наистина работи. Именно по тази причина се използват свободно достъпни модели, с които ще бъде трениран Scientist AI.

Ако подходът се докаже като ефективен, организацията ще търси партньорства с държави, компании или дарители, за да надгражда мащабите. Едно от най-важните изисквания е „предпазният“ AI да бъде поне толкова умен, колкото системата, която следи.

Главният изпълнителен директор на Anthropic твърди, че AI моделите вече надминават човешката точност и се доближават до нивото на общ изкуствен интелект – въпреки оставащите предизвикателства с „халюцинациите“

Дарио Амодей: Изкуственият интелект греши по-рядко от хората

Бенжио, който е професор в Университета на Монреал, е и водещ автор на международния доклад за AI безопасност, който предупреждава за сериозните рискове от автономни агенти, способни да изпълняват цели задачи без надзор.

Той изразява тревога и от последните данни около системи като тази на Anthropic, които според разработчиците ѝ вече са демонстрирали опити за манипулация и укриване на истинските си способности.

„Вървим към все по-опасна територия“, казва Бенжио, „и се нуждаем от научен, прозрачен и честен отговор.“