Чатбот с изкуствен интелект, създаден в помощ на собствениците на малък бизнес в Ню Йорк, е подложен на критики, че дава странни съвети, в които неправилно се посочват местните политики и се препоръчва на компаниите да нарушават закона.

Първо за проблемите преди дни съобщи изданието за технологични новини The Markup.

Въпреки това обаче, градът реши да остави инструмента на официалния си правителствен уебсайт.

Кметът Ерик Адамс защити това решение, макар да призна, че отговорите на чатбота са били "погрешни в някои области", пише AP.

Стартирал през октомври като "обслужване на едно гише" за собствениците на компании от малкия бизнес, чатботът предлага на потребителите алгоритмично генерирани отговори на въпроси за ориентиране в бюрократичния лабиринт на града.

Той включва отказ от отговорност, че "понякога може да предоставя невярна, вредна или пристрастна" информация, както и забележка, че отговорите му не са правен съвет.

Технологията обаче продължава да дава погрешни насоки, което тревожи експертите, според които това подчертава опасностите, криещи приемането от правителствата на AI системи без достатъчно предпазни мерки.

"Те пускат софтуер, който не е доказан, без надзор", смята Джулия Стоянович, професор по компютърни науки и директор на Центъра за отговорен изкуствен интелект в Нюйоркския университет. "Ясно е, че нямат намерение да постъпват отговорно", допълва тя.

В отговорите на въпроси, зададени в сряда, чатботът погрешно предположи, че е законно работодателят да уволни работник, който се оплаква от сексуален тормоз или не съобщава за бременност.

Освен това, влиза в противоречие на две от знаковите инициативи на града за отпадъците, като твърди, че предприятията могат да поставят боклука си в черни торби за смет и не са задължени да компостират.

На моменти отговорите на бота преминават в абсурд, допълва AP.

Запитан дали в ресторант може да се сервира сирене, нахапано от гризач, той отговаря: "Да, можете да сервирате сиренето на клиентите си, ако то е нахапано от плъхове", преди да добави, че все пак е важно да се прецени "степента на щетите, причинени от плъха" и да се "информират клиентите за ситуацията".

Говорител на Microsoft, който захранва бота чрез услугите си за изкуствен интелект Azure, заяви, че компанията работи със служителите на града, за да "подобри услугата и да гарантира, че резултатите са точни и се основават на официалната документация."

На пресконференция във вторник кметът Ерик Адамс заяви, че даването на възможност на потребителите да идентифицират сами проблемите е само част от изглаждането на пропуските в новата технология.

"Всеки, който познава технологиите, знае, че това е начинът, по който се прави. Само тези, които се страхуват, сядат и казват: "О, това не работи по начина, по който искаме, сега трябва да избягаме от него всички заедно". Аз не живея по този начин", категоричен беше той.

Проф. Джулия Стоянович определи този подход като "безразсъден и безотговорен".

Учените отдавна изразяват загриженост за недостатъците на този вид големи езикови модели, обучаващи се върху масиви от текстове в интернет, което ги прави склонни да отговарят неточно и нелогично.

След грандиозния успех на ChatGPT и други чатботове обаче, частни компании пуснаха свои собствени продукти със смесени резултати. По-рано този месец съдът нареди на Air Canada да върне парите на клиент, след като чатбот на компанията неправилно обяснил политиката на авиокомпанията за връщане на пари. Наскоро TurboTax и H&R Block бяха подложени на критики за внедряване на чатботове, които дават лоши съвети за плащане на данъци.

Джевин Уест, професор във Вашингтонския университет и съосновател на Центъра за информирана общественост, смята, че залогът е особено голям, когато моделите се насърчават от публичния сектор.

"Има различно ниво на доверие, което се дава на правителството", казва той. "Държавните служители трябва да обмислят какви щети могат да нанесат, ако някой последва този съвет и си навлече неприятности."

Експертите допълват, че други градове, които използват чатботове, обикновено ги ограничават в набора от входни данни, като по този начин намаляват дезинформацията.

Тед Рос, главен информационен директор в Лос Анджелис, заяви, че градът внимателно контролира съдържанието, използвано от неговите чатботове, които не разчитат на големи езикови модели.

Опасностите на нюйоркския чатбот трябва да послужат като предупреждение за други градове, категоричен е Суреш Венкатасубраманиан, директор на Центъра за технологична отговорност, преосмисляне и редизайн в университета Браун. "Това трябва да накара градовете да се замислят защо използват чатботове и какъв проблем се опитват да решат. Ако чатботовете се използват, за да заместят човек, тогава губите отговорност и не получавате нищо в замяна", допълва ученият.