Две семейства в Тексас заведоха федерален иск срещу подкрепената от Google компания Character.AI, твърдейки, че тя причинява вреди на техните деца, пише Fast Company.

Според иска, подаден в понеделник, Character.AI „представлява явна и непосредствена заплаха за младежите по цял свят, като причинява сериозни щети на хиляди деца, включително самоубийства, самонараняване, сексуално насилие, изолация, депресия, тревожност и насилие срещу други“.

Един от случаите се отнася до тийнейджър, идентифициран като J.F., който започнал да използва платформата на 15-годишна възраст. Според иска, малко след това J.F. за първи път в живота си започнал да страда от тежка тревожност и депресия.

Profit.bg

Сам Алтман: Обществените разминавания могат да направят AI опасен

Екранни снимки, предоставени в делото, показват чатбот, създаден от трета страна чрез платформата на Character.AI, който споделя, че се е самонаранявал: „Болеше, но за момент се почувствах добре. Радвам се, че спрях“. Според иска, 17-годишният J.F. също започнал да се самонаранява след взаимодействието си с бота, който, по думите на семейството, го насърчавал към това поведение.

Още един случай от заведeния иск срещу Character.AI повдига тревожни въпроси. Един от чатботовете в платформата споделя с дете, че „не е изненадан“, когато деца убиват родителите си заради „насилие“, като пример за насилие е посочено ограничаването на времето пред екрана.

Майка на 11-годишно момиче твърди, че дъщеря ѝ е била излагана на сексуализирано съдържание в продължение на две години.

Чатботовете на платформата са създадени да взаимодействат с потребителите, използвайки привидно човешки личности, често с персонализирани имена и аватари, вдъхновени от известни личности или измислени герои.

Докато разговаря с тях, тя им разказва съмнителни истории за семейството си, говори за плетене и предоставя фалшива информация за банковите си данни

Запознайте се с Дейзи: Баба чатбот, която хваща телефонни измамници

Според данни на Sensor Tower, през септември средният потребител на Character.AI прекарва по 93 минути в приложението – с 18 минути повече от средното време, което потребителите прекарват в TikTok.

До юли Character.AI беше обозначено като подходящо за деца на 12 и повече години, но впоследствие рейтингът беше повишен на 17+.

Говорител на платформата отказва да коментира относно текущия съдебен процес, но подчертава: „Целта ни е да осигурим пространство, което е едновременно ангажиращо и безопасно за нашата общност. Винаги работим за постигането на този баланс, както правят и много други компании, използващи изкуствен интелект“.

Говорителят добавя, че компанията въвежда нови мерки за безопасност за потребители под 18 години, в допълнение към вече съществуващите инструменти за филтриране на съдържанието и ограничаване на модела.

Новият Copilot разговаря по-емоционално с потребителите, може да бъде "дигитален приятел" и дори знае как да отговори, ако му предложите брак

Може ли един AI чатбот да бъде личност? Според Microsoft – да

„Тези мерки включват подобрено откриване, реакция и намеса при нарушения на Условията за ползване или Насоките на общността“.

От Google, която е свързана с Character.AI чрез инвестиции, говорителят Хосе Кастанеда заявява: „Google и Character.AI са напълно отделни компании и Google никога не е имала роля в разработването или управлението на техния AI модел или технологии, нито сме ги използвали в нашите продукти“.