Токсични алгоритми: Как безобидната реклама в Instagram води до педофилия
Видео услугата Reels на Instagram показва кратки видеоклипове на различни теми като спорт, мода или забавление, които алгоритмите решават, че могат да са интересни на потребителите.
Същото се случва с потребители, за които алгоритъмът смята, че имат съмнителен интерес към деца.
Това показва разследване на The Wall Street Journal, основано на негов собствен експеримент.
Изданието се опитва да определи какво би препоръчал алгоритъмът на Reels на тестови акаунти, създадени да следват само профили на гимнастички, мажоретки, тийнейджъри и инфлуенсъри в платформата.
Оказва се, че в потока от видеоклипове, предложени на тестовите акаунти, се появява реклама на приложението за запознанства Bumble, която изниква между видеоклип, в който някой гали лицето на латексова кукла в естествен размер и клип на младо момиче, което изкусително повдига блузата си. В друг случай, реклама на Pizza Hut последва видеоклип на мъж, излегнат с 10-годишно момиче в обятията си.
Какво общо имат Disney и гимнастичките
Постепенно Instagram започва да подава на тестовите акаунти стряскащи дози неприлично съдържание, включително кадри на деца, както и откровено сексуални видеоклипове за възрастни, между рекламите на някои от най-големите американски брандове.
Сред тях са Disney, Walmart, компанията за онлайн запознанства Match Group, Hims, която продава лекарства за еректилна дисфункция и парадоксално – самият The Wall Street Journal.
Роби Маккей, говорител на Bumble, заявява: "никога не бихме рекламирали умишлено заедно с неподходящо съдържание", след което компанията спира рекламите си в платформите на Meta.
Чарли Кейн, вицепрезидент по управлението на марките в Disney, заяви, че компанията е определила строги ограничения какво съдържание в социалните медии е приемливо за реклама и е настояла Meta и други платформи да подобрят функциите за защита на марките. Говорителка на компанията заяви, че откакто вестникът е представил констатациите си на Disney, компанията работи по решаването на проблема на "най-високо ниво в Meta".
Walmart отказва да коментира, а Pizza Hut не отговаря на молбите за коментар.
От Hims заявяват, че ще настояват Meta да предотвратява подобно позициониране на реклами и смятат обещанието на Meta да работи по проблема за окуражаващо.
От Meta първоначално отказват да коментират защо алгоритмите ѝ съставят потоци от отделни видеоклипове, показващи деца, секс и реклами.
В отделно изявление за BusinessInsider обаче казват: "Не искаме този вид съдържание на нашите платформи и брандовете не искат техните реклами да се появяват до него. Инвестираме агресивно, за да го спрем и докладваме всяко тримесечие за разпространението на такъв вид съдържание, което остава много ниско."
Според компанията, тестът на WSJ е бил "произведено преживяване", което не представя това, което реалните потребители виждат всеки ден.
Още през юни WSJ съобщaвa, че алгоритмите, управлявани от Meta, компанията-майка на Facebook и Instagram, свързват големи общности от потребители, интересуващи се от педофилско съдържание.
Говорител на Meta обяснява, че работна група, създадена след статията е разширила автоматизираните системи за откриване на потребители с подозрително поведение, като всеки месец премахва десетки хиляди такива акаунти.
Как социалните медии променят фокуса върху сексуалната експлоатация на децата
Чрез собствени тестове Канадският център за закрила на детето също стига до заключението, че Instagram редовно предлага видеоклипове и снимки на облечени деца, които фигурират и в цифровата база данни на Националния център за изчезнали и експлоатирани деца за изображения и видеоклипове, за които е потвърдено, че са сексуален материал, свързан с насилие над деца.
Според групата, извършителите на насилие над деца често използват изображенията на момичетата, за да рекламират незаконно съдържание във форуми в тъмната мрежа.
Характерът на съдържанието – поставяне на деца в сексуален контекст, без обикновено да се показва голота, отразява начина, по който социалните медии са променили сексуалното насилие над децата онлайн, казва Лиана Макдоналд, изпълнителен директор на канадския център.
Групата изразява загриженост относно способността на алгоритмите на Meta да набират нови членове на онлайн общности, посветени на сексуалното насилие над деца, където се разпространяват връзки към незаконно съдържание в частни форуми.
"Неведнъж сме ставали свидетели как алгоритмите карат потребителите да откриват и след това да навлизат в тези онлайн общности за експлоатация на деца", допълва Макдоналд и определя като обезпокоителен факта, че големи компании субсидират този процес чрез рекламите си.
Алгоритъмът Reels – история на една конкурентна надпревара
Meta създава Reels като конкуренция на TikTok, видеоплатформата, собственост на базираната в Пекин ByteDance. И двата продукта предоставят непрекъснато поредица от видеоклипове на други потребители и печелят пари, като поставят реклами сред тях.
Алгоритмите на двете компании показват видеоклипове, които според изчисленията на платформите е най-вероятно да ангажират потребителя въз основа на предишното му поведение при гледане.
Експерти по алгоритмични системи смятат, че тестовете на WSJ доказват, че макар гимнастиката да изглежда безобидна тема, проследяването на Meta е установило, че някои потребители в Instagram, които следват момичета в предтийнейджърска възраст, искат да се включат във видеоклипове със сексуална насоченост към деца и след това платформата насочва такова съдържание към тях.
"Нишовото съдържание дава много по-силен сигнал, отколкото съдържанието от общ интерес", казва Джонатан Стрей, старши научен сътрудник в Центъра за изкуствен интелект в Калифорнийския университет в Бъркли.
„Вътрешно известен проблем“
Настоящи и бивши служители на Meta признават, че тенденцията алгоритмите на Instagram да събират съдържание със сексуална насоченост на деца от цялата платформа е била вътрешно известен проблем. По думите им, след като Instagram определи даден потребител като интересуващ се от определена тема, алгоритмите за препоръки са обучени да му предлагат повече свързано съдържание.
Според тях предотвратяването на това системата да предоставя вредно съдържание на потребителите, които се интересуват от него, изисква значителни промени в алгоритмите, които също така стимулират ангажираността на нормалните потребители.
Документите на компанията, прегледани от WSJ показват, че на служителите, отговарящи за безопасността, е забранено да правят промени в платформата, които биха могли да намалят броя на активните дневни потребители.
Част от проблема е, че автоматизираните системи за правоприлагане трудно анализират видеосъдържанието, отколкото текста или неподвижните изображения. Друга трудност произтича от начина, по който работи Reels: Вместо да показва съдържание, споделено от приятели на потребителите, той популяризира клипове от източници, които акаунтите не следват.
Повече гледания – повече пари
Въпреки всички рискове, платформите за споделяне на видеоклипове остават изключително привлекателни за социалните медии, тъй като видеоклиповете обикновено задържат вниманието на потребителите по-дълго, отколкото текстът или снимките, което ги прави привлекателни за рекламодателите.
След като първоначално се бореше да увеличи максимално потенциала за приходи на Reels, Meta подобри начина, по който алгоритмите ѝ препоръчват съдържание и персонализират видеопотоците.
Но тестовите акаунти на WSJ и Канадския център за закрила на детето показват, че изглежда платформата е насочила част от дигиталния маркетинг към потребители, които се интересуват от секс. Затова им предлагат приложения за запознанства, салони за масаж с "щастлив край" и чатботове с изкуствен интелект, създадени за киберсекс.
Предполага се, че правилата на Meta забраняват подобни реклами.
В подножието на дълга съдебна сага
33 американски щата още преди месеци подадоха съдебен иск срещу Meta, обвинявайки я, че пренебрегва предупрежденията за потенциална вреда за младите момичета.
В иска се твърди, че Meta е знаела за милиони акаунти на деца под 13 години, но не ги е закрила, както и че пренебрегва усилията за подобряване на благосъстоянието на тийнейджърите в своите приложения.
Лайза Креншоу, говорител на Meta, коментира пред BusinessInsider че жалбата "погрешно характеризира нашата работа, като използва селективни цитати и подбрани документи".
"Искаме тийнейджърите да имат безопасни, съобразени с възрастта им преживявания онлайн и разполагаме с над 30 инструмента в тяхна подкрепа и в подкрепа на техните родители", допълват от компанията.