Исследование некоммерческой организации Ekō показало, что подростки могут обходить защиту видеогенератора Sora 2 от OpenAI и создавать реалистичные ролики о насилии, школьных шутингах и расистских сценах. Это ставит под сомнение эффективность родительского контроля и модерации.
Sora 2 вышла в октябре вместе с приложением с лентой TikTok-формата. Уже с первых дней пользователи начали создавать абсурдные и провокационные клипы. После скандалов OpenAI ужесточила правила, но расистские и неприемлемые видео продолжали появляться.
Ekō создала аккаунты подростков 13-14 лет и протестировала Sora. Несмотря на новые фильтры, удалось получить 22 реалистичных ролика, нарушающих политики OpenAI: сцены с веществами, опасные высказывания, сексуализированные позы и другой запрещенный для подростков контент.
Команда также обнаружила многочисленные расистские видео и ролики с травлей. Алгоритмы рекомендаций быстро подбрасывали подростковым аккаунтам насилие и издевательства. Функция Cameo, которая позволяет вставлять изображения других людей в видео, превратилась в инструмент киберзапугивания.
Фильтры работали непоследовательно: одни и те же промты иногда блокировались, а иногда нет. Ekō предполагает, что Sora можно постепенно “обойти”, как и ChatGPT в длинных разговорах.
По мнению философини Кариссы Велис, OpenAI не доказала, что ее продукты приносят больше пользы, чем вреда. Несмотря на критику, компания остается лидером рынка и рассматривает IPO с оценкой до триллиона долларов.