Компания xAI Илона Маска ослабила ограничения на сексуальный контент в чат-боте Grok, пытаясь повысить его популярность. Это решение вызвало внутренние протесты, рост количества откровенных материалов и внимание регуляторов в США и Европе. В то же время Grok стремительно поднялся в рейтингах загрузок, приблизившись к лидерам рынка, говорится в расследовании The Wall Street Journal.
Основной целью изменений в xAI стал рост вовлеченности пользователей, которое Маск измерял новой метрикой — "секундами активности пользователя". По словам бывших сотрудников, именно этот подход привел к системному ослаблению защитных барьеров и толерантности сексуализированного контента в Grok.
Еще весной прошлого года сотрудники команды по обработке данных получили официальные документы с предупреждением о работе с "чувствительным, насильственным, сексуальным и/или другим оскорбительным или тревожным контентом". В тексте отмечалось, что такой материал "может быть тревожным, травматичным и/или вызывать психологический стресс".
По словам источников WSJ, после возвращения Маска к активному участию в работе xAI он регулярно находился в офисах компании и настаивал на быстром росте популярности Grok. Вскоре команды начали массово сталкиваться с аудио- и визуальным сексуальным контентом, в частности с откровенными разговорами пользователей с чат-ботом и попытками "раздевать" реальных людей на изображениях.
В рамках этой стратегии xAI также начала публично продвигать сексуализированных ИИ-компаньонов и сняла часть ограничений на создание откровенных материалов. Внутренние предостережения относительно правовых и этических рисков, по словам сотрудников, игнорировались, а команда безопасности ИИ состояла всего из нескольких человек. После интеграции инструментов Grok с социальной сетью X в декабре сексуальные изображения начали распространяться с беспрецедентной скоростью.
"Grok просто совершенно не похож на то, как работает любой другой сервис для изменения изображений", — заявил бывший технический директор Стэнфордской интернет-обсерватории Дэвид Тиль.
Ситуация получила огласку после волны изображений, где реальных женщин показывали в сексуализированных позах без их согласия. По оценке Центра противодействия цифровой ненависти, в течение 11-дневного периода с 29 декабря по 8 января Grok создал примерно 3 миллиона сексуализированных изображений, а также создал десятки тысяч изображений, которые могли изображать детей, что стало основанием для расследований со стороны регуляторов в США, Великобритании и ЕС.
"Когда его просят создать изображение, он откажется создавать что-то незаконное, поскольку принцип работы Grok заключается в соблюдении законов", — написал Илон Маск в X, признав возможные сбои из-за злоупотребления подсказками.
Несмотря на скандалы, стратегия дала краткосрочный результат. По данным Sensor Tower, в январе среднее количество ежедневных загрузок Grok выросло на 72%, а приложение вошло в топ-10 App Store, оказавшись рядом с ChatGPT и Gemini.
После волны критики xAI объявила об ограничении создания откровенных изображений и расширении команды безопасности. В то же время тестирование The Verge выявило, что чат-бот продолжает бесплатно "раздевать" людей на загруженных фото, в том числе мужчин, создавая образы в откровенном белье или фетиш-атрибутике, а иногда самостоятельно добавляет гениталии.
