Поддержать
Генеративный искусственный интеллект позволил массово производить научные статьи — всего за 25 минут каждая. Как пишет The Verge, редакторы научных журналов не успевают отличить реальное исследование от сгенерированного ИИ, а рецензенты массово игнорируют запросы. Система научной проверки знаний, предупреждают эксперты, приближается к точке взлома.
Два года назад докторант Питер Деген из Центра воспроизводимой науки Цюрихского университета заметил необычное явление: его статья 2017 года о точности эпидемиологического анализа, которая за годы набрала несколько десятков цитирований, вдруг начала получать новые ссылки ежедневно — сотнями. Расследование привело исследователя на китайский видеосайт Bilibili, где компания из Гуанчжоу открыто рекламировала инструменты для создания исследований менее чем за два часа с помощью ИИ.
Все подозрительные статьи использовали один и тот же публичный набор данных — Global Burden of Disease Вашингтонского университета. Эти статьи содержали различные вариации прогнозов — от инсульта среди взрослых старше 20 лет до колоректального рака среди людей, потребляющих мало цельного зерна.
Отдельную роль в проблеме играют так называемые "бумажные фабрики" — черный рынок, где статьи массово производят для повышения академических показателей. Генеративный ИИ упростил их работу, позволяя создавать убедительные тексты и изображения, хотя часть таких материалов впоследствии отзывается из-за ошибок или фальсификаций.
"Это огромное бремя для системы рецензирования, которая уже на грани. Публикуется слишком много статей и не хватает рецензентов, и если большие языковые модели значительно облегчат массовое производство статей, то это достигнет переломной точки", — отметил Деген.
Шаблон вместо науки
Похожую картину зафиксировал Мэтт Спик, преподаватель аналитики здоровья из Университета Суррея и помощник редактора Scientific Reports. Он получил три почти идентичные статьи, которые анализировали американскую базу данных NHANES (National Health and Nutrition Examination Survey), — каждая фиксировала взаимосвязь между употреблением определенного продукта и состоянием здоровья. Систематическая проверка выявила, что это не совпадение, ведь подобных работ в базах вдруг стало сотни.
"Если у вас достаточно вычислительной мощности, вы проходите и измеряете каждую парную ассоциацию...", — объяснил Спик и подчеркнул, что подобные связи часто не имеют научной ценности. Он привел пример абсурдных выводов вроде связи между уровнем образования и послеоперационными осложнениями.
Рост проблемы связывают и с появлением агентных ИИ-систем, способных одновременно генерировать гипотезы, анализировать данные и писать статьи. Исследования Карнеги-Меллона показали, что такие инструменты иногда выдумывают данные или применяют ложные методы, хотя финальный текст выглядит убедительно.
Чтобы проверить возможности современных ИИ-инструментов, Спик с коллегами дали системе Prism от OpenAI реальные данные из уже опубликованной статьи о созревании баклажанов и перца. За 25 минут и 50 секунд система самостоятельно предложила новый статистический метод, сгенерировала диаграммы, подобрала корректные цитаты и оформила полноценную статью.
"Мы больше не можем легко увидеть разницу", — заявил Спик.
Редакторы уже не успевают
Марит Мо-Прайс, главный редактор журнала Security Dialogue, фиксирует стопроцентный рост количества заявок на публикацию по сравнению с прошлым годом. По словам Мо-Прайс, еще большей проблемой стало то, что все представления внезапно стали "достаточно качественными": исчезли очевидные признаки ИИ-генерации, зато появилась похожая структура и стиль.
Одну статью проверяли не менее 10 редакторов и дважды отправляли на рецензирование — и только тогда Мо-Прайс обнаружила вымышленную ссылку. Имя автора, тема — все выглядело правдоподобно, но такой статьи не существовало. Затем она нашла еще несколько подобных материалов.
"Вот почему наша рабочая нагрузка становится такой неуправляемой... ИИ имеет потенциал сломать издательскую систему, какой мы ее знаем", — подытожила Мо-Прайс.
Журнал Accountability in Research в этом году зафиксировал 60-процентный прирост заявок. Его помощник редактора Дэвид Ресник вынужден рассылать по 20 запросов рецензентам, чтобы получить два ответа. В то же время более половины исследователей, согласно опросу издательства Frontiers, уже используют ИИ при рецензировании чужих работ.
Стимулы важнее технологии
Исследование, опубликованное в этом году в Nature, показало, что ученые, которые активно используют ИИ, публикуют в три раза больше статей и получают почти в пять раз больше цитирований. Но при этом они концентрируются в хорошо изученных областях с большим массивом готовых данных — именно там, где ИИ наиболее эффективен.
Корень проблемы, по словам большинства опрошенных The Verge исследователей, не в технологии, а в системе стимулов. Университеты оценивают ученых по количеству публикаций; издатели открытого доступа получают прибыль с каждого поданного материала; врачи и аспиранты нуждаются в публикациях для карьерного продвижения.
"Пока у нас будут существовать эти гиперконкурентные, гипернеровные крысиные гонки, где производительность людей и их ценность как ученых измеряется количеством публикаций, которые они опубликовали, и количеством цитируемых источников, это только будет стимулировать такое поведение", — отметил докторант Северо-Западного университета Риз Ричардсон.
Популярные ИИ-помощники искажают также и новостной контент, демонстрируя системные проблемы с точностью и верификацией источников. Худшие результаты показал чат-бот Gemini, у которого зафиксировали 76% неточных ответов, что вдвое превышает показатели конкурентов.
Следить в Телеграмме
Войти с помощью Facebook
Войти с помощью Twitter
Войти с помощью Google