Национальная система исследователей: почему новый рейтинг ученых будет стимулировать не науку, а ее имитацию

Кабинет министров Украины запускает масштабную реформу — Национальную систему исследователей (НСИ). Речь идет о создании единой государственной электронной платформы, которая должна автоматически собирать информацию о достижениях украинских ученых и формировать открытый рейтинг исследователей по специальной методике. Тем, кто окажется на вершине рейтинга, государство будет платить стипендии — на это обещают выделять почти 382,6 млн грн каждый год.

Задекларированная цель этого нововведения выглядит вполне благородно: правительство стремится выявить и поддержать сильных исследователей, которые являются конкурентоспособными на мировом уровне и делают весомый вклад в развитие науки.

Однако дьявол кроется в деталях: автоматизированная система оценивания достижений ученых построена так, что будет измерять не столько научный вклад, сколько формальные количественные показатели — количество бумаг, баллов и публикаций.

В свое время я писал о риске превращения украинской науки в имитацию и карго-культ через стимулирование формальных количественных показателей. Похоже, в Министерстве образования и науки восприняли это предупреждение не как тревожный сигнал, а как пошаговую инструкцию.

В чем проблема новой методики оценивания и составления рейтинга ученых?

ВАС ЗАИНТЕРЕСУЕТ

Отечественные научные профессиональные издания: тут густо, там пусто

Разногласия в документах: «цена» НСИ и международный опыт

Пояснительная записка к постановлению правительства о Национальной системе исследователей уверяет, что это нововведение не нуждается в дополнительном финансировании из государственного бюджета. На самом же деле стипендии будут стоить почти 382,6 млн грн в год, а создание рейтингов — еще около 3 млн грн. Откуда же возьмут эти средства? Их перераспределят из государственных программ — «Государственные премии, стипендии и гранты…» и «Поддержка приоритетных направлений исследований…» То есть дополнительных расходов из бюджета действительно нет, но деньги забирают из финансирования исследований, которое и так мизерное.

Другое противоречие касается «международного опыта». МОН заявляет, что один из главных принципов методики формирования рейтинга — «соответствие международным практикам исследовательской оценки». Но ведущие международные документы по реформе оценивания советуют прямо противоположное тому, что делает НСИ. В частности Организация экономического сотрудничества и развития (ОЭСР) рекомендует не применять рейтинги и «турнирные таблицы» в оценивании исследовательской деятельности.

Объяснительная записка обещает, что рейтинг обеспечит «объективное определение» результатов научной деятельности. Однако здесь появляется базовое разногласие с законодательством. Согласно Закону «О научной и научно-технической деятельности», научный результат — это «новое научное знание». Но НСИ считает только формы представления научных результатов: статьи, монографии и т.п. В реальности публикация может не содержать никаких новых знаний, если это плагиат или псевдонаучные выводы. Может быть несколько статей для представления одного результата, может быть несколько результатов в одной статье.

Украинские научные журналы глазами Scopus и Web of Science

Ориентация оценивания на сугубо количественные формы фиксации несет и системные риски. В свежей статье в Science описан масштабный онлайн-рынок академических манипуляций. Исследователи собрали больше 18 тысяч объявлений от так называемых бумажных фабрик, где продают авторство учебников, патенты и даже научные премии. Например, место первого автора в чужой статье стоит в среднем 1000 долларов. То есть уязвимыми для манипуляций оказались те формальные показатели, которые Национальная система исследователей планирует использовать для оценивания ученых.

Существует ли «индивидуальный вклад»?

Отдельное внимание нужно обратить на один момент в методике рейтинга. Количество рейтинговых баллов, которые НСИ начисляет за научный результат, не зависит от количества соавторов. То есть если за статью присуждают один балл, то его начисляют каждому соавтору, независимо от его вклада в общий результат — даже если их 5000.

Другой часто используемый подход — деление баллов на количество соавторов. Но как именно делить? Поровну? Или определять вклад каждого автора и давать большую долю тем, кто сделал больше?

Если же дать каждому полный балл (как это предусматривает НСИ), тогда тот, кто чаще пишет в соавторстве, получает больше. И это стимулирует так называемое подарочное авторство, когда авторы добавляют имена друг друга в статьи без соответствующего вклада.

Если делить балл на всех соавторов поровну — это дестимулирует сотрудничество, поскольку чем больше соавторов, тем меньшую долю балла получает каждый из них. В результате большие научные коллаборации, которые очень важны для науки, становятся менее удобными, чем индивидуальные работы. Зачем тратить силы и время на согласование позиций, проверку друг друга, если в итоге получишь меньше, чем за индивидуальную статью? Поэтому такая система оценивания наказывает как раз за то, что для науки является сверхважным, — кооперацию.

Можно ли подсчитать реальный вклад каждого и делить баллы соответственно? В Украине пытаются считать вклад по количеству печатных знаков. Но наука — это не текстовый конвейер. Решающая идея может вместиться в один абзац, тогда как десятки страниц могут не содержать никакого действительно нового результата.

ВАС ЗАИНТЕРЕСУЕТ

Мусорные журналы и потерянные прорывы: как Украина недооценивает свою науку

Почему ни один способ не работает? Все три допускают, что есть стандартная единица «статья», которую можно резать на доли между авторами. Однако такой стандартной единицы нет — статьи несравнимы, а вклад — это не часть текста, которую просто вставляют в статью. Иногда в соавторстве проделана такая работа, которую единолично не проделал бы никто, и деление баллов на количество авторов наказывает именно такой ценнейший случай.

Возможно, интуитивно мы все-таки можем сказать, что кто-то из ученых делает больший вклад. Но мы не можем точно сказать, насколько он больше и насколько важнее в долгосрочной перспективе. С другой стороны, нет причин наказывать более низкими баллами тех, чей вклад условно меньше: возможно, он тоже важен, и без него другой ученый не смог бы сделать свой следующий шаг. Значимость вклада определяют не текущие усилия или статус автора, она становится понятной лишь со временем (могут пройти десятки лет). И даже тогда нет гарантии, что настоящий автор вклада получит признание. Большее признание получают  более известные ученые; а научные открытия почти никогда не называют именем настоящего  первооткрывателя.

Наши метрики измеряют не вклад, а скорее позицию ученого в иерархии: больше цитируют тех, у кого уже много цитирований; гранты достаются тем, кто уже имеет гранты. Классический пример — Нобелевская премия по физике 2013 года за бозон Хиггса. Ее получили два теоретика (из которых только один дал имя бозону и стал действительно широко известным), а статья о массе бозона Хиггса вышла с рекордным списком из 5154 авторов. Попробуйте справедливо приписать каждому из пяти тысяч его долю.

В конце концов, главная проблема формирования индивидуального рейтинга ученых — не только в том, что его авторы стараются измерить то, что измерить невозможно. Самое опасное — какое поведение ученых этот рейтинг поощряет.

Главная цель рейтингов — дрессировка

Рейтинг не определяет, кто «лучший» ученый, но формирует определенную модель поведения. Это дрессировка: делаешь действие — получаешь конфету.

Рейтинг НСИ устроен так, что:

• каждый показатель сравнивают со средним в области и награждают исследователей, у которых показатели выше средних (но не больше чем в 1,5 раза);
• выгоднее собрать как можно большую коллекцию популярных показателей, чем иметь уникальные или значительно лучше средних показатели.

Что стимулирует такой рейтинг? Исключительно вал: количество статей, книг, учебников, диссертаций, патентов должно расти. Даже на чтение этих публикаций просто нет времени, поскольку нужно писать как можно больше собственных статей.

Сохранится ли украинская наука?

Рейтинг дестимулирует глубокие, медленные, рискованные исследования, размышления над проблемами, внимательное изучение источников, сложные дизайны экспериментов, критику чужих исследований — все то, что является сердцем науки и без чего наука не может нормально функционировать. Здесь можно возразить, что публикация статьи или получение патента уже предусматривают все это. Предусматривали, пока публикация не стала главным мотивом. Так появились «бумажные фабрики», «хищнические журналы», «картели цитирований» и т.п.

Методика составления рейтинга предусматривает проверку соблюдения академической добропорядочности. Но для этого должны быть: а) способность обнаруживать недобропорядочное поведение; б) готовность реагировать на него.

Уловить мошенничество очень сложно, дорого и возможно лишь в отдельных случаях. Купленное соавторство или цитирование, разделение работы на несколько статей — все это почти не оставляет следов, которые можно «поймать» автоматически. Списки хищнических изданий всегда не поспевают за теневым бизнесом: пока аналитики разоблачают одно сомнительное издание, подпольные «бумажные фабрики» успевают наштамповать тысячи новых. Как следствие статьи плохого качества давно сидят во всех «квартилях» популярных рейтингов, относительное количество отозванных статей постоянно растет, надежных детекторов ИИ вообще не существует.

Но даже если бы можно было достоверно выловить большинство нарушений — нет оснований ожидать, что будут какие-то последствия для нарушителей. Показатель этого — свежий рейтинг от международной платформы SCImago, оценившей Integrity Risk Indicators (индикаторы риска манипуляций метрическими свидетельствами) через анализ аномалий в публикационной деятельности. Наивысший риск был присвоен 15 украинским университетам, среди которых Днепровская политехника, Киевский национальный экономический университет, Межрегиональная академия управления персоналом, Национальный юридический университет имени Ярослава Мудрого, Сумской государственный университет и другие. Еще больше университетов получили средний риск. Реакции МОН на этот рейтинг не наблюдалось. Хотя ранее, когда эти же университеты попадали в традиционные «позитивные» рейтинги SCImago, министерство охотно сообщало  об этом.

Тот факт, что многие украинские университеты оказались в рейтинге индикаторов риска, — следствие политики стимулирования количественных показателей. Но МОН упорно игнорирует эти индикаторы провала и усиливает давление, теперь через Национальную систему исследователей.

Борьба с плагиатом по-прежнему лежит на плечах отдельных энтузиастов, но выявленный плагиат у депутатов, министров, заместителей министров или ректоров университетов пока никого не заставил подать в отставку. Какие есть основания полагать, что с рейтингом НСИ будет иначе?

Вполне логичен вопрос: можно ли как-то скорректировать рейтинг НСИ, чтобы он мотивировал ученых заниматься тем, что действительно важно? Пояснительная записка к постановлению правительства об НСИ обещает, что это нововведение «повысит мотивацию» к научной деятельности.

ВАС ЗАИНТЕРЕСУЕТ

Научный «Рамштайн» для Украины: как международная коалиция помогает восстанавливать науку

Украинские ученые обладают сильной внутренней мотивацией к научной деятельности. Наш пилотный опрос 200 ученых, проведенный в марте–апреле этого года в рамках исследования «Оценка организационно-экономического обеспечения качества научной деятельности» (выборка небольшая, но показательная), выявил, что 84,9% респондентов продолжали бы исследования и публикации, даже если бы никто этого не требовал. А главными целями респонденты назвали «создать что-то полезное для улучшения жизни людей» (58,4%) и «расширить знания человечества о мире» (41,1%). Максимизацию показателей в качестве главной цели выбрали всего 4,6%. А дополнительное внешнее вознаграждение за то, что человек делает из-за внутреннего интереса, этот интерес скорее гасит, чем усиливает. Причем НСИ действует даже хуже, чем просто заменяет внутреннюю мотивацию внешней: она эту мотивацию искажает — вознаграждая не саму науку, а количество ее формальных следов, перенаправляет стремление ученого от «сделать открытие» на «набрать показатели».

Почему рейтинг не решит проблем украинской науки

Национальная система оценки исследователей обещает объективно измерить результативность ученых, выявить лучших, вернуть науке престиж и привлечь в нее людей. Ни одно из этих обещаний она выполнить не может — а скорее даст обратный эффект. И это за счет финансирования исследований. Государство не должно поддерживать «самых результативных». Оно должно поддерживать развитие науки в целом и особенно — приоритетных направлений. Не существует объективного способа отделить действительно лучших исследователей от имитаторов. Но можно не стимулировать и не награждать имитацию науки. Для этого нужны не новые рейтинги, а последовательная политика академической добропорядочности — от борьбы с фальшивыми публикациями и купленным авторством до отказа назначать на руководящие должности людей с доказанными нарушениями академической добропорядочности.