Эксперты оценили качество российских научных журналов

8 апреля на круглом столе в рамках XVI Апрельской международной конференции были представлены результаты проекта НИУ ВШЭ по экспертному ранжированию российских научных журналов. Более 600 экспертов, опрошенных в ходе проекта, определили списки лучших журналов по 13 тематическим направлениям.

Как измерить неизмеряемое

Проект по экспертному ранжированию российских научных журналов проводился Вышкой в течение почти всего 2014 года. Его реализация во многом обусловлена внутренними причинами: прием на работу в ВШЭ научно-педагогических работников и назначение им надбавок к зарплате сопровождается оценкой их публикационной активности. Значение имеет не только количество, но и качество публикаций, о котором можно судить в том числе по статусу научных журналов, в которых они появляются. К сожалению, в международных базах российских журналов социально-экономической тематики почти нет, а к «рейтингу» РИНЦ есть немало вопросов. Проект, затеянный Вышкой, не призван заменить РИНЦ — скорее это еще один, дополнительный инструмент для оценки качества журналов.

«Мы живем в период повального увлечения библиометрией и рейтингами. Вышка не является их ярым фанатом, мы прекрасно понимаем несовершенство любых систем формальных количественных измерений. Но игнорировать их невозможно, нам нужно как-то измерять неизмеряемое — результаты академической деятельности в больших, почти «промышленных» масштабах», — пояснил мотивы университета первый проректор ВШЭ Вадим Радаев.

Методология проекта

Для оценки были взяты российские журналы (за исключением ежегодников), присутствующие в базе РИНЦ. Они были распределены по 13 тематическим направлениям на основе классификатора, который используется Научным фондом ВШЭ (он финансирует исследовательские проекты в университете). По понятным причинам в оценку не были включены журналы по химии, биологии и другим естественным наукам.

После этого начиналась двухуровневая экспертиза. Сначала по каждому тематическому направлению отбиралось не менее семи экспертов верхнего уровня, а затем каждый из них предлагал еще не менее 25 кандидатур конечных экспертов. Всего к участию в проекте было привлечено 630 экспертов, которые заполнили больше 10 тысяч анкет (эксперт заполнял анкету с набором закрытых вопросов по каждому отмеченному им журналу). Ответы аффилированных с журналом респондентов не учитывались. На основе этих анкет журналы по каждому направлению распределялись по трем группам: журнал высокого уровня и широкого профиля (группа А1), журнал высокого уровня, но узкого профиля (А2), журнал среднего уровня (В). Впрочем, как рассказал руководитель проекта Иван Стерлигов, журналы группы В сильно различаются по качеству и их, вероятно, предстоит еще дифференцировать.

Что получилось

По 8 из 13 направлениям (прикладная математика, компьютерные науки, менеджмент, право, психология, история, экономика, социология) эксперты не смогли выделить ни одного журнала высшей категории (А1), а по психологии — ни одного журнала даже категории А2. В некоторых случаях это связано с сильной специализацией журналов внутри одного направления (например, журналы по различным отраслям и сферам права). А в области компьютерных наук, по мнению экспертов, основным способом представления результатов научных трудов являются не публикации в журналах, а выступления на международных конференциях.

Подробный отчет о методологии и полные результаты проекта будут опубликованы на сайте НИУ ВШЭ в ближайшее время. Пока можно отметить журналы-лидеры, попавшие в категорию А1. Это журнал «Успехи математических наук» (по фундаментальной математике), журналы «Новое литературное обозрение» и «Русская литература» (филология), журнал «Вопросы языкознания» (лингвистика), журнал «Вопросы философии», журнал «Полис. Политические исследования» (политология).

«Если применение результатов проекта для оценки публикационной активности окажется успешным, нужно будет думать над тем, как эти списки актуализировать — по какой методике и с какой периодичностью», — добавил Иван Стерлигов.

Эксперты или библиометрия?

Два подхода к оценке журналов — библиометрический и экспертный — достаточно сильно отличаются друг от друга, в том числе по конечному результату, заметил в ходе дискуссии генеральный директор eLIBRARY.ru Геннадий Еременко. Библиометрический подход оправдывает себя, когда все участники процесса (журналы, ученые и рецензенты) соблюдают определенные правила научной этики. В этом смысле сравнение результатов библиометрии и экспертной оценки может служить мерилом уровня научной этики в конкретных областях знания.

«Перед нами сейчас стоит похожая задача по отбору журналов — для их размещения в базе данных Russian Science Citation Index на платформе Web of Science, — сказал Геннадий Еременко. — Опираться в этом процессе только на библиометрию не получится, мы будем привлекать экспертов и попробуем использовать опыт, полученный авторами проекта из ВШЭ».

«Мы не настаиваем и не собираемся «продавливать» результаты нашего проекта как результаты, которые должны использоваться за пределами Высшей школы экономики, — подчеркнула проректор ВШЭ Мария Юдкевич. — Но если это будет происходить, мы будем только рады, и нам будет интересно узнать, что у коллег из этого получается».