Методика

Выбор направлений

Примерный перечень направлений, по которым было необходимо сформировать списки журналов, был задан заказчиком и соответствовал списку направлений Научного фонда НИУ ВШЭ: «Государственное и муниципальное управление», «Информатика», «История», «Культурология», «Математика», «Менеджмент», «Образование», «Политология», «Право», «Прикладная математика», «Психология», «Социология», «Физика и технические науки», «Филология», «Философия», «Экономика».

По результатам анализа этого списка и консультаций с экспертами было решено не проводить опросы по направлениям «Физика и технические науки» (множество журналов включено в WoS и Scopus, само направление определено слишком широко), «Культурология» (отсутствие консенсуса в определении предметного поля и методов; журналы по данному направлению включены в направления «Философия», «История», «Социология», «Филология»), «Государственное и муниципальное управление» (сильная фрагментация, специализация экспертов на управлении в отдельных отраслях, слабо представляющих журнальный ландшафт вне своих областей специализации; журналы по общим вопросам ГМУ включены в направление «менеджмент»). Направление «Филология» было решено дополнить отдельным направлением «Лингвистика» из-за серьезных различий в предметах и методах этих двух дисциплин. Итоговый список направлений, по которым были проведены опросы, таков: «Информатика» («Computer Science»), «История», «Лингвистика», «Фундаментальная математика», «Менеджмент», «Образование», «Политология», «Право», «Прикладная математика», «Психология», «Социология», «Филология», «Философия», «Экономика».          

Формирование списков экспертов

Заказчиком проекта были установлены базовые характеристики методики, основная из которых – двухэтапная система экспертизы. Конечных экспертов, непосредственно участвовавших в оценке журналов по каждому направлению, номинировали утвержденные координаторами проекта эксперты верхнего уровня, отобранные командой проекта путем консультаций с внешними экспертами[1] и использования разнообразных формальных индикаторов. По каждому из направлений должно было быть опрошено не менее семи экспертов верхнего уровня и не менее сорока номинированных ими конечных экспертов. Несмотря на подчас очень низкий отклик и высокий процент отказов, это удалось сделать по всем направлениям, кроме направления «Менеджмент» (о причинах см. соотв. раздел). Экспертам верхнего уровня разрешалось выступать конечными экспертами в случае номинирования их другими экспертами верхнего уровня. Заказчиком было выдвинуто одно формальное требование: не более 50% экспертов обеих уровней по каждому направлению должны являться действующими сотрудниками ВШЭ. Это требование удалось выполнить во всех областях науки кроме экономики и социологии, отчасти из-за высокой доли сотрудников НИУ ВШЭ среди ведущих российских ученых в данных научных дисциплинах.

При формировании списков экспертов верхнего уровня использовались различные подходы, зависящие от специфики направлений (см. раздел «Общие результаты проекта»). Предполагалось, что каждый из экспертов верхнего уровня отвечает за один или несколько крупных подразделов внутри своего направления, а вместе они охватывают его практически целиком[2]. Для выделения таких подразделов использовались общепринятые в рамках направлений международные и российские классификаторы, а при отсутствии таковых проводились дополнительные консультации со специалистами. При подборе экспертов верхнего уровня команда проекта стремилась максимально избежать их концентрации в одной организации или неформальной группе \ научной школе, обеспечить широкий географический охват.

Каждый из экспертов верхнего уровня представил нам по электронной почте список из не менее 25 кандидатур конечных экспертов, помимо ФИО включающий информацию об основном месте работы, области научных интересов, адрес электронной почты и номер телефона (контактные данные предоставлять было не обязательно, но желательно). Мы просили экспертов верхнего уровня дать кандидатуры «активных ведущих русскоязычных ученых [работающих] в вашей дисциплине», не выставляя никаких дополнительных формальных ограничений, лишь предлагая отметить цветом своих подчиненных. Каждому эксперту верхнего уровня был предложен гонорар за представленный нам список, многие от денег отказались.

После получения списков от экспертов верхнего уровня нами были сформированы списки потенциальных конечных экспертов, которым и предлагалось заполнить анкеты по известным им журналам. Каждому конечному эксперту, заполнившему 3 и более анкеты, предлагался гонорар, многие от него отказались.

В силу ограниченного бюджета проекта по ряду направлений с высоким откликом не было возможности пригласить всех номинированных конечных экспертов к участию в анкетировании. В первую очередь приглашения отсылались тем, кто был номинирован сразу несколькими экспертами верхнего уровня. Число приглашенных экспертов от каждого эксперта верхнего уровня команда проекта стремилась сделать примерно одинаковым. При прочих равных предпочтение отдавалось экспертам из разных организаций и регионов. По ряду направлений в результате низкого отклика приглашения были разосланы всем номинированным экспертам, дополнительно многие из них были приглашены по телефону.

Конечные эксперты могли быть номинированы сразу по нескольким направлениям, и мы не препятствовали им заполнять анкеты по всем их них, однако такие случаи были единичными.

Формирование стартовых списков журналов

Было принято решение предложить респондентам для экспертизы стартовые списки, состоящие из 50-100 журналов по каждому направлению, а также разрешить экспертам самостоятельно дополнять эти списки. Стартовые списки были сформированы на основе данных РИНЦ с использованием пятилетнего импакт-фактора без самоцитируемости за 2012 год в соответствующей тематической рубрике РИНЦ, а также путем консультаций. В соответствии с позицией руководства ВШЭ из списков были исключены издания, выходящие с периодичностью менее двух раз в год (ежегодники и сборники).

Кроме того, из списков были исключены журналы с аномально высоким самоцитированием или признаками накруток цитируемости, либо известные нам как недобросовестные[3], однако эксперты могли добавить их в список без ограничений.

В исследование включались только журналы, издающиеся на территории Российской федерации (редакции которых базируются в России). Язык публикации при этом мог быть любым.

Как только тот или иной эксперт добавлял в список новый журнал, отсутствовавший в нем изначально, этот журнал проверялся на соответствие тематике и подтверждался, С этого момента все остальные эксперты, приступающие к анкетированию, также видели его в стартовом списке.

Один и тот же журнал мог входить в списки по нескольким направлениям и быть оцененным в них по-разному.

Содержание и процедура экспертизы журналов

Конечным экспертам по электронной почте рассылались приглашения принять участие в экспертизе и детальные инструкции. В случае согласия эксперт должен был выполнить следующие действия:

1.                 Зарегистрироваться в качестве эксперта Управления академической экспертизы ВШЭ, заполнив стандартную анкету эксперта и выбрав себе логин и пароль (только для тех, кто не регистрировался ранее)

2.                 Дождавшись письма об открытии доступа к экспертизе журналов, зайти в специально созданный раздел «Журнальный проект» в системе УАЭ (grant-hse.ru), используя свой логин и пароль.

3.                 Отметить в списке журналы, удовлетворяющие, по мнению данного эксперта, двум условиям: а) журнал должен быть знаком эксперту до того, как он увидел его в нашем списке б) журнал должен быть научным[4].

4.                 Заполнить по каждому отмеченному журналу анкету.

Данная анкета представлена ниже. Она была разработана с использованием определенной логики пропуска: подразумевается, что респонденты, не просматривающие журнал и не читавшие из него статей, не могут обоснованно оценить его научный уровень и актуальность публикуемых материалов.  Анкета предварительно обсуждалась со специалистами по методологии социологических исследований и опросов И.Ф. Девятко (НИУ ВШЭ) и Д.М. Рогозиным (МВШСЭН), была в целом одобрена ими.

Разделение журналов по категориям

На основе ответов респондентов на вопросы анкеты было предложено разбить все журналы по каждому направлению на шесть групп, использовав для этого следующие категории:

A1 – высокий уровень, предположительно широкий профиль

A2 – высокий уровень, предположительно узкий профиль

B+ ­– уровень выше среднего

B – средний уровень

С – все остальные журналы, по которым имеется хотя бы одна заполненная не аффилированным экспертом анкета

Для выделения журналов категорий A1, A2, B+, B использовались наборы пороговых значений, приведенные ниже. Эти пороги являются необходимыми, т.е. журнал для попадания в соответствующую категорию должен преодолеть все из них.[5]

Во всех случаях при проведении фильтрации журналов мы не учитывали ответы аффилированных с журналом респондентов (ответивших «да» на первый вопрос анкеты). При этом анкеты любых прочих сотрудников организации, издающей журнал, учитывались.

Журналы категории А1 – ведущие журналы, печатающие статьи по большинству крупных подразделов данного направления. Для их выделения предложены следующие параметры фильтрации:

•             Отметили как известный им научный журнал не менее 80% респондентов

•             Не менее 80% из них читали статьи из этого журнала за последние 3 года

•             Не менее 50% отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую

•             Не менее 70% отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий

•             Не менее 70% отметивших журнал респондентов считают журнал лидирующим в России или лидирующим в мире и в России

Журналы категории A2 – журналы высокого уровня, печатающие статьи, которые высоко оцениваются не столь большой группой респондентов в рамках направления, как журналы категории А1, зато эти респонденты обращаются к ним очень часто. Предполагается, что в эту категорию должны попасть высококлассные журналы с более узкой тематической специализацией. Для их выделения предложены следующие критерии:

•             Журнал не попадает в категорию A1

•             Журнал отметили не менее 5экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года.

Из них:

•             Не менее 70% респондентов оценивают актуальность прочитанных статей как высокую

•             Не менее 70% респондентов оценивают научный уровень прочитанных статей как высокий

•             Не менее 70% респондентов считают журнал лидирующим в России или лидирующим в мире и в России

Таким образом, для выделения журнала в категорию A2 мы опирались на мнение только тех экспертов, кто хорошо с ним знаком. Учитывая, что таких респондентов требовалось не менее пяти, данный фильтр является весьма зависимым от состава экспертного пула и представленности в нем представителей различных узких направлений.

Журналы категории B+ - журналы, оцениваемые относительно высоко относительно большим числом наших экспертов

•             Журнал не попадает в A1 и A2

•             Журнал отметили не менее 20% респондентов

•             Не менее 50% из них читали статьи из этого журнала за последние 3 года

•             Не менее 35% из отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую

•             Не менее 35% из отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий

Журналы категории B – журналы, которые в среднем получили более низкие оценки наших экспертов, чем журналы категорий, указанных выше. Для их выделения предложено два варианта фильтрации, в целом соответствующие фильтрам A1 и A2 с существенно сниженными порогами. Для попадания в категорию B требовалось удовлетворять всем критериям хотя бы одного из этих вариантов.

Вариант B-1:

•             Журнал не попадает в A1, A2 и B+

•             Журнал отметили не менее 20% респондентов

•             Не менее 50% из них читали статьи из этого журнала за последние 3 года

•             Не менее 50% из отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую или среднюю

•             Не менее 50% из отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий или средний

Вариант B-2:

•             Журнал не попадает в A1, A2 или B+

•             Журнал отметили не менее 3 экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года

Из них:

•             Не менее 70% респондентов оценивают актуальность прочитанных статей как высокую или среднюю

•             Не менее 70% респондентов оценивают научный уровень прочитанных статей как высокий или средний

Для журналов категорий B+ и B мы публикуем распределение ответов респондентов на вопросы анкеты и указываем число отметивших журнал экспертов. Надеемся, это позволит лучше отразить разнообразие оценок.

Кроме того, специальными значками помечены журналы, по которым более четверти выбравших их респондентов на момент анкетирования работали в организациях, издающих эти журналы (* - более четверти всех неаффилированных респондентов, § - более четверти респондентов – «активных читателей»).

По журналам категорий B+ и B мы дополнительно приводим распределения ответов респондентов на ключевые вопросы анкеты.

Предложенные категории и пороговые значения являются предварительными и могут корректироваться.

К числу ограничений методики по результатам выполнения проекта можно отнести следующее:

•     Не учитывается мнение экспертов, считающих все российские научные журналы плохими; выборка респондентов смещена в сторону любителей российских журналов;

•     Тематические перекосы из-за неравномерного отклика респондентов: некоторые подразделы и организации представлены чрезмерно, некоторые – наоборот;

•     Численность респондентов (40+ на направление) может быть недостаточна для адекватного охвата больших и разнообразных областей науки;

•     Мы принципиально не оценивали технический уровень работы журналов, сконцентрировавшись на их научном авторитете;

•     Журналы, попавшие в категорию B, сильно разнятся по уровню. Возможна их дальнейшая дифференциация;

•     Среди журналов категории B есть те, которые мы считаем в разной степени вовлеченными в недобросовестные практики. Есть пересечения со списком изданий, не учитываемых при назначении надбавок НИУ ВШЭ.  

[1] Такие эксперты по определению не могли сами являться экспертами верхнего уровня. 

[2] Из-за отказов части экспертов обеспечить на деле совершенно равномерный охват всего предметного поля внутри каждого направления оказалось невозможно.

[3] Факт открытого взимания платы журналом с авторов не являлся достаточным признаком недобросовестности, в отличие от распространенной в России платы за срочность.

[4] Мы осознанно не расшифровывали понятие «научный журнал», доверив трактовать это понятие экспертам.

[5] Такой подход выбран как наиболее надежный. См. также Aleskerov F. T., Pislyakov V. V., Vitkup T. V. Ranking Journals in Economics, Management and Political Sciences by the Threshold Aggregation Procedure. Basic Research Program Working Papers. Series: Economics. WP BRP 73/EC/2014.