Ольга Третьякова - Индексы научного цитирования. Возможности и перспективы в оценке результатов научной деятельности

• Название: Индексы научного цитирования. Возможности и перспективы в оценке результатов научной деятельности
• Автор: Ольга Третьякова
• Жанр: Медицина
• Год: 2014
• ISBN: 978-5-93299-276-0

В работе представлены общие подходы к оценке результативности и эффективности научной деятельности организаций на основе наукометрических показателей. Предпринята попытка выявить возможности индексов научного цитирования для анализа публикационной активности научно-исследовательских организаций. Затрагивается вопрос о применении импакт-фактора как инструмента для сопоставления и ранжирования научных журналов. Дается обзор методик формирования импакт-фактора, анализируются возможности Российского индекса научного цитирования в отношении расчета импакт-фактора научных журналов на примере изданий по экономике.

Книга адресована работникам органов управления, научным сотрудникам, преподавателям высших учебных заведений, а также широкому кругу читателей, интересующихся вопросами наукометрии и оценки эффективности научной деятельности.

---

Таблица 1. Общие показатели числа публикаций научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций, в РИНЦ (данные НЭБ на 10.10.2014)

Как видно из данных таблицы 1, общее количество зарегистрированных в РИНЦ публикаций научных институтов экономического профиля, подведомственных ФАНО России, за 2009–2013 гг. составило 12 497, из них более половины (66,7 %) приходится на долю шести институтов, таких как Институт экономики РАН – 17,4 % (2182 публикации); Институт экономики и организации промышленного производства СО РАН – 13,9 % (1744 публикации); Институт экономики УрО РАН – 11,6 % (1449 публикаций); Институт экономических проблем имени Г. П. Лузина Кольского НЦ РАН – 8,8 % (1096 публикаций); Центральный экономико-математический институт РАН – 7,6 % (945 публикаций); Институт социально-экономического развития территорий РАН – 7,4 % (922 публикации).

Более половины публикаций (59 %) научных институтов экономического профиля, подведомственных ФАНО России, за 2009–2013 годы – это статьи в журналах, входящих в Перечень ВАК, и 6,7 % – в журналах, которые индексируются не только в РИНЦ, но и в базах данных Web of Science или Scopus. Эти показатели характеризуют публикационную активность научных институтов экономического профиля и в количественном, и в качественном аспекте.

Представленные в РИНЦ данные позволяют сделать акцент на таком важном направлении научной деятельности, как проведение совместных исследований с зарубежными коллегами. К сожалению, за 2009–2013 годы в научных институтах экономического профиля, подведомственных ФАНО России, доля публикаций с участием зарубежных организаций в РИНЦ составляет только 0,7 %.

Говоря о показателях общего количества публикаций научных организаций, следует отметить, что они могут служить лишь первичным критерием оценки научной и публикационной активности учреждения, так как не несут в себе информации о востребованности научной продукции и ее качестве.

В современной наукометрии для качественной оценки публикационной активности используется индекс цитирования, под которым понимается количество распределенных по годам ссылок на работы конкретного исследователя или организации, выполненные в соответствующей отрасли научной деятельности. Цитирование показывает, что эти работы повлияли на других ученых.

В таблице 2 приводится ранговое распределение научных институтов экономического профиля, подведомственных ФАНО России, по частоте цитирования работ, выполненных их сотрудниками за указанный период.

Таблица 2. Общие показатели числа цитирований научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций, в РИНЦ (данные НЭБ на 10.10.2014)

Данные таблицы свидетельствуют, что общее количество цитирований в РИНЦ публикаций научных институтов экономического профиля, подведомственных ФАНО, за 2009–2013 гг. составило 28 952, из них более половины (50,9 %) приходится на долю трех институтов, а именно: Института экономики и организации промышленного дела производства СО РАН – 17,7 % (5141 цит.); Института экономики РАН – 17,4 % (5059 цит.); Цент-рального экономико-математического института РАН – 15,7 % (4536 цит.).

Учитывая тот факт, что численность научных сотрудников в анализируемых организациях разная, для более объективной оценки их публикационной активности необходимо использовать усредненные показатели (например, среднее число цитирований в расчете на одну публикацию и индекс Хирша).

Ранжирование научных институтов экономического профиля, подведомственных ФАНО России, по показателю среднего числа цитирований в расчете на одну публикацию за 2009–2013 гг. представлено на рисунке 1.

В РИНЦ позитивно, на наш взгляд, решается также еще одна важная задача. Она связана с установлением показателя научной продуктивности исследователя на базе распределения цитирований его работ. Данный расчет основан на идее американского физика Х. Хирша, предложившего в 2005 году рассчитывать соотношение количества публикаций ученого и их цитирований[11], которое принято называть индексом Хирша (h-index).

Введение данной метрики Х. Хирш аргументировал ее предпочтительностью перед такими критериями оценки, как количество работ, деленное на общее количество цитирований, или количество цитирований, приходящихся на одну работу [Hirsch, 2005]. Западные коллеги Х. Хирша, отмечая преимущества h-индекса перед другими показателями подобного рода, делают акцент на том, что этот индекс дает возможность учитывать не только количество публикаций, но и их востребованность, тем самым являясь результатом баланса между количеством публикаций и количеством цитирований, полученных каждой публикацией [Glänzel, 2006].

Рисунок 1. Среднее число цитирований научных институтов экономического профиля, подведомственных ФАНО России, в расчете на одну публикацию за 2009–2013 гг. в РИНЦ (данные НЭБ на 10.10.2014)

Хотя многие ученые высказывают сомнение относительно корректности применения h-индекса для вычисления научной производительности [Lehnmann S., Jackson A. D., Lautrup B. E., 2005; Sidiropuolos, 2007 и др.], отмечая прежде всего его неспособность выявлять важные работы, созданные в прошлом, и работы, которые продолжают существенно влиять на научное мышление, нельзя отрицать полезности h-индекса в качестве общепринятой меры академических достижений.

Оригинальное определение индекса Хирша ориентировано на сравнение производительности авторов, тем не менее он используется для оценивания научных сообществ.

В отношении научных учреждений рассматриваемый индекс вычисляется в РИНЦ на основе распределения цитирований работ исследователей. Индекс Хирша h получается, если n из общего количества (Np) статей сотрудников данного учреждения цитируется как минимум h раз каждая, в то время как оставшиеся (Np – h) статьи цитируются не более чем h раз каждая. Можно сказать, что этот индекс характеризует масштабность и успешность исследовательской и публикационной деятельности организации и отражает усредненную публикационную активность исследователей.

Ранжирование подведомственных ФАНО России научных институтов экономического профиля по значению индекса Хирша представлено на графике (рис. 2).

Рисунок 2. Значение индекса Хирша научных институтов экономического профиля, подведомственных ФАНО России, в РИНЦ (данные НЭБ на 10.10.2014)

Высокие значения индекса Хирша в РИНЦ (от 20 и выше) выявлены у семи институтов: Институт проблем рынка РАН (34); Центральный экономико-математический институт РАН (32); Институт экономики и организации промышленного производства СО РАН (29); Институт экономики РАН (29); Институт народнохозяйственного прогнозирования РАН (27); Институт социально-экономических проблем народонаселения РАН (20); Институт экономики УрО РАН (20). Три института демонстрируют среднее значение индекса Хирша (от 10 до 20); одиннадцать – менее 10. Высокие значения этого индекса могут рассматриваться как косвенные показатели качества научной продукции исследовательского коллектива.

Таким образом, данные РИНЦ свидетельствуют о значительной публикационной активности научных институтов экономического профиля, подведомственных ФАНО России.

В целом за период 2009–2013 гг. научные академические институты экономического профиля представили в РИНЦ более 12 тыс. публикаций, обеспечив при этом прирост абсолютного количества статей почти в полтора раза – с 1990 в 2009 году до 2817 в 2013 году (темп роста – 141 %). Косвенными показателями качества этих публикаций могут служить показатели количества статей в журналах, входящих в Перечень ВАК (59 % от общего количества публикаций), и в журналах, которые индексируются и в РИНЦ, и в базах данных Web of Science или Scopus (6,7 %). В то же время незначительным является количество публикаций научных институтов с участием зарубежных организаций, что позволяет сделать вывод о необходимости развития такого важного направления научной деятельности, как проведение совместных исследований с зарубежными коллегами.

Следует отметить, что сложившаяся на сегодня система РИНЦ может использоваться в качестве инструмента оценки публикационной активности научных институтов. Более сложная проблема заключается в определении степени объективности наукометрических показателей, с помощью которых проводится оценка эффективности и результативности деятельности научных организаций.

Общепризнанно, что основу адекватной оценки эффективности и результативности деятельности научных организаций составляет мнение экспертов о научных результатах, их новизне, актуальности, соответствии целям и задачам инновационного развития страны. В то же время показатели, представленные как в РИНЦ, так и в зарубежных индексах цитирования, весьма динамичны и довольно быстро изменяются. В контексте этого очевидно, что выводы, основанные на таких данных, являются объективными только для определенного временного периода. Кроме того, библиометрические индикаторы не всегда объективно учитывают специфику научной деятельности. Таким образом, для абсолютной оценки научной деятельности отдельных ученых и учреждений в целом данные индексов цитирования могут использоваться в качестве вспомогательных, основным же способом для анализа качества научно-исследовательского проекта или отдельного ученого должна быть экспертная оценка, которая в первую очередь учитывает научное содержание работы.