Коллектив авторов - Совершенствование оценки эффективности деятельности подведомственных Правительству Российской Федерации образовательных и научных учреждений

• Название: Совершенствование оценки эффективности деятельности подведомственных Правительству Российской Федерации образовательных и научных учреждений
• Автор: Коллектив авторов
• Жанр: Прочая научная литература
• Год: 2014
• ISBN: 978-5-906660-40-4

Монография подготовлена по результатам исследований, выполненных за счет бюджетных средств по Государственному заданию Финуниверситета 2013 г.

В монографии исследуются зарубежный опыт и отечественная практика оценки эффективности деятельности образовательных и научных учреждений. Дана классификация понятий «потенциал» и «деятельность» образовательных и научных учреждений, на основании чего предложена матрица объектов для формирования системы аналитических показателей исследовательского университета (научно-образовательного центра). На основе предложенной матрицы разработаны структура, состав и база данных типовых аналитических показателей для оценки деятельности учреждений, подведомственных Правительству Российской Федерации. Предложен алгоритм проведения оценки эффективности деятельности образовательных и научных учреждений, подведомственных Правительству Российской Федерации. Даны методические рекомендации по организации мониторинга результатов самооценки этих учреждений.

Данное монографическое издание предназначено руководителям и сотрудникам Аппарата Правительства Российской Федерации, министерств, в ведении которых находятся образовательные и научные учреждения. Также оно может быть полезно руководителям образовательных и научных учреждений, преподавателям, научным сотрудникам, аспирантам и студентам, интересующимся проблемами вузовского менеджмента.

---

Таблица 8

Индикаторы процессов Систем финансирования исследований на основе оценки эффективности – PBRFs

Индикаторы структуры могут быть сосредоточены на внутренних аспектах, таких как доля академических работников, занятых в исследованиях или исследовательской инфраструктуре, или на внешних аспектах, таких как сотрудничество, репутация и уважение в среде коллег (табл. 9). Возможности для сравнения значений структурных индикаторов для разных дисциплин и областей исследования ограничены вследствие различий в средствах и методах сотрудничества.

Таблица 9

Индикаторы структуры Систем финансирования исследований на основе оценки эффективности – PBRFs

Важные результирующие индикаторы в части выходных индикаторов представлены в табл. 10, а в части индикаторов эффекта – в табл. 11.

Таблица 10

Индикаторы результатов Систем финансирования исследований на основе оценки эффективности – PBRFs

Результаты на выходе могут быть измерены на основе числа публикаций, небиблиографических итогов деятельности, выпуска докторов философии (PhD) и различных видов общественных мероприятий. Публикации важны для развития исследований, но характеристики публикаций отличаются в разных областях исследований и дисциплинах. Обычно при оценке публикационной активности акцент делается на рецензируемых публикациях, поскольку рецензирование предполагает обеспечение определенного уровня качества. В таких областях, как общественные и гуманитарные науки, различие между долей национальных и международных публикаций может быть существенным. Часто статьи в журнале группируются, исходя из ранжирования журналов (по рейтингам журналов). В некоторых научных областях есть устоявшаяся система рейтингования журналов, но в некоторых такие системы ограничены. Эффект также может быть измерен индикаторами, связанными с количеством цитирований, премиями и наградами, возможностями по трудоустройству выпускников PhD, коммерциализацией результатов исследований и оценкой их конечным потребителем.

Таблица 11

Индикаторы эффекта Систем финансирования исследований на основе оценки эффективности – PBRFs

Количество цитирований – индикатор эффекта, который учитывает частоту публикаций и частоту, с которой опубликованные материалы процитированы другими исследователями. Так как исследователи цитируют друг друга по множеству причин, то дискуссионным остается вопрос о том, что фактически измеряет количество цитирований. Предполагается, что исследователи цитируют друг друга, поскольку основываются на идеях и результатах других исследователей, и количество цитирований является характеристикой качества. Но насколько значительно такое качественное измерение? Повод для цитирования также может быть неоднозначным. Не всегда ссылка на работу другого исследователя используется в качестве поддержки собственной точки зрения исследователя. Ссылка может использоваться и для того, чтобы не согласиться с точкой зрения другого автора или показать общее понимание предметной области. Измерение качества исследований без использования количества цитирований осложняется тем, что информация для этого больше имеет отношение к коммуникационным структурам и профессиональным сообществам.

В академическом сообществе продолжается обсуждение возможности использования и неправильного употребления статистики цитирования. В 2008 году Объединенный комитет количественной оценки исследований (Joint IMU/ICIAM/IMS[16] Committee on Quantitative Assessment of Research) опуб ликовал отчет об ограничениях статистики цитирования и рекомендациях по ее использованию. Предпосылкой для создания отчета стало наблюдение того, что для большей прозрачности и ответственности в академическом мире создана культура чисел. Комитет в своем отчете отметил, что лица, принимающие решения, при отсутствии возможности измерить качество (конечная цель) заменяют качество числами, которые они могут измерить. Эта тенденция призывает дать комментарий тех, кто профессионально имеет дело с числами – математиков и статистиков[17].

Отчет был прокомментирован другими экспертами, которые признают распространенное неправильное употребление данных о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18].

Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.

Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.

В количественной оценке цитирования работ по социальным и гуманитарным наукам существуют специфические проблемы. В этих предметных областях статьи в журналах могут отражать лишь отдельные аспекты проводимых исследований, что сказывается на уровне их цитирования[19].

Индикаторы трансфера знаний и коммерциализации результатов исследований в последние годы приобрели особую значимость, поскольку исследования и политики в области инноваций стали более интегрированными. Эти индикаторы могут базироваться на измерении количества лицензий и стартапов, но могут также быть связаны с проведением совместных исследований, консультационной деятельностью, а также с возможностями трудоустройства выпускников со степенью PhD и удовлетворенностью работодателей уровнем подготовки выпускников.

Индикаторы второго уровня. В результате выявленных методологических проблем с оценкой цитируемости были разработаны несколько индексов, которые доступны в большинстве баз данных. Но к их использованию в качестве индикаторов необходимо относиться с большой осторожностью, что не всегда имеет место на практике.

Основными индексами являются импакт-фактор журнала и индекс Хирша. Импакт-фактор журнала – показатель, дающий характеристику среднему числу цитирований статей, опубликованных в данном журнале в пределах определенного срока. Однако существуют значительные различия в числе цитирований статей по отдельным темам. И даже в журналах с высокими импакт-факторами некоторые статьи либо имеют мало, либо не имеют цитирований. Поэтому импакт-фактор не должен механически использоваться для оценки эффективности деятельности исследователей или исследовательских групп.

Индекс Хирша показывает число статей, опубликованных исследователями, у которых есть число цитирований, равное или выше, чем количество статей. Значение индекса Хирша на уровне 20 говорит о том, что исследователь имеет 20 публикаций, каждая из которых была процитирована, по крайней мере, 20 раз. Индекс Хирша был разработан с учетом ограничений других показателей цитируемости. Например, у менее значимого исследователя может быть высокое общее количество цитирований, поскольку он опубликовал «прорывную» статью совместно с другими исследователями. Тем не менее, достичь высокого значения индекса Хирша возможно, имея непрерывный поток публикаций в течение ряда лет. Это означает, что применение индекса Хирша к исследовательской деятельности имеет смысл после 12–15 лет проведения исследований. Кроме того, индекс Хирша зависит от количества лет занятости исследовательской работой, области исследований и сотрудничества в академической сфере. Поэтому индекс Хирша в полной мере не решает проблему сравнительных оценок.

Индикаторы третьего уровня. Индикаторы третьего уровня основаны на экспертных оценках эффективности деятельности отдельных подразделений. Такая оценка проводится с привлечением признанных исследователей в отдельных областях знаний. Экспертная оценка может быть определена как коллегиальная профессиональная модель оценки. Основная идея состоит в том, что признанные представители профессионального сообщества могут оценить деятельность других участников и результаты их исследований на основе качественных профессиональных критериев.