Московский экономический журнал 3/2017

image_pdfimage_print

УДК 001.3

Bezymyannyj-12

Назаров Антон Дмитриевич,

магистрант кафедры бизнес-информатики

Уральский государственный экономический университет

Благинин Виктор Андреевич,

Заведующий лабораторией наукометрии

Уральский государственный экономический университет

Куликова Елена Сергеевна,

кандидат экономических наук

доцент кафедры государственного и муниципального управления

Уральский государственный экономический университет

Nazarov A. D.

Blaginin V.A.

Kulikova E. S.

РАЗРАБОТКА МОДЕЛИ ИНТЕГРАЦИОННОГО НАУКОМЕТРИЧЕСКОГО ПОКАЗАТЕЛЯ ПУБЛИКАЦИОННОЙ АКТИВНОСТИ УЧЕНЫХ РОССИЙСКИХ ВУЗОВ

DEVELOPMENT OF A MODEL OF THE INTEGRATION SCIENTIFIC INDICATOR OF THE PUBLIC ACTIVITY OF SCIENTIFIC RUSSIAN UNIVERSITIES

Аннотация: В статье поднимается проблема оценки деятельности российского ученого, рассматриваются два метода – экспертный и статистический, дается оценка каждому методу. Также рассмотрены существующие наукометрические показатели, их свойства и недостатки, приводятся методы их расчета. Предложена новая модель расчета интеграционного наукометрического показателя публикационной активности.

Ключевые слова: наукометрия, наукометрические показатели, индекс Хирша, импакт-фактор, самоцитирование.

В настоящее время расчет публикационной активности ученого российского ВУЗа является актуальной задачей. С одной стороны, необходимо определить, по какому критерию сравнивать двух разных ученых, с другой стороны, неясно каким образом сравнивать заданные критерии. Существуют два принципиально разных решения к оценке публикационной активности – это экспертный метод и статистический. В базу экспертного метода входит субъективное мнение эксперта о качестве работы. Основными недостатками экспертного метода является, во-первых – его высокая стоимость, а также влияние человеческого фактора.

Второй тип оценки производительности ученого – это статистический, который избавлен от вышеперечисленных недостатков, но имеет и свои, основанные на том, что публикационная активность оценивается по определенным критериям и некоторым аспектам конкретной работы исследователя, например, количество цитирований.

Однако качественные показатели являются актуальными и в настоящее время, так как экспертная оценка также не может дать ответ о степени компетентности и перспективности ученого.

Согласно Указу Президента от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки» основными критериями оценки производительности ученого является наукометрические показатели, такие как: количество публикаций, цитирований автора и индекс Хирша. Но эти показатели, согласно практике их использования в российской науке несовершенны.

Все используемые в настоящее время наукометрические показатели можно разделить на 2 группы: локальные, такие как: импакт-фактор, индекс Хирша, m-индекс, g-индекс и другие алгоритмы на базе вышеуказанных, а также глобальные алгоритмы, такие как: eigenfactor и SJR. Сейчас подробнее рассмотрим обе группы, с целью выявления недостатков каждого.

Локальные алгоритмы используют для расчета количества статей и цитирований за определенное время.

Самый популярный локальный показатель Journal Impact Factor или импакт-фактор, разработанный 16 сентября 1925 года американским ученым Юджином Гарфилдом, который впервые организовал междисциплинарную базу данных научных журналов и создал для нее указатель цитирования.

Импакт-фактор научного издания за определенный год численно равен отношению количества цитирований за этот год к количеству опубликованных в этом журнале статей за предшествующие два года. Временные рамки заданы для того, чтобы поддерживать актуальность значения импакт-фактора. Так импакт-фактор рассчитывается по следующей формуле, представленной на рисунке 1:

Screenshot_1

Рисунок 1 – Формула расчета импакт-фактора

Несмотря на то, что это один из основных показателей качества журнала, такой подход содержит ряд недостатков:

  1. Не учитывает те публикации, которые активно цитируются после 3 лет с момента публикации
  2. Есть возможность накрутки импакт-фактора путем увеличения цитирований и снижения количества статей в номере

Существуют такие публикации в инновационных сферах науки, которые не учитывает импакт-фактор, так как они выпадают из двухлетнего интервала, ввиду того, что инновационная публикация цитируется медленно.

В международной базе Scopus c 2017 года существует метрика CiteScore, которая представляет модифицированный импакт-фактор за 3 года, что позволяет несколько улучшить качество выставляемых оценок для вышеописанных научных областей.

Поэтому область применения подобного подхода очень ограничена только теми научными направлениями, где цитирования публикаций попадают в двухлетний промежуток времени.

Импакт-фактор используется для оценки научных изданий в целом и не применим для полноценной оценки конкретного автора, поэтому был разработан новый показатель – индекс Хирша или h-индекс. Вычисляется h-индекс следующим образом: во-первых, все статьи автора упорядочиваются по убыванию цитирований, во-вторых, когда количество цитирований очередной статьи будет меньше порядкового номера, то получится h-индекс+1.

С математической точки зрения это можно представить как : пусть cites(p) – количество ссылок на статью p, P – множество статей исследователя, Ph – подмножество P, рассчитываемое как на рисунке 2:

Screenshot_2

Рисунок 2 – Формула расчета импакт-фактора

Тогда индекс Хирша равен наибольшему h, для которого верно неравенство.

Данный показатель во многих случаях позволяет с некоторой точностью определить и оценить общее количество статей ученого, однако он не идеален.

Индекс Хирша имеет серьезные недостатки даже при оценивании исследователей с достаточным количеством статей. Например, ученый Иванов А.А. имеет 10 статей, на которые ссылаются по 10 раз, и 20 работ, на которые ссылаются по 9 раз. У ученого Иванова В.В есть всего 10 статей, на каждую из которых ссылаются 20 раз. Очевидно, что степень вклада этих ученых различна, хотя индекс Хирша у обоих равен 10. Это показывает, что h-индекс теряет важную информацию о списке статей, что делает его ненадежным показателем.

M-индекс был предложен Хиршем одновременно с h-индексом. M-индекс ученого численно равен отношению его h-индекса к количеству лет, прошедших с момента первой публикации. Эта модификация h-индекса призвана компенсировать малое количество статей для молодых ученых. Тем не менее, этот показатель сохранил недостаток h-индекса, связанный с использованием количественной, а не качественной оценки списка публикаций.

G-индекс был предложен Лео Эггом в 2006 году в качестве усовершенствования индекса Хирша. G-индекс вычисляется следующим образом. Пусть c – упорядоченная по убыванию цитирований последовательность статей определенного автора, а cites(c) – количество цитирований для статьи c. Тогда G-индекс этого автора равен наибольшему g такому (Рис.3), что:Screenshot_3

Рисунок 3 – Формула расчета g-index

Иными словами, G-индекс автора – это наибольшее g такое, что наиболее высоко цитируемые g статей этого автора имеют в среднем g цитирований.

Позднее были проведены сравнения качества ранжирования, обеспечиваемого h и G индексами, где было показано, что G-индекс обеспечивает более высокое качество ранжирования.

Стоит заметить, что и h-индекс, и G-индекс представляет собой натуральное число, что значительно ограничивает их разрешающую способность, особенно при малых значениях этих показателей.

G1-индекс был разработан в 2008 году Ричардом Толом как обобщение G-индекса для вещественных чисел. Для G-индекса, рассчитываемого по формуле 4, G1-индекс выглядит следующим образом (рис.4):

Screenshot_4

Рисунок 4 – Формула расчета g1-index

Ни одно решение не дает сколько-нибудь существенной защиты от накрутки, например, путем самоцитирования собственных публикаций. Основной причиной ее отсутствия является неявное предположение о том, что вес ссылки не зависит от качества статьи, которая создает эту ссылку. Поэтому автор может создать большое число посредственных статей, ссылающихся на избранное множество его же статей, и успешно увеличивать получаемую оценку.

Кроме того, как показало проведенное в рамках данной работы исследование, самоцитирования составляют основную часть ссылок, получаемых статьями авторов с малым h-индексом или любым производным от него показателем (G-индекс, G1- индекс), что вносит погрешность в точность оценок, выдаваемых таким показателем. Существуют сведения об успешных намеренных искажениях существующих наукометрических показателей.

Исходя из этого, необходим новый показатель, который исправит существующие явные недостатки при оценке публикационной активности ученого.

Существующие показатели обладают рядом недостатков, так как не учитывают такой важный критерий как самоцитирования.

На базе данного правила и будет построен интеграционный наукометрический показатель.

Для простоты восприятия рассмотрим таблицу с существующими наукометрическими показателями, в которой выделим еще один показатель количество самоцитирований автора (таблица 1).

Введем условные обозначения: А1_П1 – первая публикация первого автора, А1_П2 – вторая публикация первого автора, А1_П3 – третья публикация первого автора, А1_П4 – четвертая публикация первого автора, А2_П1 – первая публикация второго автора, А2_П2 – вторая публикация второго автора, А2_П3 – третья публикация второго автора, А2_П4 – четвертая публикация второго автора, А3_П1 – первая публикация третьего автора, А3_П2 – вторая публикация третьего автора, А3_П3 – третья публикация третьего автора, А3_П4 – четвертая публикация третьего автора,

Таблица 1 – Существующие наукометрические показатели авторов

Screenshot_5

В таблице представлено 3 автора, к каждого из которых 4 публикации и индекс Хирша равен 4. Однако, если учесть количество самоцитирований, и вычесть данный показатель из цитирования автора, получится следующая информация (таблица 2):

Таблица 2 – Качественный индекс Хирша

Screenshot_6

У публикаций автора 3 содержится большое количество самоцитирований, поэтому качественный индекс Хирша равен 2.

Однако у авторов 1 и 2 индекс Хирша(cc) по-прежнему равен 4.

Следующим недостатком существующих наукометрических показателей для оценки публикационной активности ученых является факт не учёта 1 цитирования на количество соавторов. Также рассмотрим пример. В таблице значения в скобках в столбце «Список публикаций» обозначают количество авторов конкретной публикации (таблица 3).

Таблица 3 – Дополнительный показатель количества авторов публикации

Screenshot_7

Исходя из этого, можно рассчитать количество качественных цитирований на 1 автора (таблица 4).

Таблица 4 – Количество качественных цитирований на 1 автора

Screenshot_8

 

В публикациях автора 1 содержится меньшее количество цитирований на 1 автора, поэтому примерный индекс Хирша равен 2. В данной ситуации проявляется еще 1 проблема индекса Хирша. Заключается она в том, что h-index неотрицательное целое число, и при равных наукометрических показателях по критерию индекса Хирша авторы окажутся равны.

Исходя из проведенного эксперимента можно выделить 3 основных критерия для создания модели измерения интеграционного наукометрического показателя:

  • Самоцитирование
  • Количество цитирований в расчете на 1 автора
  • Вещественное значение показателя публикационной активности

     Что касается критерия «самоцитирование», то в научном обществе сложилось 2 принципиально разных мнения, с одной стороны как утверждал известный психолог А. Р. Лурия: «Науки без повторов не бывает». И действительно, в научных работах нередки случаи,  когда автор обращается к предыдущим работам, написанным им самим или в соавторстве, цитирует их, причем цитируемые фрагменты могут быть весьма обширными. Это и называется самоцитированием. В связи с этим в научном обществе принят факт наличия самоцитирования на публикацию не более 25% от общего количества цитирований. Данный факт мы учтем при формировании модели нового показателя (2).

Для формализации модели примем обозначения:

  • ISI – integration scientometric indicator или интеграционный наукометрический показатель
  • N – количество публикаций автора за весь период
  • Сi – количество цитирований на i-тую публикацию
  • i – количество самоцитирований на i-тую публикацию
  • Ai – количество авторов в на i-той публикации

Тогда окончательная модель примет вид (1):

Screenshot_9

Согласно вышеописанной модели рассчитаем индекс ISI для авторов 1,2 и 3 (таблица 5)

Таблица 5 – Результаты расчета интеграционного наукометрического показателя

Screenshot_10

Исходя из полученных данных, мы выяснили, что интеграционный наукометрический показатель более точно определяет степень производительности ученого, так как он учитывает все вышеописанные недостатки основных критериев, которые содержат существующие наукометрические показатели, такие как: учет самоцитирования, цитирования в расчете на 1 автора и вещественное значение показателя.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

  1. Указ Президента РФ “О мерах по реализации государственной политики в области образования и науки” от 7 мая 2012 года
  2. Adler, R. Citation statistics / R. Adler, J. Ewing, P. Taylor // Statistical Science. — 2009. — V. 24, № 1. — P. 1–14.
  3. Arnold, D. Nefarious numbers / D. Arnold, K. Fowler // Notices of the AMS. — 2011. — V. 58, № 3. — P. 1.
  4. Bergstrom, C. The Eigenfactor metrics / C. Bergstrom, J. West, M. Wiseman // The Journal of Neuroscience. — 2008. — V. 28, № 45. — P. 11433–11434.
  5. Egghe, L. Theory and practise of the g-index / L. Egghe // Scientometrics. — 2006. — V. 69, № 1. — P. 131–152.
  6. Gonz´alez-Pereira, B. A new approach to the metric of journals’ scientific prestige: The SJR indicator / B. Gonz´alez-Pereira, V. Guerrero-Bote, F. Moya-Aneg´on // Journal of Informetrics. — 2010. — V. 4, № 3. — P. 379–391.
  7. Hirsch, J. An index to quantify an individual’s scientific research output / J. Hirsch // Proceedings of the National Academy of Sciences of the United states of America. — 2005. — V. 102, № 46. — P. 16569.
  8. Kleinberg, J. Authoritative sources in a hyperlinked environment / J. Kleinberg // Journal of the ACM (JACM). — 1999. — V. 46, № 5. — P. 604–632.
  9. Акоев М.А., Маркусова В.А., Москалева О.В., Писляков В.В. Руководство по наукометрии: индикаторы развития науки и технологии. Thomson Reuters. – Екатеринбург. – 2014. – 250 с.
  10. Благинин В.А., Назаров А.Д. Современные библиометрические показатели как фундамент оценки состояния науки России // В сборнике: Cоциальная инноватика – 2015 2015. С. 126-128.
  11. Касьянов П. Е. Наукометрия в антикризисном управлении научными исследованиями [Электронный ресурс]. Режим доступа:http://hdl.handle.net/10995/43145
  12. Поляк Б.Т. Наукометрия: кого мы лечим? // Управление большими системами: сборник трудов. 2013. № 44. С. 161-170.