Московский экономический журнал 11/2021

Posted by redaktor
image_pdfimage_print

Научная статья

Original article

УДК 330.42

doi: 10.24412/2413-046Х-2021-10679

АНАЛИЗ УСПЕШНОСТИ ПРОДВИЖЕНИЯ В МИРОВЫХ РЕЙТИНГАХ ВУЗОВ-УЧАСТНИКОВ ПРОЕКТА 5 В 100 И ДРУГИХ РОССИЙСКИХ ВУЗОВ

ANALYSYS OF PROMOTION SUCCESS OF UNIVERSITIES PARTICIPATING IN THE PROJECT 5 IN 100 AND OTHER RUSSIAN UNIVERSITIES IN THE WORLD RANKING

Шмаков Николай Николаевич, Санкт-Петербургский государственный университет, г. Санкт-Петербург,

Холина Илона Юрьевна, Санкт-Петербургский государственный университет, г. Санкт-Петербург,

Даут Мария Викторовна, Санкт-Петербургский государственный университет, г. Санкт-Петербург,

Королева Ника Сергеевна, Санкт-Петербургский государственный университет, г. Санкт-Петербург,

Забоев Михаил Валерьевич, кандидат экономический наук, доцент, Санкт-Петербургский государственный университет, г. Санкт-Петербург 

Shmakov N.N., nikolay.shmakov99@mail.ru

Kholina I.Y., holina-ilona@mail.ru

Daut M.V., mvdaut@yandex.ru

Koroleva N.S., uvarovanika.i@yandex.ru

Zaboev M.V., m.zaboev@spbu.ru

Аннотация. В статье рассматривается оценка изолированной динамики продвижения ВУЗов-участников проекта 5 в 100 и других российских ВУЗов в главных международных рейтингах за последние пять лет. С использованием метода градиентного бустинга и аддитивных объяснений Шепли были отобраны признаки, имеющие наибольшее влияние на положение российских университетов в международных рейтингах. На основе отобранных признаков была проведена кластеризация, в которой наблюдением являлся российский университет отдельно в каждом году, попавший в один из международных рейтингов по итогам года. В результате были получены два интерпретируемых кластера, которые были использованы для анализа межгрупповых перемещений университетов.

Abstract. The paper considers the assessment of isolated dynamics of universities participating in project 5 in 100 and other Russian universities promotion in the main international university rankings over the last five years. Using gradient boosting method and Shapley’s additive explanations features with the biggest impact on the position of Russian universities in the international rankings were selected. Clustering was carried out on the basis of selected features, in which the observation was a Russian university that was included minimum in one international university ranking separately in each year. Two interpretable clusters were obtained as a result, which was used to analyze the movement of universities between clusters.

Ключевые слова: высшее образование в России, проект 5 в 100, международные рейтинги университетов, градиентный бустинг, аддитивные объяснения Шепли, кластерный анализ, DBSCAN

Keywords: higher education in Russia, project 5 in 100, international university rankings, gradient boosting, SHAP values, cluster analysis, DBSCAN

Система российского высшего образования имеет перед собой комплексную цель – соответствовать современным темпам мирового развития и даже превышать их. Проект 5 в 100 поставил перед флагманами российского образования амбициозную задачу попадания хотя бы 5 из них в топ-100 мировых университетов по версиям следующих международных рейтингов: THE, ARWU и QS. Цель данного проекта – повышение конкурентоспособности ведущих российских университетов на глобальном рынке образовательных услуг.

Работа по Проекту 5 в 100, который рассчитан на семь лет, началась в мае 2013 года в соответствии с положениями Указа Президента РФ от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки. В соответствии с положениями указа к 2020 году Правительству РФ необходимо обеспечить вхождение не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов.

По итогам конкурсного отбора в две волны участие в программе принял 21 ведущий российский университет. По результатам первой волны в 2013 году в список участников проекта вошли следующие 15 университетов: ДВФУ, НИУ ВШЭ, ИТМО, СПбГЭТУ «ЛЭТИ», КФУ, НИТУ «МИСиС», НИЯУ МИФИ, МФТИ, НГУ, Университет Лобачевского, Самарский Университет, СПбПУ, ТПУ, УрФУ, ТюмГУ. Во второй волне в 2015 году к проекту присоединились 6 университетов: БФУ им. И. Канта, Сеченовский Университет, СФУ, ЮУрГУ, РУДН, ТГУ. Осуществляется также финансирование МГУ им. М.В. Ломоносова и СПбГУ – два этих университета, которые имеют особый статус, должны войти в топ-100 мировых университетов.

Достижение задачи, поставленной перед университетами, зависит от двух групп факторов. Первая группа связана с самостоятельным достижением показателей, на основе которых рассчитывается тот или иной международный рейтинг. Все три рейтинга базируются на показателях, которые могут быть объединены в 3 группы:

  • международная активность и привлекательность: доля иностранных студентов, доля иностранных научно-педагогических работников (далее – НПР);
  • публикационная активность: академическая репутация, количество публикаций, доходы от научной деятельности, цитирование на одну научную публикацию;
  • качество образования: количество студентов на численность профессорско-преподавательского состава (далее – ППС), деловая репутация, средняя или медианная зарплата будущего выпускника.

Университеты могут влиять на показатели этих групп напрямую или через прокси-факторы. Например, для повышения доли иностранных студентов университет может увеличивать число образовательных программ на иностранном языке, улучшать условия проживания в общежитиях и рекламировать себя на выставках международного образования. Фактор финансирования в рамках проекта 5 в 100 должен сказаться именно на повышении показателей, на которых основаны ведущие международные рейтинги, и формирующих их прокси-показателей.

Вторая группа факторов связана с достижением идентичных показателей иностранными университетами. Следовательно, на положение университета в рейтинге оказывает влияние динамика не только собственных показателей, но и динамика показателей иностранных университетов.

Цель настоящей работы состоит в изолированной оценке успешности отечественных ВУЗов без учета изменения показателей деятельности иностранных университетов и сопоставлении динамики продвижения ВУЗов-участников проекта 5 в 100 и других российских ВУЗов за последние пять лет. Наша гипотеза заключается в том, что ВУЗы-участники проекта 5 в 100 продвигались в целом успешнее остальных университетов в 2017–2021 гг. Для достижения цели работы необходимо выполнить следующие задачи:

  1. Отобрать факторы, которые оказывают наибольшее влияние на положение университетов в международных рейтингах QS, THE и ARWU.
  2. Провести кластерный анализ для проверки динамики движения университетов.
  3. Проверить значимость влияния фактора финансирования на перемещение между кластерами.

В качестве признакового пространства нами были рассмотрены данные из ГИВЦ Минобрнауки России по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования. После исправлений и удалений некоторых значений, признаковое пространство состояло из 115 показателей. Для отбора факторов, оказывающих наиболее значимое влияние, был использован метод градиентного бустинга с последующей оценкой важности признаков методом аддитивных объяснений Шепли. Алгоритм градиентного бустинга хорошо зарекомендовал себя в задачах с малыми выборками, где необходимо найти нетривиальные и нелинейные зависимости, а аддитивные объяснения Шепли позволяют интерпретировать работу алгоритма, используя теоретико-игровой подход.

В качестве признака-результата были взяты позиции университетов во всех рейтингах, поэтому, в случае наличия во всех трех мировых рейтингах, ВУЗ попадал в обучающую выборку три раза с возможным разным значением признака-результата. Чтобы нивелировать влияние различных целевых значений и устранить различие в позиционных интервалах рейтингов (с убыванием рейтинга его позиционные интервалы возрастают, при этом скорость роста между рейтингами отличается) было решено перейти от абсолютного значения позиции университета к порядковому номеру сотни.

Для устранения зависимости от разбиения выборки на тренировочную, тестовую и валидационную части было проведено 10000 оценок обучений градиентного бустинга и оценок важности признаков при различных разбиениях выборки. Гистограмма средней квадратической ошибки представлена на рисунке 1:

При каждом разбиении были отобраны шесть признаков с максимальным по абсолютной величине значением Шепли. Таким образом, после проведения 10000 оценок, был получен список из 60000 повторяющихся признаков, в котором были оставлены пять факторов, встретившиеся в списке наибольшее количество раз, а именно:

  • число статей, подготовленных совместно с зарубежными организациями (вес – 22,18%);
  • количество цитирований публикаций, изданных за последние 5 лет и индексируемых в информационно-аналитической системе научного цитирования Web of Science Core Collection в расчете на 100 НПР (вес – 21,50%);
  • средний балл ЕГЭ студентов, принятых на обучение по программам бакалавриата и специалитета, по всем формам обучения (вес –22,82%);
  • численность студентов, победителей и призеров олимпиад школьников, принятых на очную форму обучения на первый курс по программам бакалавриата и специалитета по специальностям и (или) направлениям подготовки, соответствующим профилю олимпиады школьников, без вступительных испытаний (вес –19,00%);
  • число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования Web of Science Core Collection. в расчете на 100 НПР (вес –14,50%).

 Отметим, что результаты отбора практически не отличались от способа, когда каждому признаку был присвоен вес, пропорциональный значению Шепли. Это объясняется тем, что значимое влияние на каждой итерации оказывали лишь пять или шесть признаков. Итогом первого этапа стало выявление признаков, которые оказывают наибольшее влияние на положение университета в международных рейтингах. Именно с изменением значений этих факторов (или прокси-факторов их формирующих) мы связываем значимое изменение местоположение университетов в мировых рейтингах. В таблице 1 представлена коэффициенты корреляции между отобранными факторами и позициями в международных рейтингах:

Наименьшие по абсолютной величине значения имеют коэффициенты корреляции по рейтингу ARWU, это объясняется малым количеством наблюдений по данному рейтингу в выборке. В данных имеется мультиколлинеарность, поэтому для решения задачи кластеризации был применен алгоритм DBSCAN. Выбор данного алгоритма также обоснован внутренней возможностью вычисления важности (информативности) признаков, что сделает подбор гиперпараметров алгоритма объективным.

 В качестве наблюдений в кластеризации используются университеты в каждом рассматриваемом году, поэтому СПБГУ в 2017 и 2018 гг. – это разные объекты с точки зрения проведенной кластеризации. Мы хотим получить не только хорошую разбивку университетов, но и отследить перемещение университетов между выделенными группами.

Коэффициент Хопкинса по стандартизованным данным составил 0,87. Это свидетельствует о наличии в данных сильной тенденции к кластеризации. Подбор гиперпараметров производился двумя способами. Первый способ состоял в минимизации суммы квадратов отклонений долей эмпирической важности (весов) признаков от информативности признаков внутри алгоритма DBSCAN. График подбора гиперпараметров представлен на рисунке 2 (по оси абсцисс – максимальное расстояние между двумя наблюдениями, чтобы они считались соседями – наиболее важный гиперпараметр, а по оси ординат – количество выборок в окрестности точки, которая будет считаться базовой):

Данная функция имеет множество локальных минимумов и максимумов. В данной цветовой раскраске нас интересуют наиболее темные области. Глобальный минимум зафиксирован в точке с координатами 1.49 и 7. Диапазон значений определен с помощью разведочного анализа данных, а шаг оптимизации составил 0.01 и 1 соответственно.

Второй способ заключается в максимизации коэффициента силуэта, который вычисляется с помощью среднего внутрикластерного расстояния и среднего расстояния до ближайшего кластера. Коэффициент силуэта количественно определяет качество достигнутой кластеризации. График подбора с идентичными рисунку 2 осями представлен на рисунке 3:

Данная функция имеет несколько равных глобальных максимумов в точках 1,45–1,53 и 9. При определении значения первого гиперпараметра оба способа дают одинаковые результаты. Для определения второго гиперпараметра воспользуемся имеющимися функционалами качества. Сумма квадратов отклонений долей эмпирической важности (весов) признаков от информативности признаков внутри алгоритма DBSCAN между двумя способами различается незначительно, в то время как коэффициент силуэта в первом случае равен 0,33, а во втором 0,53. Таким образом, гиперпараметры для алгоритма DBSCAN были подобраны с использованием «учителя» (важность признаков по градиентному бустингу) и классического функционала качества кластеризации – коэффициента силуэта.

Переход от прямого анализа продвижения российских университетов к анализу перемещения между кластерами по нашему мнению должен учитывать только значимую и независимую динамику. Значимость в данном случае проявляется в том, что для восходящего перемещения университетов между кластерами один или несколько показателей должны качественно измениться, именно на такие изменения направлено финансирование в рамках проекта 5 в 100. Независимость заключается в том, что перемещение университетов между кластерами зависит от достижения показателей самими университетами, в то время как на положение университетов в международных рейтингах влияют темпы продвижения остальных университетов, участвующих в этих рейтингах.

В результате проведенной кластеризации на основе гиперпараметров, определённых на прошлом этапе, были выделены две группы университетов, участники которых хотя бы один раз за 2017-2021 гг. были оценены одним из международных рейтингов. В первую группу вошли лучшие университеты российского образования, поэтому она была названа лидирующей. В 2017 году в нее попали такие университеты как МГУ, СПбГУ, МФТИ, МИФИ и ВШЭ.  Во вторую группы вошли остальные университеты, оцененные международными рейтингами. Данная группа была названа догоняющей. Всего нами были оценено 48 университетов: 24 университета попали хотя бы в один международных рейтинг в каждом рассматриваемом году, 1 — попал туда четыре раза, 2 – три раза, 5 – два раза и 16 – один раз. Дополнительно мы неявно получили кластер университетов-аутсайдеров, представители которого ни разу не попали в международные рейтинги в 2017-2021 гг.

При анализе перемещений между кластерами нас больше интересует движение из догоняющей в лидирующую группу, так как именно на эти, ранее успешные, университеты был направлен проект 5 в 100. Университеты-флагманы не совершили значимого скачка в международных рейтингах, так не произошло образование нового лидирующего кластера, куда вошел бы, например, МГУ в каком-либо году (не в 2017).

В 2018 в лидирующую группы добавился один университет – НГУ. За этот год НГУ нарастил количество статей с зарубежными организациями на 50%, что увеличило количество публикаций в Web of Science Core Collection на 25%, а главное – цитируемость выросла почти в три раза. По этому показателю НГУ является лидером в 2018-2020 гг., уступив первенство МИСиС в 2021 году. В 2019 году к группе лидирующих университетов присоединился ИТМО, а в 2020 году изменений в составе данной группы не наблюдалось. Уже в 2021 к этой группе примкнул МИСиС, который совершил скачок аналогичным НГУ способом – повышением цитируемости. Отметим, что НГУ после своего пикового года несколько сдал – цитируемость публикаций в 2020-2021 гг. сократилось в два раза, что, однако, позволило остаться лидером по данному показателю среди российских университетов в 2020 году.

Анализируя перемещение из нулевого кластера (кластера аутсайдеров) в догоняющий кластер, мы наблюдаем рост ЮУрГу – участника проекта 5 в 100, который в 2018 году перебрался в догоняющий кластер. Этот университет оставался там далее в каждом рассматриваемом году. АлтГУ и СФУ вместе с ЮУрГУ в 2018 году совершили переход в догоняющий кластер, однако временно покидали его в 2019 году. С 2020 в догоняющий кластер вошли ЛЭТИ, ПГНИУ, РАНХиГС, РГГУ и Горный университет. А в 2021 догоняющий кластер пополнило шестнадцать университетов: БФУ, МГМУ, УГАТУ, Финансовый университет, КНИТУ, РХТУ, ТюмГУ, ИГУ, РГПУ им. А.И. Герцена, БЕЛГУ, ДГТУ, МИРЭА, МГПУ, МПГУ, МЭИ, РГАУ-МСХА.

Таким образом, был проведен анализ изолированной динамики продвижения российских университетов в международных образовательных рейтингах. Флагманские российские университеты, по нашему мнению, цель проекта не выполнили, так как новый кластер успешных университетов образован не был. Университеты первого эшелона за пять лет пополнили НГУ, МИСиС и ИТМО, которые являются участниками проекта 5 в 100. Отдельно отмечаем скачок ЮУрГУ, который в 2018 вошел в догоняющий кластер, и стал одним из его лидером (участник проекта 5 в 100). Остальные университеты не показали значимой динамики. Положительным моментом является вхождение шестнадцати университетов в догоняющей кластер, однако проект 5 в 100 в первую очередь был направлен на главные высшие учебные заведения России, поэтому результаты данного проекта не могут быть признаны успешными.

Список источников

  1. Главный информационно-вычислительный центр Министерства образования РФ: [сайт]. Москва, 1998 – . – URL: https://monitoring.miccedu.ru/ (дата обращения: 16.11.2021). – Режим доступа: свободный. – Текст: электронный.
  2. Забоев М.В., Мелешкин М.И. Анализ программ развития российских университетов с использованием нейросетевых методов кластеризации данных // Управленческие науки в современном мире. 2015. Т. 1. № 1. С. 148-152.
  3. Забоев М.В., Мелешкин М.И. Оценка перспектив вхождения российских университетов в первую сотню ведущих мировых университетов с использованием нейросетевых методов кластеризации данных // Прикладная информатика. 2014. № 3 (57). С. 52-61.
  4. Мелешкин М. И., Забоев М. В. Использование карт Кохонена для оценки конкурентоспособности ведущих российских университетов среди мировых научно-образовательных центров // Управленческое консультирование. 2014. №10 (70). С. 102–114.
  5. Халин В.Г., Забоев М.В., Мелешкин М.И. Глобальная конкурентоспособность ведущих университетов: методы и оценки прогнозирования. В сборнике: Университет, Бизнес и Власть: итоги взаимодействия за 10 лет. Материалы X Международного Форума «От науки к бизнесу». ООО «Мономакс». 2016. С. 133-135.
  6. Чернова Г.В., Халин В.Г., Анохина Е.М., Болдырева Н.Б. и др. Российские университеты в условиях цифровизации: математические и инструментальные методы оценки качества управления: монография / под общ. ред. В.Г. Халина. Москва: Проспект, 2019. 896 с.
  7. Zaboev M, Meleshkin M, Khalin V. Evaluation of current location and prospects of the European and Russian universities among the world’s leading universities with the use of neural network methods clustering of location. Издательство Латвийского университета. 2016. стр. 928-936.

References

  1. Glavny`j informacionno-vy`chislitel`ny`j centr Ministerstva obrazovaniya RF: [sajt]. Moskva, 1998 – . – URL: https://monitoring.miccedu.ru/ (data obrashheniya: 16.11.2021). – Rezhim dostupa: svobodny`j. – Tekst: e`lektronny`j.
  2. Zaboev M.V., Meleshkin M.I. Analiz programm razvitiya rossijskix universitetov s ispol`zovaniem nejrosetevy`x metodov klasterizacii danny`x // Upravlencheskie nauki v sovremennom mire. 2015. T. 1. № 1. S. 148-152.
  3. Zaboev M.V., Meleshkin M.I. Ocenka perspektiv vxozhdeniya rossijskix universitetov v pervuyu sotnyu vedushhix mirovy`x universitetov s ispol`zovaniem nejrosetevy`x metodov klasterizacii danny`x // Prikladnaya informatika. 2014. № 3 (57). S. 52-61.
  4. Meleshkin M. I., Zaboev M. V. Ispol`zovanie kart Koxonena dlya ocenki konkurentosposobnosti vedushhix rossijskix universitetov sredi mirovy`x nauchno-obrazovatel`ny`x centrov // Upravlencheskoe konsul`tirovanie. 2014. №10 (70). S. 102–114.
  5. Xalin V.G., Zaboev M.V., Meleshkin M.I. Global`naya konkurentosposobnost` vedushhix universitetov: metody` i ocenki prognozirovaniya. V sbornike: Universitet, Biznes i Vlast`: itogi vzaimodejstviya za 10 let. Materialy` X Mezhdunarodnogo Foruma «Ot nauki k biznesu». OOO «Monomaks». 2016. S. 133-135.
  6. Chernova G.V., Xalin V.G., Anoxina E.M., Boldy`reva N.B. i dr. Rossijskie universitety` v usloviyax cifrovizacii: matematicheskie i instrumental`ny`e metody` ocenki kachestva upravleniya: monografiya / pod obshh. red. V.G. Xalina. Moskva: Prospekt, 2019. 896 s.
  7. Zaboev M, Meleshkin M, Khalin V. Evaluation of current location and prospects of the European and Russian universities among the world’s leading universities with the use of neural network methods clustering of location. Izdatel`stvo Latvijskogo universiteta. 2016. str. 928-936.

Для цитирования: Шмаков Н.Н., Холина И.Ю., Даут М.В., Королева Н.С., Забоев М.В. Анализ успешности продвижения в мировых рейтингах вузов-участников проекта 5 в 100 и других российских вузов // Московский экономический журнал. 2021. № 11. URL: https://qje.su/ekonomicheskaya-teoriya/moskovskij-ekonomicheskij-zhurnal-11-2021-37/

© Шмаков Н.Н., Холина И.Ю., Даут М.В., Королева Н.С., Забоев М.В., 2021. Московский экономический журнал, 2021, № 11.