Московский экономический журнал 10/2020

image_pdfimage_print

DOI 10.24411/2413-046Х-2020-10725

Прогнозирование тональности отзывов в банковском секторе экономике

Predicting model and sentiment fnalysis of reviews in the banking

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-310-70042

Боровых Кристина Олеговна, аспирант, Пермский национальный исследовательский политехнический университет

Ощепков Андрей Михайлович, доцент кафедры менеджмента, Пермский государственный национальный исследовательский университет

Урасова Анна Александровна, к.э.н., доцент, доцент кафедры государственного и муниципального управления, Пермский государственный национальный исследовательский университет annaalexandrowna@mail.ru 

Kristina Borovykh, postgraduate student, Perm National Research Polytechnic University

Andrei Oshchepkov, Associate Professor, Management Department, Perm State National Research University

Anna Urasova, CSc in Economics, Associate Professor, Associate Professor of the State and Municipal Administration Department, Perm State National Research University 

Аннотация. В теоретической части статьи рассмотрены теоретические аспекты репутации компании, в эмпирической части проанализированы отзывы (N = 21904, из них 7878 отзывов без оценки) ХКФ банка на предмет содержания и тональности. В качестве методов исследования в статье применяется базовая нейронная сеть и градиентный бустинг для прогноза тональности отзывов без оценки и отзывов с оценкой “3” балла. В результате выяснилось, что в большинстве случаев пользователи оставляют отзывы о негативном опыте взаимодействия с банками.

Summary. The paper considers the theoretical aspects of the company’s reputation. In the empirical part, reviews (N = 21904, of which 7878 reviews are not rated) of the HCF Bank are analyzed for content and sentiment analysis. As research methods, the article uses a neural network and gradient boosting to predict reviews’ sentiment without evaluation and reviews with a score of “3” points. As a result, it turned out that users leave feedback on the negative experience of interacting with banks in most cases.

Ключевые слова: управление репутацией, тональность отзывов, web 2.0, цифровая экономика.

Keywords: reputation management, sentiment analysis of reviews, web 2.0, digital economy.

Введение

Современное экономическое сообщество диктует новые правила, при которых основными социальными факторами развития бизнеса становится репутация, сила бренда, имидж компании, открытая стратегия развития. Потребители нового формата теперь обращают внимание не только на стоимость и качество товаров, но и на известность, респектабельность бренда, соответствие выбранной социальной группе и иным социальным характеристиками. Из чего следует сделать вывод, что именно репутация становится основополагающим нематериальным активом компании, потому первоочередной задачей является формирование стратегий и технологий управления репутацией. [1] При этом репутация содержит в себе большое количество аспектов, которые в целом определяются восприятием компании, её продукта со стороны контрагентов, а также со стороны её руководства, менеджмента и работников. Репутация складывается внутри самой организации, потому главной проблемой её формирования является её оценка со стороны внешних контрагентов, которые не могут быть подвержены влиянию. Репутационный аудит компании является основополагающим моментом в управлении репутацией, ведь именно на основе полноценной оценки репутации можно сформировать эффективную стратегию управления.

Репутация компании изменчива, она может быть как положительной, так и отрицательной. В первом случае потребители будут доверять производителю предлагаемых товаров и услуг, во втором же покупатели будут нехотя приобретать товары, пытаться избежать любых контактов с организацией. То есть положительная репутация создает конкурентные преимущества компании, в то время как отрицательная может привести к серьезным негативным последствиям, вплоть до разорения бизнеса. Под управлением репутацией исследователи понимают действия, направленные на формирование общественного мнения о конкретном лице или организации через различные методы оказывающие влияние на массив информации о субъекте. Управление репутацией начинается с анализа всей существующей информации о компании или человеке, с помощью социального мониторинга СМИ, поисковых запросов и т. д. По итогам данной работы и проведения аналитики формируется целостная картина общественного мнения о предприятии или конкретной личности, на основании которой профильные специалисты должны разработать варианты решения по каждому проблемному вопросу. [2]

Репутация включает в себя целый перечень составляющих, которые должны подвергаться воздействию в процессе управления. К ним следует относить авторитет первого лица компании, известность фирмы, финансовую стабильность, имидж компании, её рыночное позиционирование и прочее. Общественное мнение формируется из двух источников – репутации и имиджа. При этом имидж следует отделять от понятия репутации, ведь репутация основывается на анализе мнения потребителей, в то время как имидж является поверхностной эмоциональной характеристикой организации. Главной целью хорошей репутации является капитализация бизнеса, в то время как имидж работает на рост объема продаж. Репутация зачастую развивается без желания её обладателя, она формируется на основе двусторонних отношений между фирмой и обществом. [3]

Можно сделать вывод, что управление репутацией представляет собой сложную систему, в которую входят различные меры по формированию, поддержанию и защите репутации компании. Работа над этим должна вестись постоянно, иначе положительной репутации не достичь. Управление репутацией подразделяется на три направления, которые должны координироваться между собой. В первую очередь это формирование репутации компании в глазах её клиентов. После чего вступает в силу улучшение репутации, её поддержание. Защита же репутации направлена на оперативные действия в неблагоприятных и кризисных условиях. В целом систему управления репутацией и её результаты можно представить в виде схемы.

Формирование стратегии коммерческого банка, основанной на оценке деловой репутации, существенно повышает его привлекательность для потенциальных клиентов, является основой для долгосрочной успешной деятельности, высоких позиций в рейтингах и привлечения новых инвесторов. Исследование [4] показывают, что важность репутации, основанной на развитии технической стороны банковского облуживания можно доказать с помощью финансовых показателей. Определено, что организационные изменения в управлении репутацией влияют на корпоративный бренд банка и лояльность клиентов.

Методы исследования

В эмпирической части работы проанализированы отзывы (N = 21904, из них 7878 отзывов без оценки) ХКФ банка на предмет содержания и тональности. Важно учесть, что мы можем разделить наши отзывы согласно оценкам, где 1 и 2 – это негативные оценки; 4 и 5 – это позитивные оценки. В работе определим тональность для отзывов без оценки (7878) и с оценкой ‘3’ (956) поскольку данная оценка может быть как позитивная, так и негативная.

Производится создание модели для предсказания оценки пользователя. В качестве метода используется градиентный бустинг (XGBoost) – техника машинного обучения, решающая задачи классификации и регрессии. Позволяет построить модель предсказания на основе слабых предсказывающих моделей, чаще всего деревьев решений. Полученные ранее значения загружаются в сверточную нейронную сеть (CNN), являющуюся инструментом для распознавания образов на основе технологии глубинного обучения. С помощью алгоритма t-SNE представлена двухмерная визуализация нескольких кластеров похожих слов из обученной модели.

Полученный тренировочный набор при создании нейронной сети используется для обучения токенизатора (при разбиении текста на слова). Инициализируется матрица embedding-слоя (создания плотной кодировки слов), добавлены наиболее часто встречающиеся слова из обучающей выборки. Производится dropout-регуляризация для уменьшения переобучения сети, для ограничения значений параметров добавляются слои свертки и субдискретизации. После чего производится расчет модель массива параметров. В итоге получаем итоговую массу обученных параметров, необучаемых параметров в выборке нет. Далее производится загрузка весов моделей, определяется процедура предварительной обработки отзывов для нейронной сети, добавляются обработанные отзывы в датафрейм. Затем производится определение тональности группы отзывов «без оценки», путем отображения текста в массиве идентификаторов токенов. Создается датафрейм для прогнозируемых оценок и производится импорт в модуль multiprocessing.

В результате получена таблица спрогнозированной тональности отзывов без оценки, элемент таблицы представлен на рисунке 2.

Результаты исследования

На основе полученного распределения производится визуализация тональности отзывов на рис. 3.

Далее определяется тональность отзывов с оценкой 3. Аналогично выделяется массив отзывов, каждый текст отображается в массиве идентификаторов токенов. Создается датафрейм (фрагмент показан на рис. 5) и прогнозируется тональность.

Следующим шагом производится визуализация распределения спрогнозированной тональности удовлетворительных оценок.

Как можно судить по графику, тональность отзывов со средней оценкой в большинстве своем негативна. В отличие от сообщений, не имеющих оценки пользователя, в которых содержится большое количество текстов с позитивной тональностью.

Следующим шагом является создание прогноза на основе моделей градиентного бустинга (XGBoost) и базовой нейросети (NN). Для начала загружаются созданные и обученные модели, после чего создается функция для выделения из текста слов и представления в виде списка (токенизация). На основе полученных столбцов загружается модель Word2Vec и создается класс, учитывающий усредненный вектор по отзыву.

Для строк без оценки создается отдельный датасет (см. фрагмент датасета на рис. 6). Далее создается массив усредненных векторов для каждого отзыва, на основе чего строится прогноз для текстовых данных без оценок.

Визуализируем прогнозы двух моделей и сравним разницу в них на фрагменте (рис. 7).

Среднеквадратичная ошибка у базовой нейронной сети значительно меньше, чем у градиентного бустинга. Однако для более точного анализа в дальнейшем есть смысл использовать их ансамблевый прогноз.   После производится перенос векторов предсказаний в основой датафрейм (рис. 9), создается столбец прогноза моделей как среднеарифметическое моделей и анализируется адекватность их предсказаний по описанию к выборке позитивных и негативных по предсказанию отзывов.

Заключение

В заключении можно сделать вывод о том, что в большинстве случаев пользователи оставляют отзывы о негативном опыте взаимодействия с банками. Это обусловлено с тем, что возвраты кредитов сопряжены с лишними тратами, увеличениями процентных ставок, а также другими факторами, такими как недопонимания условий договоров о возврате долга и начислении процентов.

Список литературы

  1. Хомякова Г.С. Управление репутацией в Российской компании: основные подходы, стратегии и технологии её формирования // Гуманитарные, социально-экономические и общественные науки. – 2018. – №4. – с. 75-80.
  2. Кудряшов В.С. Управление репутацией организации: теоретические и прикладные аспекты // Стратегии бизнеса. – 2018. – №8 (52). – с. 20-29.
  3. Громова О.Н., Шала Е. Технология управления репутацией виртуальной организации // Вестник ГУУ. – 2014. – №14. – с. 127-134.
  4. Нұрпейіс С.С., Ковшова Т.П. К вопросу о корреляционно-регрессионном анализе финансовых показателей репутационно-имиджевой составляющей бренда банка // Инновационная экономика: перспективы развития и совершенствования. – 2016. – №7 (17). – с. 247-256.