Московский экономический журнал 1/2021

image_pdfimage_print

УДК 332.37

DOI 10.24412/2413-046Х-2021-10015

ИСПОЛЬЗОВАНИЕ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ АВТОМАТИЗИРОВАННОГО ОБНОВЛЕНИЯ КАРТОГРАФИЧЕСКОГО МАТЕРИАЛА В РЕАЛЬНОМ ВРЕМЕНИ

USING ARTIFICIAL INTELLIGENCE SYSTEMS FOR AUTOMATIC UPDATING IN REAL TIME OF CARTOGRAPHICAL DATA 

Жигалов Кирилл Юрьевич, кандидат технически наук, старший научный сотрудник, Институт проблем управления науки В.А. Трапезникова Российской Академии наук, Московский технологический институт, Москва

Маркова Светлана Валдимировна, доцент, департамент анализа данных, принятия решений и финансовых технологий, Финансовый университет при Правительстве Российской Федерации, Москва

Jigalov K.Y., KShakalov@mail.ru

Markova S.V., SVMarkova@fa.ru 

Аннотация. Автономным транспортным средствам необходима точная, актуальная 3D карта для локализации по отношению к их окружению. Сегодня сбор карт проходит нечасто и использует парк специализированных транспортных средств. В этой статье мы исследуем другой подход: в режиме, близком к реальному вре-мени, сбор 3D карт из «vehicles» с усовершенствованными датчиками (LiDAR, стереокамеры). Наша главная техническая задача состоит в том, чтобы найти бережливое представление карты 3D таким образом, чтобы новые сегменты карты или обновления существующих карт были достаточно компактными, чтобы загружать их почти в реальном времени по сотовой сети. С этой целью был создан алгоритм CarMap, содержит новые методы фильтрации объектов и сопоставления признаков на основе местоположения для улучшения надежности локализации и включает новый алгоритм сшивания для объединения сегментов карт из нескольких транспортных средств для не сопоставленных сегментов дорог и эффективную операцию обновления карт для обновления существующих сегментов. Оценки показывают, что CarMap занимает менее секунды, чтобы обновить карту, уменьшает размеры карты на 75 × относительно конкурирующих стратегий, имеет более высокую точность локализации и способен локализоваться в угловых случаях, когда другие подходы отказывают.

Summary. Autonomous vehicles need an accurate, up-to-date 3D map for localization in relation to their surroundings. Today, card collection is infrequent and uses a fleet of specialized vehicles. In this article, we explore a different approach: in a near-real-time mode, collecting 3D maps from «vehicles» with advanced sensors (LiDAR, stereo cameras). Our main technical challenge is to find a lean 3D representation of the map so that new map segments or updates to existing maps are compact enough to load them almost in real time over the cellular network. To this end, the CarMap algorithm was created, contains new methods for filtering features and matching features based on location to improve localization reliability, and includes a new stitching algorithm for combining map segments from multiple vehicles for non-mapped road segments, and an efficient map update operation for updating existing segments. Estimates show that CarMap takes less than a second to update the map, reduces the map size by 75 × relative to competing strategies, has higher localization accuracy, and is able to localize in corner cases when other approaches fail.

Ключевые слова: системы искусственного интеллекта, развитие картографии, автоматизированное обновление данных, режим реального времени.

Keywords: artificial intelligence systems, development of cartography, automated data updating, real-time mode. 

Введение. Автономные транспортные средства используют трехмерную (3D) карту окружающей среды для точного позиционирования с точки зрения окружающей среды. Карта 3D содержит элементы среды и связанные с ними позиции. В качестве привода транспортное средство воспринимает эти особенности с помощью усовершенствованных датчиков восприятия глубины (таких как LiDAR и стереокамеры), затем сопоставляет их с особенностями на карте, а используя положения признаков, триангулирует собственное положение.

Карты необходимо обновлять всякий раз, когда происходят существенные изменения в среде. Изменения в среде могут повлиять на набор элементов, видимых транспортному средству. Например, закрытие дорог или полос из-за строительства или аварий, припаркованные фургоны для доставки, препятствующие движению, припаркованные транспортные средства на обочине дороги или закрытия для спортивных мероприятий могут привести к тому, что набор элементов на карте будет отличаться от набора элементов, видимых транспортному средству. Это влияет на согласование функций и может снизить точность локализации. С устаревшей картой автомобиль не способен позиционировать себя; обновленная карта необходима для точного позиционирования. [1]

Какие методы и методы могут обеспечить обновление 3D карт почти в реальном времени? Наиболее многообещающим архитектурным подходом к этому вопросу, который мы рассматриваем, является краудсорсинг. В этом подходе, который использует растущую доступность датчиков восприятия глубины в транспортных средствах, каждое транспортное средство, проезжая через дорожный сегмент, загружает обновления карт почти в реальном времени по сотовой сети в облачный сервис. Облачная служба, которая выступает в качестве точки встречи, применяет эти обновления к карте и делает эти обновления доступными для других транспортных средств.

Учитывая современные полосы пропускания сотовой связи, эта архитектура наиболее подходит для класса карт 3D, в которых ориентиры являются элементами SparseFeature библиотеки TensorFlow Core при формировании окружающей среды. Тем не менее, современные карты 3D на основе функций, генерируемые алгоритмами одновременной локализации и отображения (SLAM), требуют на порядок большей полосы пропускания, чем сотовые скорости.

Архитектура и рабочий процесс. Когда транспортные средства пересекают улицы, они получают бережливые представления карт элементов с помощью генератора сегментов карт, который работает на транспортном средстве. К этому представлению CarMap применяет динамический фильтр объектов для повышения надежности к динамике окружающей среды. Затем CarMap определяет, является ли это новым сегментом карты (недоступным в собственной базовой карте). Если это так, он загружает весь сегмент карты, иначе он загружает карты в облачный сервис. Облачный сервис запускает сшивание для добавления нового сегмента на карту или исправление для исправления различий в существующей карте. [2]

Транспортное средство получает от облачного сервиса сегменты или отклонения, вносимые другими транспортными средствами, реконструирует полную карту и использует ее для локализации транспортного средства. Создание различий, сшивание, исправление и реконструкция используют индекс элементов на основе позиции для согласования элементов, что приводит к высокой точности согласования элементов.

Вычислительные ресурсы на транспортном средстве, необходимые для создания, согласования, формирования и реконструкции карт, сравнимы с ресурсами, предоставляемыми коммерческими платформами, работающими на транспортном средстве. CarMap использует облачное хранилище в качестве рандеву для обновлений карт транспортных средств и облачных вычислений для интеграции обновлений карт. Дополнительные напряжения в этой архитектуре, связанные с использованием дорожных блоков для хранения и обработки, оставлены на будущее.

Подход CarMap. Элементы карты генерируются из элементов ключевых кадров. Аналогично, для создания индекса элемента карты необходимы как элементы карты, так и элементы ключевых кадров.

Таким образом, теоретически для CarMap было бы достаточно загрузить только элементы ключевых кадров, тем самым уменьшая объем данных, подлежащих загрузке. К сожалению, это не обеспечивает значительной экономии полосы пропускания. Для участка улицы протяженностью 1 км функции ключевых кадров требуют около 400 МБ. При скорости примерно в 30 км/ч потребуется пропускная способность загрузки 27 Мбит/с, все еще превышающая номинальные скорости LTE. При более высоких скоростях потребуется пропорционально большая полоса пропускания, поскольку транспортное средство покрывает большую часть окружающей среды. CarMap использует немного не интуитивный выбор представления карты: только элементы карты. Каждый элемент карты содержит сигнатуру элемента, положение 3D в кадре привязки карты и список ключевых кадров, в которых отображается элемент карты. Предусмотрена загрузка карты в реальном времени. [3, 4]

Однако, чтобы понять, почему это реалистичное представление, мы описываем, как можно реконструировать полную карту SLAM из этих особенностей карты. С элементами карты связан список ключевых кадров, в которых они отображаются. Из них мы можем генерировать ключевые кадры (последовательность ключевых кадров и элементов, видимых в этих ключевых кадрах). Из этих ключевых кадров можно сгенерировать индекс элемента и индекс элемента карты, что приведет к полной карте SLAM.

Однако карта CarMap содержит только элементы карты, в то время как карта SLAM содержит все элементы, видимые в каждом ключевом кадре. Это меньшее количество элементов может снизить точность сопоставления элемен-тов. Для решения этой проблемы в CarMap используется более эффективная стратегия поиска функций.

Надежное и масштабируемое сопоставление функций. Для решения этих проблем вместо поиска всех ключевых кадров на карте CarMap выполняет поиск совпадений вблизи текущего положения транспортного средства. Для поиска CarMap использует GPS-местоположение транспортного средства. Однако известно, что GPS ошибочен, особенно в сильно затрудненных средах, поэтому CarMap ищет по большому радиусу вокруг текущего положения GPS (в нашем опыте — 50 м, больше максимальной ошибки, сообщенной в).

Сопоставление ключевых кадров. В частности, в дополнение к использованию подобия инвертированного индекса и гистограммы слов для поиска совпадающих ключевых кадров в базовой карте, CarMap поддерживает глобальное дерево ключевых кадров и использует его для поиска всех ключевых кадров в карте в пределах заданного радиуса. Для локализации транспортного средства с кадром «F» в данной карте CarMap использует координаты GPS транспортного средства для получения всех ключевых кадров в пределах большого радиуса вокруг положения GPS. Находится подмножество ключевых кадров, наиболее похожих на «F», на основе сопоставления гистограмм. Если найти похожие ключевые кадры не представляется возможным, в данном случае используются ключевые кадры, ближайшие к координатам GPS транспортного средства. Для каждого ключевого кадра «K» в подмножестве производится поиск для каждого признака «F» — выполняется преобразование координат, чтобы найти положение на карте, далее следует процедура сопоставление признаков.

Сопоставление элементов. Основываясь на позиционных подсказках элементов, CarMap также поддерживает другое глобальное дерево элементов карты, которое разделяет 3D пространство на различные области, чтобы найти все элементы на карте, которые являются ближайшими. (по положению) к заданному признаку. Затем для каждого признака в кадре «F» находятся все картографические признаки, являющиеся пространственными соседями.

Динамический фильтр объектов. Чтобы противостоять этому, CarMap использует семантическую сегментацию для классификации всей сцены на статические и (полу-) динамические объекты. Семантическая сегментация может быть предварительно сформирована на данных камеры, а также данных LiDAR, и относится к задаче назначения каждому пикселю в кадре семантической метки, такой как «автомобиль», «здание» и т.д. Помимо анализа движения, CarMap использует эти семантические метки для определения необходимости добавления элементов на карту.

В частности, CarMap извлекает элементы и использует семантическую сегментацию для маркировки каждой точки/пикселя в кадре. Затем каждый элемент связывается с соответствующей семантической меткой конкретного пикселя(ей), которые охватывает элемент. В результате, когда элемент генерируется, помимо его признака — природы и положения 3D, CarMap также добавляет к нему семантическую метку. если семантическая метка относится к динамическому или полу-динамическому объекту (например, автомобиль, грузовик, пешеход, велосипед и т.д.), CarMap не добавляет его на карту.

Для обнаружения движущихся объектов мы могли бы использовать «вычитание» фона, но CarMap нуждается в возможности также обнаруживать полу-динамические объекты (например, припаркованные автомобили). Детекторы объектов могут создавать свободные ограничивающие рамки для полу-динамических объектов, что может привести к неправильным совпадениям между элементами и соответствующими им объектами.

Семантическая сегментация создает две проблемы на практике. Во-первых, она склонна к ошибкам, особенно на границах разных объектов. Например, современный инструмент сегментации DeepLabv3 имеет оценку iIoU8 62,4% на семантическом эталоне сегментации (CityScapes). Во-вторых, он использует глубокие сверточные нейронные сети, которые являются очень дорогими в вычислительном отношении.

Надежная маркировка. Для решения первой задачи CarMap отслеживает метки элементов в нескольких кадрах и использует схему мажоритарного голосования для получения надежных меток. Рассмотрим функцию, которая обнаруживается и отслеживается в нескольких ключевых кадрах (только эти функции, вероятно, будут добавлены в качестве функций карты). В каждом ключевом кадре мы определяем семантическую метку.

Вместо того, чтобы маркировать каждый признак своей семантической меткой, мы выполняем более грубую классификацию, определяя, принадлежит ли этот объект к категории статичных элементов (дорожное покрытие, сигналы движения, здания, растительность и т. д.) или не статике (легковые автомобили, грузовики, пешеходы) и т. д.

Эта более грубая классификация преодолевает граничные ошибки в сегментации: даже если алгоритм сегментации идентифицирует пиксель как принадлежащий зданию, когда он фактически принадлежит дереву перед зданием, поскольку оба эти объекта являются статическими, пиксель будет правильно классифицирован как статический. Затем CarMap проводит мажоритарное голосование на этих более грубых поясах, чтобы определить, является ли искомый элемент статическим или не статическим. На рисунке показано, что этот подход приводит к высокой точности классификации.

При добавлении новой области к базовой карте транспортное средство загружает весь сегмент карты. Для обновления существующего сегмента карты CarMap создает разницу в карте, содержащую новые элементы карты (ниже — новые элементы карты, отмеченные синим цветом).

Средство обновления карт. Разности карт компактно представляют вновь обнаруженные элементы. Чтобы объяснить, как CarMap генерирует разницу в карте. CarMap загружает встроенный сегмент карты в память и помечает все элементы карты (точки карты и ключевые кадры) как предварительно загруженные элементы карты. Когда транспортное средство пересекает зону фиксации, оно локализуется в сегменте карты. В то же время для каждого признака, воспринимаемого транспортным средством, оно использует надежное сопоставление признаков CarMap для запроса и сопоставления с признаками объекта, присутствующими в сегменте карты в той же пространственной близости. Если совпадение выполнено успешно, это означает, что элемент уже присутствует на карте. Если нет, то это новая функция. Патчер облачной службы вставляет эти в карту и рассылает патч всем транспортным средствам, чтобы они могли обновить свои базовые карты. [5]

Выделенные области представляют перекрывающиеся под-сегменты. CarMap позволяет в режиме реального времени обновлять по сотовым сетям функциональные карты 3D среды. Он находит бережливое представление карты характеристик, которая вписывается в ограничения пропускной способности беспроводной сети, включает надежный поиск характеристик на основе местоположения, удаляет динамические и полу-динамические характеристики, чтобы обеспечить лучшую локализацию, и содержит новые алгоритмы обновления карт. CarMap имеет лучшую точность локализации, чем конкурирующие подходы, и может локализоваться, даже когда другие подходы полностью отказывают.

Будущая работа может исследовать датчики LiDAR, картирование по временным шкалам, в которых могут исчезнуть даже относительно статические особенности, плотные представления карт, инфраструктурное зондирование для обновления карт в районах с низкой плотностью транспортных средств и автоматическое обновление семантических наложений карт (аварии, доступные места стоянки). [1, 6] 

Литература

  1. Распоряжение Правительства РФ от 30.07.2010 № 1292-р «Об утверждении Концепции развития государственного мониторинга земель сельскохозяйственного назначения и земель, используемых или предоставленных для ведения сельского хозяйства в составе земель иных категорий, и формирования государственных информационных ресурсов об этих землях на период до 2020».
  2. Земельный кодекс Российской Федерации от 25 октября 2001 г. № 136-ФЗ.
  3. Жигалов К.Ю. Автоматизация управления и мониторинга процессов строительства с использованием ГИС систем//Фундаментальные исследования. 2014. № 12-3. С. 492-494.
  4. Земельные ресурсы и их использование // Итоги Всероссийской сельскохозяйственной переписи 2016 года: Москва.: ИИЦ «Статистика России», 2016.
  5. Предварительные итоги Всероссийской сельскохозяйственной переписи 2016 года по Российской Федерации // Предварительные итоги Всероссийской сельскохозяйственной переписи 2016 года: в 2 т. Том 2: – Москва: ИИЦ «Статистика России», 2017. – 290 с.
  6. Официальный сайт Федеральной службы государственной регистрации, кадастра и картографии [Электронный ресурс]. – Режим доступа: www.rosreestr.ru.

References

  1. Decree of the Government of the Russian Federation of 30.07.2010 No. 1292-R «On approval of the Concept of development of state monitoring of agricultural land and land used or provided for farming as part of other categories of land, and the formation of state information resources about these lands for the period up to 2020».
  2. «Land code of the Russian Federation» No. 136-FL of October 25, 2001.
  3. Zhigalov K. Yu. Automation of management and monitoring of construction processes using GIS systems / / Fundamental research. 2014. No. 12-3. PP. 492-494
  4. Land resources and their use // results of the all-Russian agricultural census of 2016. Moscow: IIC «Statistics of Russia», 2016.
  5. Preliminary results of the all-Russian agricultural census of 2016 in the Russian Federation / / Preliminary results of the all-Russian agricultural census of 2016: in 2 vols. Volume 2: — Moscow: IIC «Statistics of Russia», 2017. — 290 p.
  6. Official website of the Federal service for state registration, cadaster and cartography [Electronic resource]. – Mode of access: www.rosreestr.ru.