Развитие методов и инструментов распределённой работы с данными в интересах объединённой системы работы с данными НИЦ «Планета»

В 2019 году продолжались поддержка и развитие Объединённой системы работы с данными центров НИЦ «Планета», разработанной специалистами НИЦ «Планета» и ИКИ РАН и введённой в эксплуатацию в 2013 году. За время своего существования и развития система превратилась в сложный, комплексный инструмент работы с данными, позволяющий решать задачи гидрометеорологического мониторинга, мониторинга чрезвычайных ситуаций и многие другие сугубо за счёт ресурсов и инструментов обработки и анализа данных самой системы, доступных через веб. На сегодняшний день система представляет собой распределённую, модульную веб-ГИС, совмещённую со сверхбольшими архивами данных ДЗЗ прямого доступа, обеспечивающую онлайн-сервисы данных для ЦКП «ИКИ-Мониторинг» и большого количества прикладных информационных систем, в том числе «ИСДМ-Рослесхоз», VolSatView, «Вега-Science» и «Вега-PRO» и многих других, являясь одним из основных источников оперативной спутниковой информации в России.

За последний год активное развитие системы велось в следующих направлениях: повышение производительности и отказоустойчивости системы за счёт резервирования и расширения инфраструктуры, расширение состава инструментов обработки данных и, соответственно, спектра решаемых задач, существенная модернизация возможностей по подготовке статических и динамических отчётных материалов, в том числе на регулярной, автоматической основе, а также интеграция системы с действующими специализированными информационными системами НИЦ «Планета».

В 2019 году в рамках расширения инфраструктуры в состав системы был включен четвертый, резервный узел, расположенный на ИКИ РАН на мощностях ЦКП «ИКИ-Мониторинг». Это позволило повысить надёжность системы, более эффективно распределить нагрузку на неё за счёт дополнительных ресурсов обработки и предоставления данных, дополнительно зарезервировать наиболее критичные базы данных системы.
Были существенно доработаны и усовершенствованы инструменты и методы работы с данными, получаемыми и хранимыми в распределённых центрах сбора и обработки, что позволило повысить эффективность и производительность работы с информацией. В рамках доработок был существенно расширен набор инструментария для онлайн-обработки и анализа данных, в том числе реализованы новые алгоритмы классификации данных, основанные на методе опорных векторов, дискриминантном анализе, деревьях решений и т.д.

Применение созданных и доработанных методов позволило активно использовать систему для решения большого числа задач оперативного мониторинга и мониторинга чрезвычайных ситуаций, таких как, например, обрушение горных пород на р. Бурея или наводнения на реках Амур и Ия летом 2019 года. Пример использования возможностей системы для оценки разлива реки Амур представлен на рисунке 1.2.2.1.

Рисунок 1.2.2.1 — Наводнение на р. Амур, август 2019. Представлены данные КА Sentinel-2 с наложенными границами русла реки по состоянию на начало июля 2019