Структура и технические возможности ЦКП и их развитие в 2024 году

ЦКП «ИКИ-Мониторинг» построен на основе использования технологий и базового программного обеспечения, разработанных в отделе «Технологии спутникового мониторинга» ИКИ РАН (http://smiswww.iki.rssi.ru/). Одним из важнейших преимуществ используемых технологий является практически полная автоматизация всех процессов по сбору, архивации, обработке и предоставлению пользователям спутниковым данных. За решение основных технических задач отвечают представленные ниже программные подсистемы.

Подсистема сбора данных предназначена для получения из различных источников как исходных спутниковых данных, так и различных информационных продуктов, полученных на основе их обработки, а также предварительной подготовки данных для архивации. Основным достоинством реализованной подсистемы является полная автоматизация процессов получения и предварительной обработки спутниковых данных.

Подсистема архивации данных отвечает за архивацию спутниковых данных и продуктов, полученных на основе их обработки, а также за предоставление доступа к метаданным и данным в архивах на уровне программных интерфейсов. Работа с архивами ЦКП «ИКИ-Мониторинг» реализована на основе использования унифицированной технологии ведения сверхбольших распределённых архивов спутниковых данных UNISAT. Ключевыми её преимуществами являются реализация механизма «виртуальных информационных продуктов», т.е. продуктов, которые динамически в режиме реального времени формируются по запросу пользователя на основе обработки имеющейся в архивах информации, а также гибкая поддержка инструментов для удалённого анализа и обработки данных.

Подсистема обработки данных предназначена для проведения потоковой обработки поступающих в архивы новых данных, а также для построения различных информационных продуктов, получаемых на основе обработки уже имеющихся в архивах данных. Программная реализация основана на использовании разработанной в ИКИ РАН технологии и соответствующего ей программного обеспечения, функционал которого постоянно расширяется добавлением модулей, отвечающих за новые типы обработки. Для эффективного управления работой многих десятков серверов обработки данных, входящих в состав программно-аппаратного комплекса ЦКП «ИКИ-Мониторинг» была разработана и внедрена технология организации распределённой многопотоковой обработки спутниковых данных.

Подсистема обеспечения доступа к данным реализует три основных функциональных блока:

• спутниковый информационный сервис «Вега-Science» (http://sci-vega.ru), обеспечивающий для удалённых пользователей интерактивный доступ к архивам данных ЦКП «ИКИ-Мониторинг», а также проведение их обработки и анализа;
• программные интерфейсы для доступа к данным из тематических информационных систем;
• программный шлюз, позволяющий предоставлять доступ к данным, физически располагаемым во внешних архивах спутниковых данных.

Для построения многофункциональных картографических веб-интерфейсов используется разработанная в ИКИ РАН технология GeoSmis. Она предназначена для создания картографических веб-интерфейсов, обеспечивающих доступ к сверхбольшим распределённым архивам спутниковых данных, а также к инструментам для их анализа и обработки. Для получения интерактивных инструментов анализа данных, таких как динамические отчётные формы, гистограммы и графики, используются также возможности BI-технологий (Business Intelligence).

Подсистема управления и контроля предназначена для обеспечения бесперебойного функционирования центра коллективного пользования, включая различные территориально распределённые блоки, входящие в его состав. Она, в частности, позволяет автоматически детектировать сбои и неполадки в работе различных компонент программно-аппаратного комплекса ЦКП «ИКИ-Мониторинга» и эффективно отслеживать процесс их устранения. Для интеграции всех программных инструментов подсистемы была разработана специализированная система документирования и контроля проектов (СДКП).

В работе комплекса активно используется различное свободно-распространяемое программное обеспечение. В частности, в качестве СУБД используется MySQL или MariaDB, для ряда задач также используются решения на базе PostgreSQL, в качестве HTTP-сервера — Apache/nginx, а для обработки спутниковых изображений активно применяются такие программные пакеты, как GDAL/OGR, GRASS GIS, Proj, Imager, а также специализированные пакеты для обработки спутниковых данных — SeaDAS, SNAP, OpenCV и др.

В 2024 г. были продолжены работы по совершенствованию используемых нами для задач ведения долговременных архивов ЦКП «ИКИ-Мониторинг» технологий и программного обеспечения. В частности, были проведены работы по выделению контуров хранения и обработки данных в выделенные сетевые сегменты для повышения производительности и снижения накладных расходов при работе с данными в потоковом режиме, а также была проведена реорганизация сетевых систем хранения данных для повышения надёжности хранения.

Функционирование ЦКП «ИКИ-Мониторинг» в настоящее время обеспечивает сложный программно-аппаратный комплекс, состоящий более чем из 400 серверов различного назначения, работающих под управлением операционных систем семейств UNIX и Windows, в том числе более 35 узлов виртуализации, а также специализированных сетевых систем хранения данных и серверов хранения. Суммарная доступная ёмкость для данных по результатам 2024 года превышает 14 Пбайт.