Структура и технические возможности ЦКП и их развитие в 2023 году

ЦКП «ИКИ-Мониторинг» построен на основе использования технологий и базового программного обеспечения, разработанных в отделе «Технологии спутникового мониторинга» ИКИ РАН (http://smiswww.iki.rssi.ru/). Одним из важнейших преимуществ используемых технологий является практически полная автоматизация всех процессов по сбору, архивации, обработке и предоставлению пользователям спутниковым данных. За решение основных технических задач отвечают представленные ниже программные подсистемы.

Подсистема сбора данных предназначена для получения из различных источников как исходных спутниковых данных, так и различных информационных продуктов, полученных на основе их обработки, а также предварительной подготовки данных для архивации. Основным достоинством реализованной подсистемы является полная автоматизация процессов получения и предварительной обработки спутниковых данных.

Подсистема архивации данных отвечает за архивацию спутниковых данных и продуктов, полученных на основе их обработки, а также за предоставление доступа к метаданным и данным в архивах на уровне программных интерфейсов. Работа с архивами ЦКП «ИКИ-Мониторинг» реализована на основе использования унифицированной технологии ведения сверхбольших распределённых архивов спутниковых данных UNISAT. Ключевыми её преимуществами являются реализация механизма «виртуальных информационных продуктов», т.е. продуктов, которые динамически в режиме реального времени формируются по запросу пользователя на основе обработки имеющейся в архивах информации, а также гибкая поддержка инструментов для удалённого анализа и обработки данных.

Подсистема обработки данных предназначена для проведения потоковой обработки поступающих в архивы новых данных, а также для построения различных информационных продуктов, получаемых на основе обработки уже имеющихся в архивах данных. Программная реализация основана на использовании разработанной в ИКИ РАН технологии и соответствующего ей программного обеспечения, функционал которого постоянно расширяется добавлением модулей, отвечающих за новые типы обработки. Для эффективного управления работой многих десятков серверов обработки данных, входящих в состав программно-аппаратного комплекса ЦКП «ИКИ-Мониторинг» была разработана и внедрена технология организации распределённой многопотоковой обработки спутниковых данных.

Подсистема обеспечения доступа к данным реализует три основных функциональных блока:

• спутниковый информационный сервис «Вега-Science» (http://sci-vega.ru), обеспечивающий для удалённых пользователей интерактивный доступ к архивам данных ЦКП «ИКИ-Мониторинг», а также проведение их обработки и анализа;
• программные интерфейсы для доступа к данным из тематических информационных систем;
• программный шлюз, позволяющий предоставлять доступ к данным, физически располагаемым во внешних архивах спутниковых данных.
   

Для построения многофункциональных картографических веб-интерфейсов используется разработанная в ИКИ РАН технология GeoSmis. Она предназначена для создания картографических веб-интерфейсов, обеспечивающих доступ к сверхбольшим распределённым архивам спутниковых данных, а также к инструментам для их анализа и обработки. Для получения интерактивных инструментов анализа данных, таких как динамические отчётные формы, гистограммы и графики, используются также возможности BI-технологий (Business Intelligence).

Подсистема управления и контроля предназначена для обеспечения бесперебойного функционирования центра коллективного пользования, включая различные территориально распределённые блоки, входящие в его состав. Она, в частности, позволяет автоматически детектировать сбои и неполадки в работе различных компонент программно-аппаратного комплекса ЦКП «ИКИ-Мониторинга» и эффективно отслеживать процесс их устранения. Для интеграции всех программных инструментов подсистемы была разработана специализированная система документирования и контроля проектов (СДКП).

В работе комплекса активно используется различное свободно-распространяемое программное обеспечение. В частности, в качестве СУБД используется MySQL или MariaDB, для ряда задач также используются решения на базе PostgreSQL, в качестве HTTP-сервера — Apache/nginx, а для обработки спутниковых изображений активно применяются такие программные пакеты, как GDAL/OGR, GRASS GIS, Proj, Imager, а также специализированные пакеты для обработки спутниковых данных — SeaDAS, SNAP, OpenCV и др.

В 2023 г. были продолжены работы по совершенствованию используемых нами для задач ведения долговременных архивов ЦКП «ИКИ-Мониторинг» технологий и программного обеспечения. В частности, были проведены работы по распределению точек входа для пополнения наиболее нагруженных архивов, чтобы избежать отказов в усвоении данных при массированных обработках однотипной информации. Кроме того, были задублированы и введены в работу каталоги высоконагруженных баз данных архивов для обеспечения отказоустойчивости и распределения нагрузки при доступе пользователей и внешних информационных систем к информации.

Функционирование ЦКП «ИКИ-Мониторинг» в настоящее время обеспечивает сложный программно-аппаратный комплекс, состоящий более чем из 200 серверов различного назначения, работающих под управлением операционных систем семейств UNIX и Windows. Для хранения файлов спутниковых данных используется 30 UNIX-серверов и 6 специализированных систем хранения (NAS), а для обработки спутниковых данных, включая динамическое формирование требуемых для интерфейсов информационных продуктов — более 200 физических и виртуальных Windows- и UNIX-серверов. Остальной парк серверов функционирует под операционной системой UNIX и обеспечивает решение задач по сбору, архивации, доступу к данным, управлению процессами обработки и обеспечению бесперебойной работы комплекса.

В 2023 г. возможности ЦКП были существенно расширены за счёт интеграции с программно-аппаратным комплексом ИАС «Углерод-Э». Было введено в строй больше 15 серверов различного назначения, в первую очередь для обеспечения виртуализации, а также расширена дисковая система хранения, суммарная дисковая ёмкость, доступная для хранения данных в настоящее время составляет около 14 Пбайт.