Структура и технические возможности ЦКП и их развитие в 2021 году

ЦКП «ИКИ-Мониторинг» построен на основе использования технологий и базового программного обеспечения, разработанных в отделе «Технологии спутникового мониторинга» ИКИ РАН (http://smiswww.iki.rssi.ru/). Одним из важнейших преимуществ используемых технологий является практически полная автоматизация всех процессов по сбору, архивации, обработке и предоставлению пользователям спутниковым данных. За решение основных технических задач отвечают представленные ниже программные подсистемы.

Подсистема сбора данных предназначена для получения из различных источников как исходных спутниковых данных, так и различных информационных продуктов, полученных на основе их обработки, а также предварительной подготовки данных для архивации. Основным достоинством реализованной подсистемы является полная автоматизация процессов получения и предварительной обработки спутниковых данных.

Подсистема архивации данных отвечает за архивацию спутниковых данных и продуктов, полученных на основе их обработки, а также за предоставление доступа к метаданным и данным в архивах на уровне программных интерфейсов. Работа с архивами ЦКП «ИКИ-Мониторинг» реализована на основе использования унифицированной технологии ведения сверхбольших распределённых архивов спутниковых данных UNISAT. Ключевыми её преимуществами являются реализация механизма «виртуальных информационных продуктов», т.е. продуктов, которые динамически в режиме реального времени формируются по запросу пользователя на основе обработки имеющейся в архивах информации, а также гибкая поддержка инструментов для удалённого анализа и обработки данных.Подсистема обработки данных предназначена для проведения потоковой обработки поступающих в архивы новых данных, а также для построения различных информационных продуктов, получаемых на основе обработки уже имеющихся в архивах данных. Программная реализация основана на использовании разработанной в ИКИ РАН технологии и соответствующего ей программного обеспечения, функционал которого постоянно расширяется добавлением модулей, отвечающих за новые типы обработки. Для эффективного управления работой многих десятков серверов обработки данных, входящих в состав программно-аппаратного комплекса ЦКП «ИКИ-Мониторинг» была разработана и внедрена технология организации распределённой многопотоковой обработки спутниковых данных.

Подсистема обеспечения доступа к данным реализует три основных функциональных блока:

• спутниковый информационный сервис «Вега-Science» (http://sci-vega.ru), обеспечивающий для удалённых пользователей интерактивный доступ к архивам данных ЦКП «ИКИ-Мониторинг», а также проведение их обработки и анализа;
• программные интерфейсы для доступа к данным из тематических информационных систем;
• программный шлюз, позволяющий предоставлять доступ к данным, физически располагаемым во внешних архивах спутниковых данных.
   

Для построения многофункциональных картографических веб-интерфейсов используется разработанная в ИКИ РАН технология GeoSmis. Она предназначена для создания картографических веб-интерфейсов, обеспечивающих доступ к сверхбольшим распределённым архивам спутниковых данных, а также к инструментам для их анализа и обработки. Для получения интерактивных инструментов анализа данных, таких как динамические отчётные формы, гистограммы и графики, используются также возможности BI-технологий (Business Intelligence).

Подсистема управления и контроля предназначена для обеспечения бесперебойного функционирования центра коллективного пользования, включая различные территориально распределённые блоки, входящие в его состав. Она, в частности, позволяет автоматически детектировать сбои и неполадки в работе различных компонент программно-аппаратного комплекса ЦКП «ИКИ-Мониторинга» и эффективно отслеживать процесс их устранения. Для интеграции всех программных инструментов подсистемы была разработана специализированная система документирования и контроля проектов (СДКП).

В работе комплекса активно используется различное свободно-распространяемое программное обеспечение. В частности, в качестве СУБД используется MySQL или MariaDB, а в качестве HTTP-сервера — Apache, а для обработки спутниковых изображений активно применяются такие программные пакеты, как GDAL/OGR, GRASS GIS, Proj, Imager, а также специализированные пакеты для обработки спутниковых данных — SeaDAS, SNAP, OpenCV и др.

В 2021 г. были продолжены работы по совершенствованию используемых нами для задач ведения долговременных архивов ЦКП «ИКИ-Мониторинг» технологий и программного обеспечения. Были внедрены новые схемы контроля наполнения архивов данными различных степеней обработки, скорости поступления из различных источников и обработки. Также были внедрены специализированные интерфейсы интерактивного контроля состояния архивов для данных регулярных пространственных разбиений. Кроме того, программного обеспечение для реализации технологии UNISAT и программное обеспечение для реализации технологии GEOSMIS в 2021 г. были зарегистрированы в едином реестре российских программ для электронных вычислительных машин и баз данных, ссылки на реестр: https://reestr.digital.gov.ru/reestr/308380/ и https://reestr.digital.gov.ru/reestr/388546/ соответственно.

Функционирование ЦКП «ИКИ-Мониторинг» в настоящее время обеспечивает сложный программно-аппаратный комплекс, состоящий более чем из 130 серверов различного назначения, работающих под управлением операционных систем семейств UNIX и Windows. Для хранения файлов спутниковых данных используется 27 UNIX-серверов и 5 специализированных систем хранения (NAS), а для обработки спутниковых данных, включая динамическое формирование требуемых для интерфейсов информационных продуктов — более 100 физических и виртуальных Windows- и UNIX-серверов. Остальной парк серверов функционирует под операционной системой UNIX и обеспечивает решение задач по сбору, архивации, доступу к данным, управлению процессами обработки и обеспечению бесперебойной работы комплекса.

В 2021 г. было введено в строй 19 серверов различного назначения, а также дисковая система хранения, суммарная дисковая ёмкость, доступная для хранения данных в настоящее время составляет около 7 Пбайт.