Структура и технические возможности ЦКП и их развитие в 2019 году

ЦКП «ИКИ-Мониторинг» построен на основе использования технологий и базового программного обеспечения, разработанных в отделе «Технологии спутникового мониторинга» ИКИ РАН (http://smiswww.iki.rssi.ru/). Одним из важнейших преимуществ используемых технологий является практически полная автоматизация всех процессов по сбору, архивации, обработке и предоставлению пользователям спутниковым данных. За решение основных технических задач отвечают представленные ниже программные подсистемы.

Подсистема сбора данных предназначена для получения из различных источников как исходных спутниковых данных, так и различных информационных продуктов, полученных на основе их обработки, а также предварительной подготовки данных для архивации. Основным достоинством реализованной подсистемы является полная автоматизация процессов получения и предварительной обработки спутниковых данных.
Подсистема архивации данных отвечает за архивацию спутниковых данных и продуктов, полученных на основе их обработки, а также за предоставление доступа к метаданным и данным в архивах на уровне программных интерфейсов. Работа с архивами ЦКП «ИКИ-Мониторинг» реализована на основе использования унифицированной технологии ведения сверхбольших распределённых архивов спутниковых данных UNISAT. Ключевыми её преимуществами являются реализация механизма «виртуальных информационных продуктов», т.е. продуктов, которые динамически в режиме реального времени формируются по запросу пользователя на основе обработки имеющейся в архивах информации, а также гибкая поддержка инструментов для удалённого анализа и обработки данных.

Подсистема обработки данных предназначена для проведения потоковой обработки поступающих в архивы новых данных, а также для построения различных информационных продуктов, получаемых на основе обработки уже имеющихся в архивах данных. Программная реализация основана на использовании разработанной в ИКИ РАН технологии и соответствующего ей программного обеспечения, функционал которого постоянно расширяется добавлением модулей, отвечающих за новые типы обработки. Для эффективного управления работой многих десятков серверов обработки данных, входящих в состав программно-аппаратного комплекса ЦКП «ИКИ-Мониторинг» была разработана и внедрена технология организации распределённой многопотоковой обработки спутниковых данных.

Подсистема обеспечения доступа к данным реализует три основных функциональных блока:

• спутниковый информационный сервис «ВЕГА-SCIENCE» (http://sci-vega.ru) обеспечивающий для удалённых пользователей интерактивный доступ к архивам данных ЦКП «ИКИ-Мониторинг», а также проведение их обработки и анализа.
   
• программные интерфейсы для доступа к данным из тематических информационных систем
   
• программный шлюз, позволяющий предоставлять доступ к данным, физически располагаемым во внешних архивах спутниковых данных.

Для построения многофункциональных картографических веб-интерфейсов используется разработанная в ИКИ РАН технология GeoSmis. Она предназначена для создания картографических веб-интерфейсов, обеспечивающих доступ к сверхбольшим распределённым архивам спутниковых данных, а также к инструментам для их анализа и обработки. Для получения интерактивных инструментов анализа данных, таких как динамические отчётные формы, гистограммы и графики, используются также возможности BI-технологий (Business intelligence).

Подсистема управления и контроля предназначена для обеспечения бесперебойного функционирования центра коллективного пользования, включая различные территориально распределённые блоки, входящие в его состав. Она, в частности, позволяет автоматически детектировать сбои и неполадки в работе различных компонент программно-аппаратного комплекса ЦКП «ИКИ-Мониторинга» и эффективно отслеживать процесс их устранения. Для интеграции всех программных инструментов подсистемы была разработана специализированная система документирования и контроля проектов (СДКП).

В работе комплекса активно используется различное свободно-распространяемое программное обеспечение. В частности, в качестве СУБД используется MySQL или MariaDB, а в качестве HTTP-сервера — Apache, а для обработки спутниковых изображений активно применяются такие программные пакеты, как GDAL, GRAS GIS, Proj, Imager, а также специализированные пакеты для обработки спутниковых данных — SeaDAS, GRASS и др.

В 2019 году нами были продолжены работы по совершенствованию используемых нами для задач ведения долговременных архивов ЦКП «ИКИ-Мониторинг» технологий и программного обеспечения. В частности, была достигнута более высокая степень отказоустойчивости и автоматизации процедур поддержки функционирования распределённого файлового хранилища, что особенно актуально в виду постоянно растущих объёмов поступающих в архивы данных. Также проводились работы по совершенствованию программной реализации используемой для этих целей технологии UNISAT.

Функционирование ЦКП «ИКИ-Мониторинг» в настоящее время обеспечивает сложный программно-аппаратный комплекс, состоящий более чем из 80 серверов различного назначения, работающих под управлением операционных систем UNIX и Windows. При этом для хранения файлов спутниковых данных используется 25 UNIX серверов и 4 специализированные системы хранения (NAS), а для обработки спутниковых данных, включая динамическое формирование требуемых для интерфейсов информационных продуктов — 35 Windows серверов и 15 UNIX серверов. Остальной парк серверов функционирует под операционной системой UNIX и обеспечивает решение задач по сбору, архивации, доступу к данным, управлению процессами обработки и обеспечению бесперебойной работы комплекса.

В 2019 году было введено в строй 8 серверов различного назначения, а суммарная дисковая емкость, используемая для хранения данных, возросла более чем на 900 терабайт и настоящее время превышает 3 петабайта.