Авторизоваться
Для зарегистрированных пользователей

В настоящее время для исследований Земли из космоса и мониторинга различных процессов и явлений доступны глобальные и протяженные во времени архивы спутниковых данных, такие как, например, архивы ЦКП «ИКИ-Мониторинг». Существующие инструменты позволяют «на лету» получать различные информационные продукты на основе данных архивов, а также, рассчитывать историю необходимых для мониторинга характеристик для отдельных объектов наблюдений в «офлайн» режиме. Кроме них, однако, востребованными являются сервисы, позволяющие «на лету» получать данные по большому количеству разновременных наблюдений в произвольных точках Земной поверхности при решении целого ряда отдельных задач спутникового мониторинга. Опыт эксплуатации таких сервисов спутникового мониторинга показал востребованность инструмента анализа данных, представляющих протяженные временные серии в виде графиков. При этом реализованные до недавнего времени сервисы в основном были ориентированы на работу с заранее сформированными рядами данных для фиксированных объектов наблюдения. В то же время, существует потребность в эффективных инструментах, позволяющих «на лету» получать и анализировать временные серии большого числа наблюдений в произвольных точках Земной поверхности. Такие серии данных могут быть сформированы как на основе частых наблюдений (с периодичностью в несколько минут), так и более редких наблюдений (с периодичностью в недели, месяцы или годы), но при этом за много лет.

До недавнего времени реализованные в ИКИ РАН подходы для формирования больших временных серий данных были недостаточно эффективны, что приводило к большому времени ожидания результатов, неприемлемому для использования этих данных для онлайн-инструментов работы с данными. Для реализации таких инструментов необходима разработка специализированных сервисов и инструментов, ориентированных на быструю обработку запросов пользователей на формирование рядов данных и их визуализации, позволяющих «на лету» получать и анализировать значения необходимых продуктов по любой точке поверхности в границах покрытия архивов. Для создания этих инструментов потребовалась разработка новых архитектуры и программного обеспечения, позволяющих максимально быстро получать временные серии данных, строить по ним информационные продукты и осуществлять их визуализацию.

Новые сервисы для более быстрого получения временных серий данных интегрированы в существующую схему работы с данными распределенных архивов спутниковых данных ЦКП «ИКИ-Мониторинг», включая программные интерфейсы и сервисы анализа данных. Одной из ключевых особенностей технологии UNISAT, на базе которой реализованы распределенные архивы, является поддержка механизма «виртуальных» информационных продуктов, а именно, продуктов, которые формируются по запросу пользователя на основе имеющихся в архивах данных и заданных правил их формирования. Этот механизм позволяет реализовать доступа пользователей к широкому спектру самых разных информационных продуктов, при том что в архивах в основном находятся только данные базового уровня обработки.

Основными задачами новых сервисов для получения временных серий данных являются:

• нормализация, калибровка и вычисление виртуальных продуктов по большим рядам исходных данных на «лету» как в указанной точке, так и в ее окрестности;
• быстрое получение необходимого комплекта метаданных для всей серии данных, включая информацию о файлах данных и правилах построения виртуальных продуктов;
• постановка заданий на формирование временных рядов, запуск процедур получения временных серий и получение результатов (диспетчеризация) на серверах информационных узлов распределенных архивов;
• формирование единого ряда, состоящего из данных, расположенных в разных узлах распределенного архива;
• кэширование результатов чтения временных рядов из исходных файлов для минимизации повторных обращений к данным.

Для реализации вышеперечисленных задач с учетом общей асинхронной «онлайн» схемы взаимодействия пользовательских интерфейсов с сервисами данных были реализованы архитектура системы и необходимые программные блоки. Схема основных блоков и их взаимодействия представлена на рисунке 1. Синим цветом показаны блоки, не требующие доработки, зелеными – блоки, требующие расширения функционала, а оранжевым – вновь создаваемые блоки.

Для реализации сервисов были созданы следующие новые блоки и компоненты, необходимые для решения задач эффективного доступа к временным сериям:

• блок диспетчеризации заданий чтения серий TASK JOBS;
• блок быстрого получения наборов метаданных временных серий;
• блок быстрого получения значений исходных данных и вычисления продуктов;
• блоки кэширования данных в составе как блоков чтения, так и в блоках, получающие «виртуальные» продукты на лету;
• специализированные интерфейсы и плагины для построения графиков по данным временных серий данных, включая модули формирования заданий на получение временных серий данных в программной инфраструктуре графиков.

Существенной доработке подверглись следующие уже реализованные программные решения:

• модули блоков построения интерфейсов работы с графиками для интеграции данных UNISAT (включая необходимые описания) и создаваемой инфраструктурой получения рядов данных;
• инструмент работы с «показателями» для построения по ним временных серий;
• блоки картографических интерфейсов сервисов спутникового мониторинга.

Рисунок 1 - Общая схема структуры и блоков сервисов доступа к временным сериям данных