Разработка методов и инструментов выявления задержек в процессе автоматизированной потоковой обработки спутниковых данных

В 2018 году мы существенно продвинулись в разработке методов и инструментов выявления задержек в процессе автоматизированной потоковой обработки спутниковых данных. Это относится как к средствам сбора контрольной информации, так и к используемым для ее визуализации инструментам.

Современные системы доступа к спутниковым данным обеспечивают доступ к большому числу различных информационных продуктов, в том числе, оперативных. Для таких продуктов особенно важна минимизация времени задержки от получения исходных спутниковых данных до поступления в архивы информационных продуктов, полученных на их основе. Совокупность всех операций, необходимых для получения информационных продуктов во многих случаях можно представить в виде цепочки последовательно выполняемых операций получения исходных данных, проведения различных стадий их обработки и, наконец, архивации результатов. Таким образом, итоговая задержка в получении требуемых информационных продуктов есть сумма интервалов времени, затрачиваемых на выполнение отдельных операций над данными. Для того чтобы выявить вклад времени выполнения отдельных операций необходимо для каждой единицы исходных спутниковых данных протоколировать все этапы ее обработки. Это дает возможность выявить наиболее затратные по времени операции и принять меры по их оптимизации, устранению возможных неполадок, или же принять решение о необходимости наращивания вычислительных ресурсов.

В качестве иллюстрации того факта, насколько сложными могут быть цепочки обработки данных на рис. 1 приведена диаграмма последовательности этапов обработки данных прибора MODIS. Исходные данные поступают на базовый сервер и далее проходят большое число различных этапов обработки, реализованных на различных компьютерах. В цепочке получения продуктов принимают участие большое число промежуточных процессов, осуществляющих фильтрацию данных и получение информационных продуктов различных уровней обработки.

    Для сбора информации о времени всех операций для каждого исходного сеанса спутниковых данных в каждом информационном узле используется единая БД data_monitoring. Она содержит информацию обо всех поступивших сеансах спутниковых данных и о времени окончания каждого из этапов его обработки. До недавнего времени доступ к этой информации обеспечивался в основном в виде громоздких отчетных таблиц, что было недостаточно наглядным и удобным. Теперь для визуализации информации о задержках в процессе обработки спутниковых данных от момента их получения до занесения в архивы итоговых информационных продуктов используются также возможности программного обеспечения BI. С помощью инструментов BI на основе собранной ранее информации можно строить наглядные отчёты, что позволяет быстро оценить текущую ситуацию и разобраться с тем, какие этапы обработки вносят аномальный вклад в суммарную задержку. Важным преимуществом BI инструментов является их большая гибкость, позволяющая осуществлять фильтрацию данных в интерактивном режиме (по времени, спутникам и сеансам), менять масштаб временной шкалы и т.д. Пример визуализации информации о задержках в процессе автоматизированной потоковой обработки спутниковых данных приведен ниже на рис. 2. Группы столбцов соответствуют различным сеансам спутниковых данных, а каждый из столбцов – одному из этапов обработки данных сеанса. По оси X отложено время, а по оси Y – время выполнения. Снизу приводится легенда, объясняющая какому из этапов соответствуют столбцы какого цвета.

 
Рис. 1 - Диаграмма последовательности этапов обработки данных прибора MODIS
    
 
Рис. 2 - Пример визуализации информации о задержках в процессе автоматизированной потоковой обработки спутниковых данных.