Развитие инструментария для системы доступа к временным рядам данных в системе мониторинга вулканической активности Камчатки и Курил (ИС VSV)
В рамках информационной системы VolSatView ведется анализ временных рядов данных спутниковых наблюдений. Разработана технология накопления данных дистанционного измерения радиояркостной температуры в зонах вулканической активности, а также пользовательский интерфейс интерактивного анализа рядов наблюдений. Крайне актуальными для такого рода исследований являются данные, полученные с геостационарных спутников, ввиду высокой частоты наблюдений, которая, например, в случае прибора AHI составляет 10 минут.
В 2023 году проводились работы по развитию блока получения временных рядов с целью повышения скорости и надежности его работы. И хотя этот блок используется для получения всех временных серий данных по самым разным типам спутниковой информации, наиболее критичным его быстродействие оказывается именно для анализа временных рядов, получаемых на основе данных прибора AHI, установленного на спутниках Himawari-8/9. Это связано как с большой частотой поступления таких данных, так и с необходимостью анализа многолетних рядов измерений. Для чтения из спутниковых изображений значений в точке и в ее окрестностях используется свободно распространяемый программный пакет GDAL (Geospatial Data Abstraction Library). В 2023 году вместо использования входящей в его состав утилиты gdallocationinfo чтение данных было переведено на непосредственное использование API, которое предоставляется этим пакетом, т.е. на прямое получение значений из массива значений, соответствующего каналу изображения. Это, в частности, потребовало изменений в процедуре перевода данных из проекции карты в проекцию сцены.
В результате скорость получения информации для построения временного ряда извлекаемой из исходных файлов стала сравнима со скоростью извлечения информации из баз метеоданных. Например, извлечение временного ряда за год по данным спутника Himawari-8 (с шагом 10 мин) теперь происходит примерно за 3 минуты, тогда как ранее на это уходило около 10 минут. Теперь это сравнимо со временем ожидания данных по температуре в точке, извлекаемых из базы данных со скоростью ~15-20 сек/год. При этом в первом случае мы получаем ряд из 50000 точек, а во втором - из 1400 точек. Однако при большом числе пользовательских запросов на получение долговременных рядов данных загрузка серверов подготовки оказалась неприемлемо высокой, в первую очередь, из-за чрезмерного использования оперативной памяти. Поэтому дополнительно была реализована специальная программа-демон, которая анализирует текущее количество выполняемых процессов подготовки данных и ограничивает количество одновременно выполняемых параллельных процессов.
Также в 2023 году проводились работы по оптимизации инструментов анализа временных серий данных с целью повышения удобства их использования. Отметим, что в рамках рассматриваемой информационной системы задачи, связанные с временными рядами, можно разделить на два больших класса:
- временные ряды в произвольной географической точке (доступной для наблюдения тем или иным прибором);
- временные ряды, связанные с точками и областями постоянного наблюдения (в данном случае - окрестностями вулканов).
В первом случае скорость получения информации имеет решающее значение, особенно для геостационарных спутников, поставляющих информацию через каждые 10-15мин. Проведенные работы позволили сократить время получения информации за два года (около 100 тысяч значений) до 6 минут. Годом ранее аналогичный запрос занимал 24 мин. Пример предоставления результатов по такому запросу приведен на рисунке 1
Рисунок 1 - Пример получения временного ряда по данным Himawari-8/9 за 2 года
Для второго варианта временных рядов повышение скорости загрузки позволило повысить информативность сервисов за счет накопления не только средних по областям, но и сбора статистических характеристик. Система обработки данных на участках наблюдения формирует выборку пикселов в окрестностях вулканов. Статистический анализ выборки позволяет фильтровать данные и анализировать производные величины, такие как максимум, минимум, среднее по окрестности или стандартное отклонение. В пользовательском интерфейсе реализованы возможности работы со всеми доступными для анализа величинами. Пример выполнения такого запроса приведен на рисунке 2. На нем представлен вывод информации о временном ряде, на котором можно проследить не только средние значения, но и минимальные и максимальные, а также стандартное отклонение значений радиояркостной температуры в полигоне, определенном для постоянного мониторинга за вулканом Шивелуч.
Рисунок 2 - Пример анализа временных рядов для вулкана Шивелуч
В качестве примера новых возможностей интерфейса можно привести реализованный алгоритм для подбора областей постоянного наблюдения за активностью вулканов. Ранее точки и полигоны для постоянного наблюдения выбирались субъективно, опираясь на визуальный анализ снимков. Теперь реализован алгоритм, который учитывает орбиту спутника, географическое положение точки наблюдения и ее геометрию (в данном случае высоту вулкана), что позволило исключить субъективный фактор. Для северных вулканов расстояние между центрами полигонов наблюдения для низкоорбитальных спутников и геостационарных спутников составляет километры. На рисунке 3 представлены контура наблюдения за вулканом Шивелуч. Красным цветом обозначен контур, выбираемый по субъективным представлениям, а зеленым – контур, полученный с помощью нового алгоритма. Для проведения этих работ потребовалось загрузить значительно больше информации за несколько лет наблюдений, чем грузилось ранее. Зеленый контур служит основой для выбора полигона наблюдения по снимкам низкоорбитальных спутников, а красный - для выбора полигона наблюдений по снимкам геостационарных спутников.
Рисунок 3 - Выбор полигона наблюдения с учетом орбиты спутника, географического положения и высоты вулкана