Развитие системы контроля и управления распределенными архивами спутниковых данных (Расширенная статистика о наличии данных в архивах и о поступлении в систему новых спутниковых данных из различных источников).

В 2018 году был разработан специализированный интерфейс «Форма получения статистики наличия данных в архивах UNISAT», предназначенный для получения статистики о наличии в архивах указанных типов спутниковых данных по заданной географической области, физически находящихся на серверах указанных информационных узлов. Эта информация часто бывает полезной для решения самых разных задач, связанных с поддержкой работы распределенного архива, обработкой данных, предоставлением данных другим организациям и и многих других. Существенно, что географическая область может быть задана различными способами: выбор из заранее предопределенных вариантов, ограничивающая прямоугольная область (BBOX) или полигон в формате WKT. На рис. 1 приведен пример запроса статистики наличия данных спутников SENTINEL 2 за 2018 год по зоне интереса информационной системы «Дистанционный мониторинг активности вулканов Камчатки и Курил» VolSatView.

Также в 2018 году был реализован аналогичный интерфейс «Форма получения статистики поступления данных в архивы UNISAT», позволяющий получить статистику поступления тех или иных спутниковых данных за указанный диапазон времени, т.е. диапазон, в течение которого данные поступили в архивы. Такая информация просто необходима для планирования работ по наращиванию мощностей хранения данных. Пример использования этой формы приведен ниже на рис. 2.

Рис. 1 - Пример использования формы получения статистики о наличии данных в архивах UNISAT.

 
Рис. 2 - Пример использования формы получения статистики поступления данных в архивы

В настоящее время исходные спутниковых данные поступают в архивы ЦКП «ИКИ-Мониторинг» на постоянной основе из целого ряда различных центров распространения спутниковых данных. При этом реализация подсистем, отвечающих за получение данных из различных источников, существенно отличается, как и сами получаемые данные. В результате до недавнего времени у нас была достаточно разнородная статистика, характеризующая работу этих подсистем. В 2018 году было реализовано программное обеспечение, позволяющее получать ежедневные отчеты о работе всех основных из этих подсистем в едином формате. Статистика позволяет оценить среднюю скорость поступления данных за различные периоды времени (сутки, 3 дня, месяц и т.д.), информацию о текущей очереди закачки, понять, успеваем ли мы скачивать данные, поступающие в очередь, заносятся ли они все в архивы и т.д. Ежедневный отчет о поступлении данных формируется в текстовом виде и рассылается по электронной почте ответственным специалистам. Реализована также возможность запроса аналогичного отчета за любые указанные сутки по заданным типам данных. Первый блок отчета содержит информацию об ошибках, выявленных за указанные сутки. Далее приводится подробная статистика по каждому из типов данных, а в заключении приводится интегральная информация о поступлении исходных спутниковых данных из всех источников. Ниже приведен пример ежедневного отчета.

<----------------------------------------------------------------------------------------------
*** Статистика скачивания и усвоения данных за дату 2018-11-27 (UTC) ***

!!! За сутки детектированы следующие ошибки:
[LANDSAT]
Скачано существенно меньше (<75%), чем в среднем за неделю
"Скачано/поступило в очередь" < 90%
[SENTINEL 3]
Поступило в очередь оперативных данных существенно меньше (<75%), чем в среднем за неделю

[SENTINEL 1]
Всего скачано:   177Tb
Текущая очередь:  68Tb

Характеристики за периоды времени:	сутки	3 дня	неделя	месяц	3 месяца
Скачивалось                         (Гб/сут)	308	260	294	327	461
Поступало в очередь оперативных     (Гб/сут)	308	260	290	312	317
Поступало в очередь исторических    (Гб/сут)	0	0	0	0	3
Изменение размера очереди           (Гб)	0	0	-30	-444	-12712
Скачано/поступило в очередь         (%)	100	100	101	104	144
Занесено в БД/скачано               (%)	100	100	104	100	99

[SENTINEL 2]
Всего скачано:   224Tb
Текущая очередь: 167Tb

Характеристики за периоды времени:	сутки	3 дня	неделя	месяц	3 месяца
Скачивалось                         (Гб/сут)	1802	2026	2062	1965	1334
Поступало в очередь оперативных     (Гб/сут)	769	798	807	921	1223
Поступало в очередь исторических    (Гб/сут)	0	0	3	15	15
Изменение размера очереди           (Гб)	-1033	-3683	-8758	-30846	-8618
Скачано/поступило в очередь         (%)	234	253	254	209	107
Занесено в БД/скачано               (%)	127	107	100	103	91

[SENTINEL 3]
Всего скачано:     8Tb
Текущая очередь: 1011Gb

Характеристики за периоды времени:	сутки	3 дня	неделя	месяц	3 месяца
Скачивалось                         (Гб/сут)	30	28	28	30	52
Поступало в очередь оперативных     (Гб/сут)	! 32	66	57	38	39
Поступало в очередь исторических    (Гб/сут)	0	0	0	0	0
Изменение размера очереди           (Гб)	2	114	200	232	-1179
Скачано/поступило в очередь         (%)	93	! 43	! 50	! 79	133
Занесено в БД/скачано               (%)	100	110	317	111	! 71

[LANCE MODIS]
Всего скачано:    96Tb
Текущая очередь: 7.8Tb

Характеристики за периоды времени:	сутки	3 дня	неделя	месяц	3 месяца
Скачивалось                         (Гб/сут)	65	63	59	49	49
Поступало в очередь оперативных     (Гб/сут)	66	66	66	67	67
Поступало в очередь исторических    (Гб/сут)	0	0	0	0	0
Изменение размера очереди           (Гб)	1	11	49	537	1626
Скачано/поступило в очередь         (%)	98	94	! 89	! 73	! 73
Занесено в БД/скачано               (%)	96	! 89	! 86	! 88	! 82

[LANDSAT]
Всего скачано:   526Tb
Текущая очередь: 1.2Tb

Характеристики за периоды времени:	сутки	3 дня	неделя	месяц	3 месяца
Скачивалось                         (Гб/сут)	! 29	34	92	120	153
Поступало в очередь оперативных     (Гб/сут)	97	103	98	117	136
Поступало в очередь исторических    (Гб/сут)	2	1	107	42	30
Изменение размера очереди           (Гб)	70	209	793	1182	1182
Скачано/поступило в очередь         (%)	! 29	! 33	! 44	! 75	92
Занесено в БД/скачано               (%)	103	102	101	102	98

[ALL TYPES]
Всего скачано:   1034Tb
Текущая очередь: 246Tb

Характеристики за периоды времени:	сутки	3 дня	неделя	месяц	3 месяца
Скачивалось                         (Гб/сут)	2234	2412	2537	2493	2050
Поступало в очередь оперативных     (Гб/сут)	1272	1295	1320	1457	1783
Поступало в очередь исторических    (Гб/сут)	2	1	110	57	48
Изменение размера очереди           (Гб)	-960	-3349	-7746	-29339
Скачано/поступило в очередь         (%)	175	186	177	164	111
Занесено в БД/скачано               (%)	122	106	102	103	92