Технология динамического блочного представления спутниковых данных системам распределённой обработки
Прошин А.А., Лупян Е.А., Балашов И.В., Кашницкий А.В., Матвеев А.М., Руткевич Б.П.
// Современные проблемы дистанционного зондирования Земли из космоса, 2020. Т. 17. № 7. С. 79-93.
Во многих задачах, связанных с обработкой и визуализацией пространственных данных, значительный выигрыш даёт использование блочного (тайлового) подхода, в рамках которого используются данные, представленные в виде блоков, на которые равномерно разбита вся зона интереса. Это позволяет эффективно организовать параллельную обработку данных на различных вычислительных узлах, использовать механизм кэширования и снизить нагрузку на централизованные ресурсы. При этом, как правило, используются уже подготовленные архивы данных с фиксированным пространственным разбиением. В то же время во многих случаях, в первую очередь когда необходимо совместно обрабатывать различные типы спутниковой информации, использование подготовленных архивов данных может быть нецелесообразным. Это связано с тем, что различные типы спутниковых данных существенно различаются как по пространственному разрешению, так и по схемам организации их хранения. В результате практически невозможно выбрать одно пространственное разбиение, которое было бы оптимальным для организации работы со всеми типами данных. Поэтому требуется разработка таких подходов к организации обработки спутниковых данных, которые могли бы максимально использовать преимущества блочного метода и оптимизации схемы хранения каждого конкретного типа данных. В статье представлен такой подход организации обработки спутниковых данных с использованием динамического блочного доступа к разнородным архивам спутниковых данных, в рамках которого необходимые для обработки данные формируются по запросу в таком пространственном разбиении и с такими характеристиками, которые будут оптимальны для проведения конкретного типа обработки. В работе приводится краткое описание разработанной технологии, а также рассматривается методика оценки оптимальных параметров разбиения для конкретной обработки иимеющейся инфраструктуры.
Ссылка на текст:
http://d33.infospace.ru/d33_conf/sb2020t7/79-93.pdf