Унифицированная технология организации блочного доступа к данным в архивах для проведения их эффективной распределенной параллельной обработки

На основе вышеописанного подхода в отделе «Технологии спутникового мониторинга» ИКИ РАН в 2019 году разработан базовый вариант технологии, обеспечивающей эффективное предоставление спутниковых данных для проведения их распределенной параллельной обработки. Основными требованиями при ее разработке были максимальная унификация и оптимизация всех процедур доступа к данным,  что позволяет использовать ее для решения самых разных задач по обработке различных типов спутниковых данных, отдельные сцены или сеансы которых могут состоять из различного числа фрагментов. Важно отметить, что представленный подход может быть реализован только для архивов, поддерживающих прямой блочный доступ к файлам данных, в частности, по протоколу NFS, применяемому для этих целей нами.

Ниже представлены два основных варианта реализации подсистемы блочного доступа к файлам данным для проведения их распределенной параллельной обработки, реализованных в рамках рассматриваемой технологии. При этом целесообразность выбора одного из них в каждом конкретном случае зависит от специфики реализации систем хранения и обработки спутниковых данных. Также приводятся общие сведения о текущей реализации описываемой технологии и рассматриваются планы по ее развитию. Затем рассматриваются перспективы использования нового подхода для эффективного формирования спутниковых изображений, предоставляемых пользователям в картографических WEB-интерфейсах.