Этап подготовки

В рамках этапа подготовки данных серверы диспетчеризации производят запросы к каталогам распределенных архивов на получение требуемых метаданных. На основании этих метаданных формируются запросы на получение данных по блокам, после чего они направляются на сервер переадресации, который перенаправляет их на серверы подготовки данных. После получения всех требуемых блоков данных по области интереса в дисковый буфер на сервере диспетчеризации формируются задания для обработки на отдельных вычислительных узлах. Среди перечисленных операций существенных времени и ресурсов, как правило, требует только сам процесс подготовки (выборки) данных и передачи их по сети в дисковый буфер.

Серверы подготовки данных, как локальные, так и удаленные, одновременно используются для обеспечения данными разных процессов обработки. При этом скорость отдачи ими данных напрямую зависит от конкретных каналов связи и средней загруженности, как самих серверов, так и канала связи. Для упрощения в рамках рассматриваемой методики сервисы подготовки данных считаются фиксированным внешним фактором, поэтому зависимость времени подготовки блока от его размера Tprep(a) для конкретной обработки может определяться либо на реальной конфигурации вычислительной системы, использующейся для ее реализации, либо на имитационном стенде, учитывающем особенности использующейся вычислительной среды.