Восстановление экспериментальных зависимостей времен различных процессов от размера блока данных

При экспериментальном восстановлении обсуждаемых зависимостей, для сокращения времени их оценки целесообразно определить разумные для конкретной реализации процедуры обработки размеры блоков. Для получения требуемых зависимостей в пределах выбранного диапазона значений обычно используется ряд значений размера блока с фиксированным шагом, от которого в конечном итоге зависит точность выбора оптимальных параметров, обеспечивающих минимизацию суммарного времени обработки.

Для того, чтобы избежать влияния на экспериментально восстанавливаемые зависимости неравномерности загрузки реальной вычислительной среды, в которой производится обработка, замеры скоростей выполнения различных операций и их зависимости от размеров блоков целесообразно проводить на специально созданном стенде. При проведении тестирования для каждого из анализируемых значений размера блока на сервере обработки производятся тестовые запуски различных процедур, в результате которых определяются следующие зависимости: Tget(a), Tproc(a), Tupl(a). При этом оцениваются не времена выполнения отдельных заданий   в рамках отдельных вычислительных потоков (с учетом того, что практически все вычислительные узлы центра являются многопроцессорными), а эффективные значения при выполнении обработки в многопотоковом режиме. Также при проведении тестирования оцениваются характерные значения SourceUnitSize(а) и ResultUnitSize(а), которые в дальнейшем используются для оценки среднего трафика, возникающего при обработке в используемой сетевой инфраструктуре с помощью выражений (2) и (3).

Оценку времени подготовки данных следует проводить с использованием реальных систем хранения. Поэтому зависимость времени подготовки данных Tprep(a) мы исследовали на реальной инфраструктуре ведения сверхбольших распределенных архивов спутниковых данных ЦКП «ИКИ-Мониторинг». Так как нагрузка на эту инфраструктуру может достаточно сильно меняться во времени, то для получения Tprep(a) необходимо многократно провести запросы данных и получить средние значения для конкретных а.