ГОСТ Р 57700.26-2020
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ
Требования приемочных испытаний
High-perfomance computing systems. Acceptance tests requirements
ОКС 01.040.01
07.020
07.030
Дата введения 2021-06-01
Предисловие
1 РАЗРАБОТАН Федеральным государственным унитарным предприятием "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт экспериментальной физики" (ФГУП "РФЯЦ-ВНИИЭФ")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 "Математическое моделирование и высокопроизводительные вычислительные технологии"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 13 ноября 2020 г. N 1077-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
На современном этапе развития науки и техники определяющее значение имеет применение современных технологий компьютерного моделирования. Использование компьютерного моделирования на всех этапах жизненного цикла изделий промышленности позволяет оптимизировать состав и количество натурных испытаний, сократить затраты на разработку и обеспечение эксплуатации создаваемого изделия. Очевидно, что обязательным инструментом для компьютерного моделирования является вычислительная система, при этом использование комплексных моделей, цифровых двойников изделий предполагает применение высокопроизводительных вычислительных систем (ВВС).
Современная ВВС представляет собой взаимосвязанный программно-аппаратный комплекс, который использует сложные математические алгоритмы параллельных вычислений и является весьма дорогостоящим изделием. Важным этапом создания ВВС является этап проведения приемочных испытаний, которые проводят с целью подтверждения соответствия ее параметров и характеристик требованиям технического задания на ее разработку, а также определения эффективности применения ВВС для определенных областей компьютерного моделирования.
В действующих документах по стандартизации, таких как ГОСТ 34.603 "Информационная технология. Виды испытаний автоматизированных систем", ГОСТ Р 15.301 "Система разработки и постановки продукции на производство. Продукция производственно-технического назначения. Порядок разработки и постановки продукции на производство" определены общие требования к порядку проведения приемочных испытаний изделий. Однако для ВВС как особенного вида продукции при отсутствии развитой системы стандартизации в области вычислительной техники и компьютерного моделирования необходимо дополнить и конкретизировать требования к порядку проведения испытаний, регламентировать процедуру тестирования ВВС и установить требования к технической и отчетной документации.
1 Область применения
Настоящий стандарт распространяется на высокопроизводительные вычислительные системы (ВВС) универсального назначения, применяемые для решения широкого круга задач компьютерного моделирования с использованием алгоритмов распараллеливания, и устанавливает требования к видам испытаний и реализации их результатов, порядку их проведения, а также к составу документов, применяемых в процессе испытаний.
Настоящий стандарт не распространяется на ВВС специализированного назначения (встроенные, бортовые, системы управления в реальном времени и т.п.).
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ 2.103 Единая система конструкторской документации. Стадии разработки
ГОСТ 15.309 Система разработки и постановки продукции на производство. Испытания и приемка выпускаемой продукции. Основные положения
ГОСТ 34.603 Информационная технология. Виды испытаний автоматизированных систем
ГОСТ Р 2.106 Единая система конструкторской документации. Текстовые документы
ГОСТ Р 15.301 Система разработки и постановки продукции на производство. Продукция производственно-технического назначения. Порядок разработки и постановки продукции на производство
ГОСТ Р 57700.18 Высокопроизводительные вычислительные системы. Требования к тестовым программам приемочных испытаний
ГОСТ Р 57700.27 Высокопроизводительные вычислительные системы. Термины и определения
ГОСТ Р МЭК 61508-4 Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 4. Термины и определения
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
3.1 В настоящем стандарте применены термины по ГОСТ Р МЭК 61508-4 и ГОСТ Р 57700.27, а также следующие термины с соответствующими определениями:
3.1.1 заказчик: Юридическое лицо, заказывающее разработку высокопроизводительных вычислительных систем.
3.1.2 вычислительное устройство; ВУ: Процессор, ядро или арифметический ускоритель, входящие в состав вычислительного узла ВВС.
3.2 В настоящем стандарте применены следующие сокращения:
КД - конструкторский(ая) документ (документация);
ОКР - опытно-конструкторская работа;
ОЭ - опытная эксплуатация;
ПД - программная документация;
ПИ - предварительные испытания;
ПМ - программа и методика (испытаний);
ПО - программное обеспечение;
СЧ - составная часть;
ТЗ - техническое задание;
ЭД - эксплуатационная документация.
4 Общие положения
4.1 Объектом испытаний является опытный образец ВВС (СЧ ВВС) (далее - опытный образец).
4.2 Испытания опытного образца проводят с целью проверки соответствия ВВС (СЧ ВВС) требованиям, установленным в ТЗ на ОКР, и определения эффективности применения ВВС для различных областей компьютерного моделирования.
4.3 Проведение испытаний, а также приемку и передачу ВВС (СЧ ВВС) в промышленную эксплуатацию проводят в соответствии с ГОСТ Р 15.301.
4.4 Проверку работоспособности и определение отдельных параметров ВВС (СЧ ВВС) на испытаниях выполняют согласно требованиям к процедуре тестирования ВВС (СЧ ВВС), указанным в разделе 7.
4.5 При испытаниях используют тестовые программы, позволяющие проверить СЧ ВВС и (или) ВВС в целом. Требования к тестовым программам для испытаний определены в ГОСТ Р 57700.18.
5 Требования к порядку проведения испытаний
5.1 Опытный образец подвергают следующим видам испытаний:
- ПИ;
- ОЭ;
- приемочные испытания.
5.2 ПИ проводит организация-разработчик или уполномоченная разработчиком организация (далее - организация-разработчик).
5.3 Организация-разработчик выпускает организационно-распорядительный документ о создании комиссии по проведению ПИ ВВС (СЧ ВВС), которая отвечает за полноту, достоверность и объективность оценки результатов испытаний, а также за полноту информации и соблюдение установленных сроков.
5.4 Комиссия формируется из числа представителей заказчика, организации-разработчика и эксплуатирующей организации (при наличии). В состав комиссии по проведению ПИ должны быть включены специалисты по аппаратному обеспечению, системному и прикладному ПО, а также разработчики КД и ПД. Председателем комиссии ПИ назначают главного конструктора ВВС или руководителя подразделения организации-разработчика.
5.5 Комиссия по проведению ПИ, при необходимости, формирует состав рабочих групп, которые по ПМ ПИ осуществляют соответствующие проверки:
- комплектности оборудования, работоспособности аппаратного обеспечения и параметров ВВС (СЧ ВВС);
- комплектности, работоспособности и функциональности ПО;
- КД и ПД, в том числе ЭД.
5.6 По результатам проверок рабочие группы оформляют протоколы.
5.7 Комиссия по проведению ПИ оформляет протокол проведения ПИ (на основании протоколов рабочих групп, при наличии), в котором отражает объем проведенных испытаний и их результаты, позволяющие определить соответствие ВВС (СЧ ВВС) заданным в ТЗ характеристикам и параметрам, выявленные недостатки, рекомендации, а также акт ПИ. Акт ПИ утверждает руководитель организации-разработчика.
5.8 Ввод ВВС (СЧ ВВС) в ОЭ выполняют на основании приказа руководителя организации-разработчика.
5.9 В ходе ОЭ ВВС (СЧ ВВС) организация-разработчик устраняет недостатки, выявленные при ПИ. Длительность ОЭ устанавливает руководитель организации-разработчика по согласованию с заказчиком.
5.10 После завершения ОЭ ВВС (СЧ ВВС) должен быть оформлен акт завершения ОЭ, который утверждает руководитель организации-разработчика.
5.11 После устранения недостатков организация-разработчик, при необходимости, выполняет корректировку КД, ПД и направляет заказчику уведомление о готовности проведения приемочных испытаний и утвержденный акт завершения ОЭ.
5.12 Порядок проведения приемочных испытаний по 5.13-5.25.
5.13 Основанием для начала проведения приемочных испытаний опытного образца ВВС являются следующие документы:
- уведомление о готовности к приемочным испытаниям;
- организационно-распорядительный документ о создании комиссии по проведению приемочных испытаний.
5.14 После получения уведомления о готовности к проведению приемочных испытаний заказчик принимает решение о проведении приемочных испытаний и выпускает организационно-распорядительный документ о создании комиссии по проведению приемочных испытаний ВВС с назначением председателя комиссии, ее состава и указанием места и времени проведения приемочных испытаний.
5.15 В состав комиссии по приемочным испытаниям включают представителей организации-разработчика [специалистов по аппаратному обеспечению, системному и прикладному ПО, разработчиков КД, технологической документации (при необходимости)], независимых экспертов, представителей заказчика и эксплуатирующей организации. Председателем комиссии по проведению приемочных испытаний назначают представителя заказчика.
5.16 Комиссия по приемочным испытаниям при необходимости формирует состав рабочих групп по проверке аппаратного обеспечения, КД и ПД, ПО.
5.17 Состав мероприятий, выполняемых при проведении приемочных испытаний ВВС, приведен в таблице 1.
Таблица 1 - Состав мероприятий при проведении приемочных испытаний
Мероприятие | Результат |
Проведение приемочных испытаний опытного образца ВВС рабочими группами по направлениям: | Протоколы проведения приемочных испытаний |
Проверка технических характеристик и параметров ВВС с помощью тестовых программ | Протоколы тестирования |
Составление итоговых документов приемочных испытаний | Протокол проведения приемочных испытаний; акт приемочных испытаний |
5.18 Рабочие группы по ПМ приемочных испытаний проводят проверку КД и ПД, состава оборудования и ПО, работоспособности и параметров ВВС (СЧ ВВС), соответственно.
5.19 По результатам проверки рабочие группы выпускают протоколы. По решению председателя комиссии может быть выпущен объединенный протокол по проведению приемочных испытаний.
5.20 На основании протоколов рабочих групп комиссия по проведению приемочных испытаний формирует протокол приемочных испытаний, в котором должны содержаться основные результаты испытаний, отражающие соответствие ВВС (СЧ ВВС) заявленным в ТЗ характеристикам и параметрам, выявленные недостатки и рекомендации, и оформляет акт приемочных испытаний с выводом о готовности ВВС (СЧ ВВС) к использованию по назначению.
5.21 Акт приемочных испытаний должен содержать краткую оценку соответствия опытного образца ВВС требованиям ТЗ, заключение и выводы по результатам испытаний, рекомендации о возможности использования ВВС по назначению (постоянной эксплуатации) или о целесообразности ее промышленного производства. Акт утверждает председатель комиссии.
5.22 Протокол является неотъемлемой частью акта, о чем в акте должна быть сделана запись.
5.23 При выявлении недостатков заказчик в акте устанавливает срок на их устранение, а организация-разработчик в назначенный срок устраняет недостатки, проводит корректировку КД и ПД (при необходимости) и направляет заказчику извещение об устранении недостатков.
5.24 После получения заказчиком извещения об устранении недостатков проводятся повторные мероприятия по 5.15-5.23.
5.25 КД и ПД должна быть присвоена литера по ГОСТ 2.103 при наличии соответствующих требований ТЗ.
6 Требования к программе и методике предварительных испытаний
6.1 Организация-разработчик разрабатывает ПМ ПИ по ГОСТ Р 2.106, ГОСТ 15.309 с учетом требований раздела 6.
6.2 ПМ ПИ должна содержать следующие разделы:
- объект и место испытаний;
- цель испытаний;
- общие положения;
- объем испытаний;
- проверяемые характеристики и параметры;
- методы испытаний;
- условия и порядок проведения испытаний;
- отчетность.
6.3 ПМ ПИ утверждает руководитель организации-разработчика. ПМ приемочных испытаний согласовывают с заказчиком и руководителем эксплуатирующей организации, при наличии.
7 Требования к процедуре тестирования
7.1 Тестирование ВВС выполняют в процессе проведения предварительных и приемочных испытаний с помощью тестовых программ, соответствующих требованиям ГОСТ Р 57700.18.
7.2 Тестирование проводят по нескольким направлениям, позволяющим объективно подтвердить параметры ВВС, заявленные в ТЗ, а также дать количественную оценку характеристик ВВС в целом и отдельных параметров.
7.3 Тестовые программы, которые рекомендуется использовать при проведении приемочных испытаний, приведены в приложении А.
7.4 По согласованию с заказчиком рекомендованные тестовые программы могут заменяться тестовыми программами с аналогичными функциональными возможностями.
7.5 Состав тестовых программ, применяемых на приемочных испытаниях, должен быть приведен в ПМ испытаний.
7.6 На приемочных испытаниях тестирование ВВС выполняют по 7.6.1-7.7.1.
7.6.1 Оценка параметров вычислительного узла осуществляется:
- измерением пропускной способности оперативной памяти;
- измерением производительности отдельных ВУ и вычислительного узла в целом.
7.6.2 Оценка производительности коммуникационной среды осуществляется измерением пропускной способности и задержкой каналов и коммуникационной подсистемы ВВС.
7.6.3 Оценка производительности параллельной файловой системы может осуществляться с использованием тестовых программ, предназначенных для измерения параметров ВВС. Рекомендуемые для оценки производительности тестовые программы приведены в приложении А.
7.6.4 Проверка правильности выполнения вычислений выполняется запуском тестов на количестве вычислительных узлов, близком к максимальному для ВВС. Критерием успешности теста является корректное завершение с выдачей соответствующего сообщения.
7.6.5 При испытаниях для определения эффективности распараллеливания рекомендуется применять методические прикладные тесты. Допускается использовать международные прикладные тесты и прикладное ПО, эксплуатация которого предполагается на ВВС.
7.6.6 Если вычислительные узлы ВВС имеют сложную структуру, включающую многоядерные универсальные процессоры, а также гибридную составляющую (арифметические ускорители), рекомендуется определять эффективность распараллеливания ВВС относительно одного вычислительного узла. При тестировании должны быть задействованы все вычислительные ресурсы вычислительного узла.
7.6.7 В ходе тестирования для различного количества вычислительных узлов, вплоть до максимального, необходимо определять коэффициент ускорения и вычислять эффективность распараллеливания.
Для определения коэффициента ускорения рекомендуется применять метод слабого масштабирования (увеличение размеров или сложности задачи пропорционально числу задействованных вычислительных узлов).
7.6.8 Способ компиляции, сборки тестов, задание их начальных данных и параметров, а также физическая постановка тестовых задач определяются организацией - разработчиком ВВС.
7.6.9 Оценка пиковой производительности ВВС осуществляется на основании вычисления технических параметров ВУ и суммируется по всем ВУ ВВС.
7.6.9.1 Оценка реальной производительности ВВС выполняется специальными тестами, которые запускают на максимально возможном для таких тестов количестве вычислительных узлов ВВС. Результатом выполнения тестов является значение реальной производительности ВВС, выражаемое в количестве арифметических операций с плавающей точкой, Флопс.
Примечание - Полученное значение реальной производительности может сравниваться с аналогичными результатами для зарубежных и отечественных ВВС, регулярно публикуемыми в списках Тор50 и Тор500.
7.6.9.2 Кроме специальных тестов для оценки реальной производительности, могут использоваться методические прикладные тесты и международные прикладные тесты. Для методических прикладных тестов в качестве значения производительности может выдаваться количество ячеек фазового пространства, рассчитанных в секунду, либо иная характеристика.
7.6.9.3 Параметры запуска тестов для получения максимального значения реальной производительности выбираются организацией-разработчиком ВВС.
7.6.10 Проверка работоспособности ВВС при полной вычислительной загрузке осуществляется посредством специальных тестов, обеспечивающих максимальную интенсивность использования ВУ. Запуск теста выполняют на максимально возможном для такого теста количестве вычислительных узлов ВВС. Длительность выполнения теста должна составлять не менее двух часов. Положительным результатом является успешное завершение теста с корректным значением верификационного параметра.
7.6.11 Проверка технологического процесса счета задач (ввод заданий, распределение заданий, вывод информации и т.д.) осуществляется посредством комплексного теста. Комплексный тест проверяет работу ВВС в многозадачном режиме, обеспечивающем условия производственной эксплуатации.
7.6.11.1 Для проведения комплексного теста используют пакет программ, в который могут входить методические и международные прикладные тесты, а также прикладное ПО, эксплуатация которого предполагается на ВВС.
7.6.11.2 Выбор состава тестовых программ и задач осуществляет организация - разработчик ВВС.
7.6.11.3 Для выполнения комплексного теста формируют очередь пакетных заданий из тестовых задач и запуск сформированных заданий на выполнение. Допускается пополнение очереди задач во время прохождения теста, если запущенных первоначально задач недостаточно.
7.6.11.4 Общая длительность комплексного теста должна быть не менее восьми часов.
7.6.11.5 На основании статистических данных определяют общее количество выполненных задач, количество сбоев, повлиявших на выполнение задач. На основании выходных файлов определяют количество успешно выполненных задач, количество аварийно завершенных из-за сбоев задач, а также количество задач, просчитанных неверно.
7.6.12 Оценка реального энергопотребления осуществляется посредством измерений реального энергопотребления ВВС, которые выполняются соответствующими измерительными устройствами во время выполнения теста, обеспечивающего максимальную загрузку вычислительных узлов ВВС.
7.7 В процессе проведения приемочных испытаний тестирование ВВС выполняется рабочей группой по проверке ПО.
7.7.1 С целью сокращения времени приемочных испытаний допускается по решению комиссии использовать результаты некоторых тестовых запусков, выполненных в процессе проведения предварительных испытаний ВВС. В этом случае в протоколе проведения приемочных испытаний указывают результаты тестирования из протокола предварительных испытаний с соответствующими примечаниями.
При этом для проверки корректности представленных результатов ПИ часть тестовых запусков по решению комиссии по проведению приемочных испытаний могут быть выполнены в процессе приемочных испытаний с соответствующими записями в протоколе проведения приемочных испытаний.
7.8 Тестирование гетерогенных ВВС выполняют, если ВВС состоит из нескольких разнородных сегментов (с различной архитектурой, коммуникационной подсистемой, вычислительной подсистемой и т.п.).
7.8.1 Тестирование каждого однородного сегмента гетерогенной ВВС выполняют отдельно (за исключением комплексного теста, который может быть выполнен на всех сегментах гетерогенной ВВС одновременно). В протокол вносят результаты, полученные для каждого сегмента ВВС.
7.8.2 Общую производительность гетерогенной ВВС (пиковую и реальную) определяют, суммируя производительности отдельных сегментов.
Приложение А
(рекомендуемое)
Перечень тестовых программ, предназначенных для измерения параметров высокопроизводительных вычислительных систем
Таблица А.1
Назначение тестирования | Тестовая программа |
Измерение пропускной способности оперативной памяти | Stream |
Измерение производительности отдельных ВУ и узла в целом | HPCG |
Оценка производительности коммуникационной среды | B_eff |
Оценка производительности параллельной файловой системы | IOR |
Проверка правильности выполнения вычислений | HPL |
Проверка работоспособности ВВС при полной вычислительной загрузке | HPL |
Оценка реального энергопотребления | HPL |
УДК 001.4:004:006.354 | ОКС | 01.040.01 | |
07.020 | |||
07.030 | |||
Ключевые слова: высокопроизводительная вычислительная система, приемочные испытания, тестовая программа, реальная производительность, эффективность распараллеливания | |||
Электронный текст документа
и сверен по:
, 2020