ГОСТ Р 57700.1-2017
Группа П80
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ЧИСЛЕННОЕ МОДЕЛИРОВАНИЕ ДЛЯ РАЗРАБОТКИ И СДАЧИ В ЭКСПЛУАТАЦИЮ ВЫСОКОТЕХНОЛОГИЧНЫХ ПРОМЫШЛЕННЫХ ИЗДЕЛИЙ. СЕРТИФИКАЦИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Требования
Numerical simulation for the development and commissioning of high-tech industrial products. Software certification. Requirements
ОКС 01.040.01, 07.020, 07.030
Дата введения 2018-05-01
Предисловие
1 РАЗРАБОТАН Открытым акционерным обществом "Т-Платформы" (ОАО "Т-Платформы")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 "Математическое моделирование и высокопроизводительные вычислительные технологии"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 25 мая 2017 г. N 425-ст
4 ВВЕДЕН ВПЕРВЫЕ
5 ПЕРЕИЗДАНИЕ. Август 2018 г.
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
1 Область применения
1.1 Настоящий стандарт определяет требования к стандарту организации на программное обеспечение компьютерного моделирования, применяемого при разработке продукции и проведении приемочных, приемо-сдаточных, квалификационных, серийных и иных испытаний, а также на дальнейших этапах жизненного цикла продукции.
1.2 Настоящий стандарт применим в том числе при сертификации программного обеспечения компьютерного моделирования в составе специализированных программно-технических комплексов.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 57188 Численное моделирование физических процессов. Термины и определения
ГОСТ Р 8.883 Государственная система обеспечения единства измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний
ГОСТ Р 57700.2 Численное моделирование для разработки и сдачи в эксплуатацию высокотехнологичных промышленных изделий. Сертификация программного обеспечения. Общие положения
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется принять в части, не затрагивающей эту ссылку.
3 Термины и определения
3.1 В настоящем стандарте применены термины по ГОСТ Р 57188, а также следующие термины с соответствующими определениями:
3.1.1
программное обеспечение компьютерного моделирования; ПО КМ: Программы, выполняющие математические расчеты, и программы, предназначенные для подготовки исходных данных, обработки результатов расчета, а также другие вспомогательные программы. Программное обеспечение компьютерного моделирования не является программным обеспечением средств измерений согласно ГОСТ Р 8.654. ГОСТ Р 57700.2, пункт 3.1.1 |
3.1.2
сертификация ПО КМ: Регламентированная процедура признания возможности использования ПО КМ в заявленной области/границах применения, завершающаяся выдачей сертификата. ГОСТ Р 57700.2, пункт 3.1.2 |
3.1.3
верификация ПО КМ: Процесс определения соответствия ПО КМ (компьютерной модели, программы) математической модели. Верификация обеспечивает обоснование того, что ПО КМ при определенных параметрах рассчитывает математическую модель правильно и с соответствующей точностью. ГОСТ Р 57700.2, пункт 3.1.3 |
3.1.4
валидация ПО КМ: Процесс определения соответствия ПО КМ (компьютерной модели, программы) реальному миру. Валидация обеспечивает обоснование того, что ПО КМ в заявленной области применения позволяет правильно и с определенной точностью моделировать реальные процессы. ГОСТ Р 57700.2, пункт 3.1.4 |
3.1.5
сертифицируемая версия ПО КМ: Представленная в орган по сертификации версия ПО КМ, с помощью которой проводились расчеты, включенные в отчет о верификации и валидации. ГОСТ Р 57700.2, пункт 3.1.5 |
3.1.6
заявитель ПО КМ: Юридическое или физическое лицо, представляющее ПО КМ к сертификации в соответствии с процедурой. ГОСТ Р 57700.2, пункт 3.1.6 |
3.1.7
разработчик ПО КМ: Юридическое или физическое лицо, разработавшее представленное к сертификации ПО КМ. ГОСТ Р 57700.2, пункт 3.1.7 |
3.1.8 тест: Задача, решение которой известно.
3.2 В настоящем стандарте применены следующие сокращения:
ИО - испытательное оборудование;
ПО - программное обеспечение;
КМ - компьютерное моделирование;
ЭУ - экспериментальные установки.
4 Требования к структуре и содержанию стандарта организации на программное обеспечение компьютерного моделирования
4.1 Стандарт организации на ПО КМ содержит описание программ, которые рекомендованы для численного моделирования при разработке продукции, проведении приемочных, приемо-сдаточных, квалификационных, серийных и иных испытаний, а также на дальнейших этапах жизненного цикла продукции.
4.2 Стандарт организации на ПО КМ должен содержать следующие разделы:
- Введение.
- Назначение и область применения ПО КМ.
- Описание ПО КМ.
- Описание расчетных схем.
- Описание алгоритмов распараллеливания (в случае использования).
- Приложение. Отчет о верификации и валидации ПО КМ.
4.3 В разделе "Введение" должны быть приведены:
- точное название ПО КМ;
- перечень его самостоятельных модулей;
- авторы ПО КМ;
- полное наименование организации - разработчика ПО КМ и организации - заявителя ПО КМ;
- сведения об операционной системе, языках программирования, характерных календарных временах счета, а также требования к электронным вычислительным машинам, на которых возможно выполнение расчетов с применением ПО КМ.
4.4 В разделе "Назначение и область применения ПО КМ" должна быть приведена информация о назначении и области применения ПО КМ, а именно:
- типы продукции (и/или их элементов), для которой может быть использовано ПО КМ, определены режимы и технологические процессы, и/или состояния (и/или его элемента), и/или виды воздействия на продукцию, которые ПО КМ моделирует, а также ограничения по применению ПО КМ;
- предназначено ли ПО КМ для проектных или эксплуатационных расчетов;
- относится ли ПО КМ (по погрешности расчетов) к классу ПО КМ, рассчитывающих точное решение, либо является средством инженерных расчетов.
4.5 В разделе "Описание ПО КМ" должны быть приведены:
- описание постановки задачи, решаемой с помощью ПО КМ;
- сведения о системах уравнений, описывающих рассматриваемые процессы и элементы объекта;
- описание и обоснование используемого метода их решения;
- сведения об использованных математических моделях, базах данных, библиотеках;
- информация о способах задания начальных, граничных условий и исходных данных для расчетов и т.п.;
- сведения об используемых соотношениях для расчета свойств материалов, эмпирических корреляциях, феноменологических (описывающих физические явления) коэффициентах и других зависимостях, замыкающих систему уравнений, которые включены в ПО КМ, а также обоснование их включения в ПО КМ с указанием (если это возможно) погрешности определения и экспериментов, подтверждающих их адекватность в используемой области. Должны быть приведены ссылки на соответствующие источники информации;
- основные допущения должны быть отражены с обоснованием и оценкой их адекватности реальным процессам и объектам;
- данные о том, каким образом учтены в расчетной методике пространственные эффекты, какие элементы рассчитываются в одно-, двух- или трехмерном приближении;
- оценка эффективности распараллеливания (в случае использования в ПО КМ алгоритмов распараллеливания) при решении характерных задач;
- блок-схема ПО КМ для многофункциональных и многоблочных ПО КМ;
- ссылки на документы, содержащие полное описание ПО КМ.
Документы, содержащие полное описание ПО, должны быть выполнены в соответствии с требованиями государственных стандартов единой системы программной документации.
4.6 В разделе "Описание расчетных схем" должна быть приведена информация по выбору расчетных схем, используемых при моделировании объектов (и/или их элементов). Должно быть представлено обоснование разбиения моделируемого объекта на элементы (контрольные объемы, конечные элементы и т.п.).
4.7 В разделе "Описание алгоритмов распараллеливания" должна быть приведена информация по алгоритмам распараллеливания, используемым в ПО КМ, включая:
- принципы распределения данных задачи по процессорам ЭВМ (в случае использования распределенной памяти);
- организацию алгоритмов распараллеливания, в том числе топологию межпроцессорных обменов (в случае использования распределенной памяти), переменные фазового пространства, по которым выполняется параллельный счет, оптимальное количество вычислительных ресурсов для характерных задач моделирования.
5 Требования к структуре и содержанию отчета о верификации и валидации программного обеспечения компьютерного моделирования
5.1 Отчет о верификации и валидации ПО КМ является основным документом, обосновывающим способность ПО КМ моделировать работу продукции (и/или ее элементов) и рассчитывать параметры, необходимые для обоснования технических характеристик продукции с заявляемой погрешностью рассчитываемых параметров.
5.2 Состав и содержание отчета о верификации и валидации ПО КМ должны соответствовать требованиям настоящего стандарта. Для заявителей ПО КМ, не являющихся разработчиками ПО КМ, допускается в отчете о верификации и валидации ПО КМ не заполнять разделы, требующие знания особенностей программной реализации ПО КМ с обоснованием причины незаполнения соответствующего раздела.
5.3 Отчет о верификации и валидации ПО КМ должен содержать следующие разделы:
- Верификация расчетной методики.
- Матрица верификации.
- Описание верификационных тестов.
- Результаты верификации ПО КМ.
- Валидация расчетной методики.
- Матрица валидации.
- Описание валидационных расчетов.
- Описание экспериментальных установок и представление экспериментальных данных.
- Результаты валидации ПО КМ.
- Перечень источников.
5.4 В разделе "Верификация расчетной методики" должно быть приведено обоснование расчетной методики, которая реализована в ПО КМ, для этого следует указать:
- основные сведения об оценке сходимости и устойчивости численных решений с указанием используемых методов анализа сходимости и устойчивости;
- информацию о том, как влияют особенности численного метода на результаты расчетов (шаг интегрирования, частота сетки и др.), результаты оценки погрешности численной схемы;
- условия сопряжения уравнений, описывающих различные физические и химические процессы и состояния элементов;
- результаты анализа чувствительности решения к изменению геометрических, граничных и режимных параметров, а также замыкающих соотношений в пределах имеющейся зоны неопределенности их выбора.
5.5 В разделе "Матрица верификации" должна быть приведена матрица верификации ПО КМ.
Матрица верификации ПО КМ для каждого моделируемого объекта и/или его элемента представляется в виде таблицы и является иллюстрацией того, в какой области проведена верификация ПО КМ. В матрице верификации должны быть указаны:
- перечень тестов, предназначенных для обоснования точности, сходимости, устойчивости используемых в ПО КМ численных методов;
- значения параметров, характеризующих тестовые расчеты.
Рекомендуемая структура матрицы верификации ПО КМ приведена в приложении А.
5.5.1 Постановки тестовых расчетов, включенных в матрицу верификации, должны быть подробно описаны.
5.5.2 Должно быть приведено обоснование достаточности информации, включенной в матрицу верификации ПО КМ, для подтверждения адекватности полученных с применением ПО КМ расчетных значений параметров и их погрешностей в заявленном диапазоне применения ПО КМ.
5.6 В разделе "Описание верификационных тестов" должен быть приведен перечень тестов, использованных для обоснования ПО КМ, и краткое (но достаточное для понимания) описание каждого из них со ссылкой на источник информации, в случае его подробного описания.
5.6.1 При описании верификационного теста должны быть указаны максимальные и средние отличия в сопоставляемых параметрах, допускаемые авторами теста.
5.7 В разделе "Результаты верификации ПО КМ" должны быть приведены результаты верификации ПО КМ и их анализ.
5.7.1 В качестве результатов верификации ПО КМ и их анализа приводят:
- результаты сопоставлений расчетов, выполненных с помощью сертифицируемой версии ПО КМ, и данных верификационных тестов. Они должны быть ясно изложены с обоснованием и оценкой достоверности сопоставления. Следует указывать, в какой области не получено совпадения результатов расчетов с применением ПО КМ и аналитических тестов;
- обоснование полноты и достаточности проведенных сопоставлений. Должна быть дана количественная оценка расхождения верификационных и расчетных данных, приведена погрешность расчетных параметров в заявленной области;
- результаты анализа разрывов моделируемых функций в рекомендуемой к сертификации области применения ПО КМ.
5.7.2 Результаты сопоставления данных, рассчитываемых с помощью ПО КМ, и верификационных тестов должны быть приведены на одном рисунке в одинаковом масштабе. Представление результатов в виде цветовой палитры допускается только для демонстрации графических возможностей ПО КМ.
5.8 В разделе "Валидация расчетной методики" должно быть приведено обоснование ПО КМ с точки зрения способности адекватно моделировать реальные процессы и объекты, для этого должны быть приведены:
- область моделирования и пределы применения ПО КМ;
- перечень заявленных к сертификации расчетных параметров и величины максимального отклонения этих параметров при различных параметрах моделирования;
- количественная оценка погрешностей моделирования.
5.9 В разделе "Матрица валидации" должна быть приведена матрица валидации ПО КМ.
Матрица валидации ПО КМ для каждого моделируемого объекта и/или его элемента представляется в виде таблицы и является иллюстрацией того, в какой области проведена валидация ПО КМ. В матрице валидации должны быть указаны:
- режимы, технологические процессы, и/или состояния объекта (и/или его элемента), и/или виды воздействия на объект, которые ПО КМ моделирует;
- подлежащие проверке физические явления и/или процессы, происходящие при приведенных в матрице валидации режимах, состояниях объекта (и/или его элемента) и/или видах воздействия на объект;
- экспериментальные и расчетные тесты, служащие для проверки ПО КМ, в которых воспроизведены приведенные в матрице валидации режимы, технологические процессы, и/или состояния объекта (и/или его элемента), и/или виды воздействия на объект, а также ЭУ или ИО, на которых экспериментальная проверка осуществлена.
Рекомендуемая структура матрицы валидации ПО КМ приведена в приложении Б.
5.9.1 Физические явления, и/или процессы, и/или виды воздействия, включенные в матрицу валидации, должны быть подробно описаны.
5.9.2 Должно быть приведено обоснование достаточности информации, включенной в матрицу валидации ПО КМ, для подтверждения адекватности полученных с применением ПО КМ расчетных значений параметров и их погрешностей в заявленном диапазоне применения ПО КМ.
5.10 В разделе "Описание валидационных расчетов" должен быть приведен перечень расчетных тестов, использованных для обоснования ПО КМ, и краткое (но достаточное для понимания) описание каждого из них со ссылкой на источник информации, в случае его подробного описания.
5.10.1 Должны быть указаны диапазоны и погрешности сопоставляемых расчетных параметров.
5.10.2 В качестве эталонных могут быть использованы результаты расчетов, выполненные с помощью сертифицированного ранее ПО КМ, и/или результаты, полученные на ЭУ (ИО).
5.11 Если для валидации ПО КМ использованы результаты, полученные на ЭУ (ИО), то должно быть приведено их описание в разделе "Описание экспериментальных установок и представление экспериментальных данных". В данном разделе должно быть приведено описание:
- ЭУ (ИО), а также представлены экспериментальные данные, используемые для валидации ПО КМ. Допускается описание ЭУ (ИО), выполненных на ней (нем) экспериментов или испытаний, и результаты валидации ПО КМ по этим экспериментам или испытаниям приводить в одном разделе;
- экспериментальных тестов, данных испытаний продукции (или ее элементов), архивов эксплуатационных измерений, используемых для валидации ПО КМ, а также описание каждой(го) ЭУ (ИО), на которой(ом) проводились эксперименты, используемые для валидации ПО КМ, со ссылкой на источники информации, где эти описания приведены подробно. Должна быть дана ссылка на сертификат ЭУ (ИО).
5.11.1 В том случае, если ЭУ (ИО) не сертифицированы, должны быть приведены их описания.
В описании ЭУ (ИО) приведены:
- принципиальная схема, обеспечивающая понимание сути эксперимента, испытания, явления и т.п., с указанием того, какие явления, процессы и/или элементы оборудования моделируются на ЭУ (ИО) и каким образом;
- схема измерений, содержащая сведения о числе, расположении, погрешности, динамических характеристиках и частоте опроса измерительных датчиков, а также сведения о погрешности вторичной измерительной аппаратуры;
- перечень и диапазоны измеряемых параметров, полные погрешности их измерения и сведения о метрологической аттестации системы измерений на ЭУ (ИО), сведения о соответствии программного обеспечения средств измерений требованиям ГОСТ Р 8.654, ГОСТ Р 8.883;
- сведения о представительности экспериментальных данных со ссылкой на литературные источники, где приведено обоснование достаточности числа проведенных опытов для получения достоверных экспериментальных зависимостей.
5.11.2 Если для валидации ПО КМ не использованы экспериментальные данные, этому факту должно быть дано соответствующее обоснование, то есть показано, что экспериментального обоснования не требуется (например, ПО КМ реализует аналитическое решение, экспериментов не существует по объективным причинам, которые должны быть приведены, и т.д.).
5.12 В разделе "Результаты валидации ПО КМ" должны быть приведены результаты валидации ПО КМ, а также их анализ.
5.12.1 В качестве результатов валидации ПО КМ и их анализа приводят:
- результаты сопоставлений расчетов, выполненных с помощью сертифицируемой версии ПО КМ, и данных экспериментов и/или расчетных тестов. Они должны быть ясно изложены с обоснованием и оценкой достоверности сопоставления. Следует указывать, в какой области не получено удовлетворительного совпадения результатов расчетов с применением ПО КМ и экспериментов и/или валидационных расчетов;
- обоснование полноты и достаточности проведенных сопоставлений. Должны быть приведены результаты статистического анализа сопоставления расчетных и экспериментальных зависимостей, дана количественная оценка расхождения или экспериментальных и расчетных данных, установлена погрешность расчетных параметров в заявленной области режимов и/или состояний объекта, обоснованы доказательства применимости ПО КМ для моделирования объекта (и/или его элемента).
5.12.2 Результаты сопоставления данных, рассчитываемых с помощью ПО КМ, и данных экспериментов и/или расчетных тестов должны быть приведены на одном рисунке в одинаковом масштабе. Представление результатов в виде цветовой палитры допускается только для демонстрации графических возможностей ПО КМ.
5.12.3 Для ПО КМ, используемого для расчетов в обоснование работоспособности объекта, должна быть указана и обоснована степень выполнения законов сохранения в случае их применимости. Для ПО КМ, предназначенного для проектных и/или эксплуатационных расчетов, должны быть указаны погрешности определения расчетных параметров.
5.13 В разделе "Перечень источников" должен быть представлен перечень имеющих официальные выходные данные документов (опубликованные материалы, отчеты организаций, официально зарегистрированные протоколы, проектная, конструкторская и эксплуатационная документация, сертификаты и т.п.), использованных для обоснования ПО КМ, в том числе требуемых для формирования блока исходных данных и выполнения расчетов.
5.14 В приложении к отчету о верификации и валидации ПО КМ могут быть представлены дополнительные материалы, необходимые для обеспечения полноты информации, приведенной в отчете о верификации и валидации ПО КМ.
5.15 Допускается включение в отчет о верификации и валидации ПО КМ дополнительной информации, являющейся, по мнению заявителя ПО КМ, существенной для обоснования работоспособности заявленных характеристик ПО КМ.
Приложение А
(рекомендуемое)
Структура матрицы верификации программного обеспечения компьютерного моделирования
Рассчитываемые параметры: (перечисление)
Методика расчета: (краткое название)
Характеристики расчетов: (краткая характеристика)
Матрица представлена в виде таблицы А.1.
Таблица А.1
Название теста | Диапазон изменения параметров | ||||||
Количество расчетов | Параметр 1 | Параметр 2 | Параметр | ||||
Значение 1 | Значение 2 | ... | Диапазон 1 | Диапазон 2 | ... | ||
Тест N 1 (характеристика теста, источник) | |||||||
Тест N 2 | |||||||
Примечание - В ячейках матрицы значком "+" или "-" указывают выполнение или отсутствие тестов, а также величину максимального расхождения результатов расчетов с тестом. | |||||||
Приложение Б
(рекомендуемое)
Структура матрицы валидации программного обеспечения компьютерного моделирования
Рассчитываемые параметры: (перечисление)
Методика расчета: (краткое название)
Альтернативное ПО КМ: (название(я) альтернативного ПО КМ, с которым проводилось сравнение)
Эксперименты: (перечисление экспериментов, использованных для валидации)
Характеристики расчетов: (краткая характеристика)
Структура матрицы приведена в таблице Б.1.
Таблица Б.1
Тип проверки результатов расчетов | Диапазон изменения параметров | ||||||||||||
Кол-во тестов | Режим | Экспериментальные данные | Параметр 1 | Параметр 2 | |||||||||
Сравнение с альтернативными ПО КМ | Тест N 1 (наименование ПО КМ, источник) | ||||||||||||
Тест N 2 | |||||||||||||
Сравнение с экспериментом | Эксперимент N 1 (название установки, источник) | ||||||||||||
Эксперимент N 2 | |||||||||||||
Примечание - В таблице Б.1 должны быть указаны:
а) отношение явлений к режимам:
1) "+" - имеет место и является определяющим,
2) 0 - частично встречается,
3) "-" - отсутствует;
б) воспроизведение режимов на ЭУ (ИО):
1) "+" - воспроизведены,
2) 0 - ограниченно воспроизведены,
3) "-" - не воспроизведены;
в) применимость экспериментальных данных:
1) "+" - применимы для проверки,
2) 0 - частично применимы для проверки,
3) "-" - не применимы для проверки.
УДК 001.4:004:006.354 | ОКС 01.040.01, 07.020, 07.030 | П80 |
Ключевые слова: компьютерное моделирование, программное обеспечение, сертификация, термины, определения | ||
Электронный текст документа
и сверен по:
, 2018