ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ
ГОСТ Р 59900— 2021
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании
Издание официальное
Москва Российский институт стандартизации 2021
Предисловие
1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования «Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. № 1622-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
© Оформление. ФГБУ «РСТ», 2021
Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии
II
ГОСТ Р 59900—2021
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании
Artificial intelligence systems. Typical requirements for check samples of initial data for testing artificial intelligence systems in education
Дата введения —2022—03—01
1 Область применения
Настоящий стандарт распространяется на технологии искусственного интеллекта в образовании и устанавливает типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании, построенных на основе алгоритмов машинного обучения и анализа данных.
2 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
2.1 образовательный продукт с алгоритмами искусственного интеллекта: Программно-техническая система, использующая алгоритмы искусственного интеллекта для решения различных задач в области образования.
2.2 гиперпараметры (в машинном обучении): Параметры системы искусственного интеллекта, значения которых задаются до начала обучения и не изменяются в процессе обучения.
Примечание -У системы искусственного интеллекта может не быть гиперпараметров.
2.3 обучающая выборка: Набор данных, на котором происходит обучение системы искусственного интеллекта.
2.4 валидационная выборка: Набор данных, на котором происходит оптимизация гиперпараметров системы искусственного интеллекта и выбор наилучшего алгоритма.
2.5 контрольная выборка: Набор данных, на котором происходит оценка качества работы системы искусственного интеллекта.
2.6 метрика (в машинном обучении): Функция количественной оценки качества работы алгоритмов искусственного интеллекта на некоторой выборке.
Примечание - При обучении систем искусственного интеллекта вычисляют значения метрик на обучающей, валидационной и тестовой выборках.
3 Общие требования к контрольным выборкам исходных данных
3.1 Репрезентативность
Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.
Издание официальное
Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.
Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки.
3.2 Ограничение в использовании контрольной выборки на этапе обучения системы
В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.
Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.
Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой.
3.3 Актуальность контрольной выборки
Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.
Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранным данными.
3.4 Повторное использование контрольной выборки
Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки.
4 Объекты данных в образовании
4.1 В зависимости от категории и назначения образовательного продукта с алгоритмами искусственного интеллекта наборы данных собираются в отношении следующих объектов и процессов:
- описание и программы образовательных дисциплин, учебно-методические материалы;
- характеристики участников образовательной деятельности;
- учебные действия и коммуникация участников образовательной деятельности (обучающийся, педагогический работник);
- операции взаимодействия с информационными системами участников образовательной деятельности, в том числе цифровая тень;
- продуктивные результаты образовательной деятельности (созданные артефакты, в том числе в цифровой форме);
- оценки действий и артефактов;
- показатели и характеристики среды обучения.
4.2 Для каждого типа объекта должен быть определен период изменений, необходимый для обеспечения актуальности данных в контрольных выборках.
Например, для образовательных программ, должен быть назначен период изменения, равный принятому сроку обновления образовательных программ.
4.3 Примеры видов наборов данных и требования к контрольным выборкам для каждой категории данных представлены в приложении А.
5 Требования к описанию контрольных выборок данных в образовании
5.1 Контрольные выборки данных должны иметь определенный набор метаданных. Данный набор можно определить в трех категориях:
- описательные метаданные, описывают содержание и состояние данных;
- технические метаданные, описывают технические особенности хранения и обработки данных;
- операционные метаданные, описывают процессы обработки данных и доступа к ним.
5.2 Технические и операционные метаданные контрольных выборок должны содержательно соответствовать метаданным обучающей и валидационной выборок, на которых производилось обучение системы искусственного интеллекта, а также метаданным данных, которые будут использоваться в процессе эксплуатации образовательного продукта с алгоритмами искусственного интеллекта. Примеры наборов соответствующих данных приведены в разделах 4—6 таблицы А.1 приложения А.
5.3 Описательные метаданные контрольных выборок данных в образовании должны содержать следующие характеристики:
- контекст сбора данных (название образовательной программы, учебного курса, мероприятия и др.);
- характер данных (описание и план деятельности, фактически осуществленная деятельность, оценка деятельности);
- источник данных (обучающийся, педагог и др.);
- вид данных (данные о характеристиках обучающегося и/или педагога, данные о деятельности);
- уровень данных о деятельности (деятельность, действие, операция);
- вид образования (общее образование, профессиональное образование, дополнительное образование и др.);
- уровень образования (дошкольное образование; начальное общее образование; основное общее образование; среднее общее образование; среднее профессиональное образование; высшее образование — бакалавриат; высшее образование — специалитет, магистратура; высшее образование — подготовка кадров высшей квалификации);
- возраст обучающихся;
- уровень подготовки обучающихся;
- особенности обучающихся.
Приложение А (обязательное)
Примеры наборов данных в образовании и требования к контрольным выборкам
Примеры наборов данных в образовании и требования к контрольным выборкам приведены в таблице А.1.
Таблица А.1- Примеры наборов данных в образовании и требования к контрольным выборкам
№ | Наборы данных | Требования к контрольной выборке |
1 | Описание курса и учебно-методические материалы | |
1.1 | Описание предмета/курса/тематического модуля в каталоге (содержит требования к участникам, количество контактных часов, зачетных единиц, тип и т.п.) | Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно |
1.2 | Структура активности | Выборка должна обеспечивать использование данных для привязки образовательных результатов к действиям пользователя |
1.3 | Образовательные результаты (разметка образовательных результатов) | Выборка должна содержать текстовые описания образовательных результатов. Выборка должна обеспечивать использование данных для соотнесения деятельности обучающегося с результатами обучения |
1.4 | Содержание образования | Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно |
1.5 | Правила оценивания | Выборка должна обеспечивать использование данных для контроля соответствия оценок образовательным результатам |
1.6 | Методика оценки/диагностики | Выборка должна обеспечивать использование данных для контроля выводов о достижении образовательных результатов или результатах диагностики |
2 | Данные о продуктивной деятельности обучающегося | |
2.1 | Запись о деятельности и результате деятельности (в привязке к образовательному результату) | Основная единица учета деятельности обучающегося. Выборка должна обеспечивать использование данных для демонстрации компетенций обучающегося |
2.2 | Созданные обучающимся артефакты (в процессе учебной/проектной деятельности) в привязке к деятельности и образовательному результату (презентации, конспекты, схемы, чертежи, исходные тексты программ, в том числе в цифровой форме) | Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций |
2.3 | Личный дневник обучающегося, дневник его проектной команды | Выборка должна обеспечивать использование данных для отслеживания прогресса и качества деятельности |
2.4 | Записи о прохождении командой значимых вех в проектной деятельности | Выборка должна обеспечивать использование данных для отслеживания прогресса и качества проектной деятельности, проявления командой проекта определенных компетенций, достижения результатов обучения |
3 | След оценки деятельности | |
3.1 | Набранные баллы (оценки за задание/урок/ тематический раздел/курс) | Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций |
Продолжение таблицы А. 1
№ | Наборы данных | Требования к контрольной выборке |
3.2 | Оценки обучающихся и отзывы | Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций |
3.3 | Обратная связь участников образовательного процесса (в том числе, рефлексия) | Выборка должна обеспечивать использование данных для формирования предположений об образовательных результатах, а также для оценки курсов/меропри-ятий/элементов курсов/личностного развития обученного |
3.4 | Экспертная оценка (свидетельства наблюдателей о проявлении навыков/компетенций) | Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций |
3.5 | Полученные сертификаты (в виде изображе-ний/документов) | Выборка должна обеспечивать использование данных для подтверждения прохождения обучения и формирования определенных компетенций обучаемых |
3.6 | Оценка артефактов, проектов | Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого |
3.7 | Достижение (получение статуса, бейджа и т.п.) | Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого |
4 | След взаимодействия | |
4.1 | Отдельные действия пользователя в системе, имеющие смысл с точки зрения обучения (просмотр видео, ответ на конкретный вопрос, запрос подсказки и т.п.) | Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также — для оценки учебного курса/ мероприятия |
4.2 | «Кликстрим» (нажатия кнопок, клики, переходы между страницами, скроллинг) | Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также — для оценки учебного курса/ мероприятия |
4.3 | Факты и содержание переписки в ИТ-системах (в т.ч. — активность пользователя в открытых системах, социальных сетях и т.п.) | Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе |
4.4 | Факты общения участников образовательной деятельности в очном взаимодействии | Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе |
4.5 | Отдельные события в системах проектной деятельности (создание задачи, изменение статуса задачи и т.п.) | Выборка должна обеспечивать использование данных для анализа поведения обучающегося или проектной команды |
5 | След состояния | |
5.1 | Изменение настроек и профиля в ИТ-системах | Выборка должна обеспечивать использование данных для анализа изменения поведения обучающегося, для анализа целей |
6 | След участия/мероприятия |
Окончание таблицы А. 1
№ | Наборы данных | Требования к контрольной выборке |
6.1 | Фиксация присутствия в определенном месте | Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций; также — для оценки учебного курса/ мероприятия |
6.2 | Фиксация факта использования содержания образования без подтверждающей продуктивной деятельности | Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций; также — для оценки учебного курса/ мероприятия |
6.3 | Состав и описание команд обучающихся при групповой/командной деятельности | Выборка должна обеспечивать использование данных для подтверждения участия в мероприятии |
6.6 | Проявленные роли обучающегося в командном взаимодействии | Выборка должна обеспечивать использование данных для подтверждения способности выполнения роли |
6.7 | Описание проекта | Выборка должна обеспечивать использование данных для выявления образовательных результатов, основанных на проектной деятельности |
7 | Целеполагание и продвижение по траектории | |
7.1 | Цели пользователя (декларируемые им самим) | Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогических работников |
7.2 | Рефлексия о достижении целей/продвижении | Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогов |
УДК 004.896:006.354
ОКС 35.240.90
Ключевые слова: технологии искусственного интеллекта, образование, требования, контрольные выборки, исходные данные, испытание систем искусственного интеллекта в образовании
Редактор Д.А. Кожемяк Технический редактор В.Н. Прусакова Корректор А. С. Черноусова Компьютерная верстка А.Н. Золотаревой
Сдано в набор 29.11.2021. Подписано в печать 22.12.2021. Формат 60x84%. Гарнитура Ариал. Усл. печ. л. 0,93. Уч.-изд. л. 0,70.
Подготовлено на основе электронной версии, предоставленной разработчиком стандарта
Создано в единичном исполнении в ФГБУ «РСТ» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.