Генеральный план тестирования и оценки ( TEMP ) является критическим аспектом управления проектами с участием сложных систем, которые должны удовлетворять требованиям спецификации. TEMP используется для поддержки программных событий, называемых контрольными решениями, которые разделяют отдельные фазы проекта. Для военных систем уровень финансирования определяет категорию приобретения и организацию, ответственную за решение вехи. [1] [2]
Матрица отслеживания , как правило , используется для связывания элементов в пределах TEMP к элементам в пределах спецификации .
Определение
Генеральный план тестирования и оценки документирует общую структуру и цели тестирования и оценки программы. [3] Он охватывает действия в течение жизненного цикла программы и определяет критерии оценки для тестировщиков. [4]
Генеральный план тестирования и оценки состоит из отдельных тестов. Каждый тест содержит следующее.
- Сценарий тестирования
- Сбор информации
- Оценка эффективности
Тестовый сценарий
Сценарий тестирования устанавливает условия тестирования. Обычно это связано с конкретным профилем миссии. Для военных систем это будет боевой сценарий, который может включать в себя испытание и оценку в реальном времени (LFT & E). Для коммерческих систем это будет включать особую ситуацию, связанную с использованием разрабатываемого объекта.
Например, работа в холодную погоду может потребовать оценки работы при температурах ниже C с использованием климатической камеры. Для оценки работы с автомобильным интерфейсом может потребоваться оценка совместимости с испытанием на вибрацию . Оценка интернет-магазина потребовала бы, чтобы система провела пользователя через покупку продукта, в то время как система загружена другим трафиком.
Сценарий тестирования определяет следующее.
- Предметы, необходимые для тестирования
- Инструкции по настройке элементов, которые будут использоваться во время теста
- Общее описание работы с тестируемой системой
- Конкретные действия и события, которые будут происходить во время теста
Сбор информации
Сбор данных определяет информацию, которая должна быть собрана во время теста. Это включает предварительную настройку перед началом теста. Это может включать подготовку к любому из следующих действий.
- Настройки тестируемой системы
- Отдельная аппаратура
- Письменные заметки от прямого наблюдения
- Сбор образцов
Системы, в состав которых входит компьютер, обычно требуют возможности извлекать и записывать определенные виды данных из системы, пока она работает нормально.
Электронный сбор данных может быть запущен и остановлен как одно из действий, описанных в сценарии тестирования.
Когда доступ к данным ограничен, поэтому для передачи данных между организациями может потребоваться план сбора данных . Это может происходить с засекреченными военными системами .
Данные анализируются после завершения тестирования. Этот анализ называется оценкой производительности.
Оценка эффективности
Меры эффективности - это особые метрики, которые используются для измерения результатов в общей миссии и выполнения поставленных задач.
Они могут иметь гибкие пределы производительности, связанные с результатом конкретного события. Например, первый выстрел, выпущенный из пушки, нацеленной с помощью радара, не повлияет на конкретное место, но положение может быть измерено с помощью радара, поэтому система должна иметь возможность произвести выстрел в определенном радиусе после нескольких выстрелов уволенный. Количество выстрелов, необходимых для попадания одного в лимит, - это МО. Радиус будет мерой производительности (MOP).
Показатели производительности - это особые показатели, которые должны быть удовлетворены пределом прохождения или неудачи. В спецификации они обычно обозначаются словами должен или должен .
Один из типов MOP - это расстояние, которое транспортное средство с определенным грузом должно пройти с определенной скоростью, прежде чем закончится топливо.
Другой тип MOP - это расстояние, на котором радар может обнаружить отражатель в 1 квадратный метр.
Показатели пригодности оценивают возможность поддержки в предполагаемой операционной среде.
Например, это может быть оценка среднего времени наработки на отказ (MTBF), которая оценивается во время другого тестирования. Система с чрезмерным количеством отказов может удовлетворять всем остальным требованиям и быть непригодной для использования. Пистолет, который заклинивает при загрязнении, не подходит для использования в военных целях.
Эти требования связаны с умениями.
- Надежность
- Доступность
- Ремонтопригодность
- Поддерживаемость
- Юзабилити
Цель
Результаты оценки TEMP используются для нескольких целей.
- Отказ: решение о прекращении финансирования
- Редизайн: решение о финансировании модификации и повторного тестирования
- Полноценное производство: решение о приемке финансирования
- Планирование миссии
Планирование миссии включает перевод MOE, MOP и MOS в следующее.
- Требуемые эксплуатационные возможности (ROC)
- Прогнозируемая операционная среда (POE)
- Диагностическое тестирование с помощью встроенного теста (BIT) или планового обслуживания
ROC и POE - это особые ожидания, оцениваемые TEMP, которые используются для определения того, как развертывать активы для удовлетворения конкретных требований миссии. Диагностическое тестирование гарантирует, что эти ожидания оправдаются на протяжении всей миссии.
Другое использование
Термин «генеральный план тестирования и оценки» в качестве отдельного общего руководства по функциям тестирования и оценки при разработке также использовался Министерством обороны Австралии. [5] Другие используют этот термин или аналогичные термины, такие как «Мастер-тест и план оценки».
Смотрите также
- Руководство по приобретению оборонных услуг (DAG), раздел 9 Тестирование и оценка
Рекомендации
- ^ «Включение тестирования и оценки в контракты на приобретение Министерства обороны США» (PDF) . Университет оборонных закупок.
- ^ «Процедуры и инструкции по генеральному плану тестирования и оценки» (PDF) . Университет Айдахо, Айдахо-Фолс.
- ^ «Генеральный план тестирования и оценки (TEMP)» . Дата обращения 6 апр 2016 .
- ^ «Тестирование и оценка, Генеральный план тестирования и оценки» . Дата обращения 6 апр 2016 .
- ^ «Испытания и оценка закупленного крупного оборонного оборудования» (PDF) . Национальное аудиторское управление Австралии. 24 января 2002 г. ISBN 0642-80612-8. Дата обращения 6 апр 2016 .