Из Википедии, свободной энциклопедии
Перейти к навигации Перейти к поиску

Приемочные испытания авиационной катапульты
Шесть главных зеркал космического телескопа Джеймса Уэбба готовятся к приемочным испытаниям

В технике и ее различных поддисциплин , приемочные испытания является проверка проводится с целью определить , есть ли требования к спецификации или договора выполнены. Он может включать химические тесты , физические тесты или тесты производительности .

В инженерных систем , она может включать в себя тестирование черного ящика , выполняемое на системе (например: часть программного обеспечения , много произведенных механических деталей или партии химических продуктов) до его доставки. [1]

В тестировании программного обеспечения , то ISTQB определяет приемочные испытания , как:

Формальное тестирование потребностей, требований и бизнес-процессов пользователя, проводимое для определения того, удовлетворяет ли система критериям приемлемости [2], а также для того, чтобы пользователь, клиенты или другой уполномоченный орган могли определить, принимать ли систему.

-  Стандартный глоссарий терминов, используемых при тестировании программного обеспечения [3] : 2

Приемочное тестирование также известно как приемочное тестирование пользователя (UAT), тестирование конечного пользователя, эксплуатационное приемочное тестирование (OAT), разработка на основе приемочного тестирования (ATDD) или полевое (приемочное) тестирование. Критерии приемлемости - это критерии, которым должна удовлетворять система или компонент, чтобы быть принятыми пользователем, покупателем или другим уполномоченным органом. [4]

Испытание дыма может быть использовано в качестве приемочного испытания перед введением сборки программного обеспечения для основного процесса тестирования. [ не проверено в теле ]

Обзор [ править ]

Тестирование - это набор действий, проводимых для облегчения обнаружения и / или оценки свойств одного или нескольких тестируемых элементов. [5] Каждый отдельный тест, известный как тестовый пример, выполняет набор предопределенных тестовых действий, разработанных для управления выполнением элемента тестирования для достижения целей тестирования; включая правильную реализацию, идентификацию ошибок, проверку качества и другие важные детали. [5] Тестовая среда обычно разрабатывается так, чтобы быть идентичной или максимально приближенной к ожидаемой производственной среде. Он включает в себя все средства, оборудование, программное обеспечение, микропрограммное обеспечение, процедуры и / или документацию, предназначенные или используемые для выполнения тестирования программного обеспечения. [5]

Тестовые примеры UAT и OAT идеально подходят для совместной работы с бизнес-клиентами, бизнес-аналитиками, тестировщиками и разработчиками. Важно, чтобы эти тесты включали как тесты бизнес-логики, так и условия операционной среды. Бизнес-клиенты (владельцы продуктов) являются основными участниками этих тестов. Поскольку условия испытаний успешно достигают своих критериев приемлемости, заинтересованные стороны уверены, что разработка идет в правильном направлении. [6]

  • Критерии приемлемого тестирования пользователей (UAT) (при гибкой разработке программного обеспечения ) обычно создаются бизнес-клиентами и выражаются на языке предметной области . Это тесты высокого уровня для проверки полноты пользовательской истории или историй, «проигранных» во время любого спринта / итерации.
  • Критерии эксплуатационных приемочных испытаний (OAT) (независимо от того, используется ли гибкая, итеративная или последовательная разработка) определяются с точки зрения функциональных и нефункциональных требований; охватывающие ключевые качественные атрибуты функциональной стабильности , портативности и надежности .

Процесс [ править ]

Набор приемочных тестов может потребоваться выполнить несколько раз, поскольку не все тестовые примеры могут быть выполнены в рамках одной итерации теста. [7]

Набор приемочных испытаний запускается с использованием предопределенных процедур приемочных испытаний, чтобы указать тестировщикам, какие данные использовать, пошаговые процессы и ожидаемый результат после выполнения. Фактические результаты сохраняются для сравнения с ожидаемыми. [7] Если фактические результаты соответствуют ожидаемым результатам для каждого тестового примера, тестовый пример считается пройденным. Если количество непроходящих тестовых случаев не превышает заранее установленный порог проекта, набор тестов считается пройденным. Если это так, система может быть либо отклонена, либо принята на условиях, предварительно согласованных между спонсором и производителем.

Ожидаемый результат успешного выполнения теста:

  • тестовые примеры выполняются с использованием заранее определенных данных
  • фактические результаты записываются
  • фактические и ожидаемые результаты сравниваются, и
  • определены результаты испытаний.

Цель состоит в том, чтобы обеспечить уверенность в том, что разработанный продукт соответствует как функциональным, так и нефункциональным требованиям. Цель проведения приемочного тестирования заключается в том, что после его завершения и при условии соблюдения критериев приемки ожидается, что спонсоры подпишут разработку / усовершенствование продукта как удовлетворяющую определенным требованиям (ранее согласованным между бизнесом и поставщиком / разработчиком продукта). .

Приемочное тестирование пользователей [ править ]

Пользовательское приемочное тестирование (UAT) состоит из процесса проверки того, что решение работает для пользователя. [8] Это не системное тестирование ( проверка того, что программное обеспечение не дает сбоев и соответствие задокументированным требованиям), а скорее гарантия того, что решение будет работать для пользователя (т. Е. Проверка того, что пользователь принимает решение); поставщики программного обеспечения часто называют это «бета-тестированием».

Это тестирование должно проводиться профильным экспертом (SME), предпочтительно владельцем или клиентом тестируемого решения, и предоставлять сводку результатов для подтверждения, чтобы продолжить после испытания или обзора. При разработке программного обеспечения UAT как один из заключительных этапов проекта часто происходит до того, как клиент или заказчик принимает новую систему. Пользователи системы проводят тесты в соответствии с тем, что происходит в реальных сценариях. [9]

Важно, чтобы материалы, предоставленные тестеру, были аналогичны материалам, которые будут у конечного пользователя. Тестировщикам должны быть предложены сценарии из реальной жизни, такие как три наиболее распространенных или сложных задачи, которые будут выполнять пользователи, которых они представляют. [ необходима цитата ]

UAT действует как окончательная проверка требуемой бизнес-функциональности и надлежащего функционирования системы, имитируя реальные условия от имени платящего клиента или конкретного крупного клиента. Если программное обеспечение работает должным образом и без проблем при нормальном использовании, можно разумно экстраполировать тот же уровень стабильности в производственной среде. [10]

Пользовательские тесты, обычно выполняемые клиентами или конечными пользователями, обычно не сосредотачиваются на выявлении простых косметических проблем, таких как орфографические ошибки, или на дефектах showstopper , таких как сбои программного обеспечения ; тестировщики и разработчики выявляют и исправляют эти проблемы на более ранних этапах модульного тестирования , интеграционного тестирования и тестирования системы.

UAT следует выполнять по тестовым сценариям. [ необходима цитата ] Сценарии тестирования обычно отличаются от системных или функциональных тестовых примеров тем, что они представляют собой путешествие «игрока» или «пользователя». Широкий характер сценария тестирования гарантирует, что основное внимание уделяется путешествию, а не техническим или системным деталям, избегая этапов тестирования «щелчок за щелчком», чтобы учесть различия в поведении пользователей. Сценарии тестирования можно разбить на логические «дни», в которые обычно меняются субъект (игрок / заказчик / оператор) или система (бэк-офис, клиентская часть). [ необходима цитата ]

В промышленности обычным UAT является заводское приемочное испытание (FAT). Этот тест проводится перед установкой оборудования. В большинстве случаев тестировщики проверяют не только соответствие оборудования спецификации, но и его полную работоспособность. FAT обычно включает проверку полноты, проверку соответствия контрактным требованиям, подтверждение функциональности (путем моделирования или обычного функционального теста) и окончательную проверку. [11] [12]

Результаты этих тестов вселяют в клиентов уверенность в том, как система будет работать в производственной среде. Также могут быть юридические или договорные требования для принятия системы.

Приемочные испытания при эксплуатации [ править ]

Операционные приемочные испытания (OAT) используются для проведения операционной готовности (предварительного выпуска) продукта, услуги или системы как части системы менеджмента качества . OAT - это распространенный тип нефункционального тестирования программного обеспечения , используемый в основном в проектах по разработке и сопровождению программного обеспечения . Этот тип тестирования фокусируется на эксплуатационной готовности системы к поддержке и / или к тому, чтобы она стала частью производственной среды.

Приемочное тестирование по экстремальному программированию [ править ]

Приемочные испытания это термин , используемый в гибкой разработки программного обеспечения методологии, в частности экстремального программирования , ссылаясь на функциональное тестирование в виде пользовательской истории командой разработчиков программного обеспечения на этапе реализации. [13]

Заказчик указывает сценарии для проверки правильности реализации пользовательской истории. У истории может быть один или несколько приемочных тестов, что бы ни потребовалось для проверки работоспособности. Приемочные испытания - это системные тесты черного ящика. Каждое приемочное испытание представляет собой некоторый ожидаемый результат от системы. Заказчики несут ответственность за проверку правильности приемочных тестов и проверку результатов тестов, чтобы решить, какие из неудачных тестов имеют наивысший приоритет. Приемочные испытания также используются в качестве регрессионных тестов перед выпуском в производство. Пользовательская история не считается завершенной, пока она не пройдет приемочные испытания. Это означает, что для каждой итерации необходимо создавать новые приемочные испытания, иначе команда разработчиков сообщит о нулевом прогрессе. [14]

Типы приемочного тестирования [ править ]

Типичные типы приемочных испытаний включают следующие

Приемочное тестирование пользователей
Это может включать заводские приемочные испытания (FAT), т. Е. Тестирование, проводимое поставщиком перед перемещением продукта или системы на место назначения, после чего приемочные испытания сайта (SAT) могут быть выполнены пользователями на сайте. [15]
Оперативно-приемочные испытания
Также известное как тестирование эксплуатационной готовности, это относится к проверке, выполняемой в системе, чтобы гарантировать, что процессы и процедуры существуют, позволяющие использовать и поддерживать систему. Это может включать проверки, выполняемые для средств резервного копирования, процедуры аварийного восстановления, обучение конечных пользователей, процедуры обслуживания и процедуры безопасности.
Приемочные испытания контрактов и нормативных документов
При приемочных испытаниях по контракту система проверяется на соответствие критериям приемки, задокументированным в контракте, прежде чем система будет принята. При приемочных испытаниях в соответствии с нормативными требованиями система проверяется на соответствие государственным и юридическим стандартам и стандартам безопасности.
Заводские приемочные испытания
Приемочные испытания, проводимые на объекте, на котором разрабатывается продукт, и выполняются сотрудниками организации-поставщика, чтобы определить, удовлетворяет ли компонент или система требованиям, обычно включая аппаратное обеспечение и программное обеспечение. [16]
Альфа- и бета-тестирование
Альфа-тестирование проводится на сайтах разработчиков и включает тестирование операционной системы внутренним персоналом, прежде чем она будет передана внешним клиентам. Бета-тестирование проводится на объектах клиентов и включает тестирование группой клиентов, которые используют систему в своих местах и ​​предоставляют отзывы, прежде чем система будет передана другим клиентам. Последнее часто называют «полевыми испытаниями».

Список фреймворков приемочного тестирования [ править ]

  • Concordion , Спецификация на примере (SbE) framework
    • Concordion.NET, приемочное тестирование в .NET
  • Cucumber , фреймворк приемочного тестирования для разработки на основе поведения (BDD)
    • Capybara, Фреймворк приемочного тестирования для веб-приложений Ruby
    • Behat, структура принятия BDD для PHP
    • Салат-латук, фреймворк принятия BDD для Python
  • Fabasoft app.test для автоматизированных приемочных испытаний
  • Платформа для интегрированного тестирования (Fit)
    • FitNesse , вилка Fit
  • Gauge (программное обеспечение) , среда автоматизации тестирования от Thoughtworks
  • iMacros
  • Веб-фреймворк ItsNat Java Ajax со встроенными серверными функциональными возможностями веб-тестирования.
  • Maveryx Test Automation Framework для функционального тестирования, регрессионного тестирования, тестирования графического интерфейса пользователя, тестирования на основе данных и без кода для настольных и веб-приложений.
  • Mocha , популярный фреймворк для веб-приемочных тестов, основанный на Javascript и Node.js.
  • Ранорекс
  • Робот Фреймворк
  • Селен
  • Спецификация на примере (Спецификации2)
  • Watir

См. Также [ править ]

  • Приемочный отбор
  • Пилот конференц-зала
  • Стадия развития
  • Динамическое тестирование
  • Инженерный валидационный тест
  • Тестирование в сером ящике
  • Разработка через тестирование
  • Тестирование белого ящика
  • Функциональное тестирование (производство)

Ссылки [ править ]

  1. ↑ Black, Rex (август 2009 г.). Управление процессом тестирования: практические инструменты и методы управления тестированием оборудования и программного обеспечения . Хобокен, Нью-Джерси: Уайли. ISBN 0-470-40415-9.
  2. ^ «критерии приемки» . Иннолюшн, ООО. 10 июня 2019.
  3. ^ «Стандартный глоссарий терминов, используемых при тестировании программного обеспечения, версия 3.2: Все термины» (PDF) . ISTQB . Проверено 23 ноября 2020 года .
  4. ^ Международный стандарт ISO / IEC / IEEE - Системная и программная инженерия . ISO / IEC / IEEE. 2010. С. Т., №., С. 1–418.
  5. ^ a b c ISO / IEC / IEEE 29119-1-2013 Разработка программного обеспечения и систем - Тестирование программного обеспечения - Часть 1 - Понятия и определения . ISO . 2013 . Проверено 14 октября 2014 года .
  6. ^ ISO / IEC / IEEE DIS 29119-4 Программное обеспечение и системная инженерия - Тестирование программного обеспечения - Часть 4 - Методы тестирования . ISO . 2013 . Проверено 14 октября 2014 года .
  7. ^ a b ISO / IEC / IEEE 29119-2-2013 Разработка программного обеспечения и систем - Тестирование программного обеспечения - Часть 2 - Процессы тестирования . ISO . 2013 . Проверено 21 мая 2014 года .
  8. ^ Cimperman, Rob (2006). Определение UAT: Руководство по практическим приемочным испытаниям для пользователей . Pearson Education. С. Глава 2. ISBN 9780132702621.
  9. ^ Гетем, Брайан; ван Хэмблинг, Полин (2013). Приемочное тестирование пользователей: пошаговое руководство . BCS Learning & Development Limited. ISBN 9781780171678.
  10. ^ Pusuluri, Nageshwar Rao (2006). Концепции и инструменты тестирования программного обеспечения . Dreamtech Press. п. 62. ISBN 9788177227123.
  11. ^ «Заводские приемочные испытания (FAT)» . Tuv.com. Архивировано из оригинала на 4 февраля 2013 года . Проверено 18 сентября 2012 года .
  12. ^ «Заводские приемочные испытания» . Inspection-for-industry.com . Проверено 18 сентября 2012 года .
  13. ^ «Введение в приемочные / клиентские тесты как артефакты требований» . agilemodeling.com . Гибкое моделирование . Проверено 9 декабря 2013 года .
  14. ^ Уэллс, Дон. «Приемочные испытания» . Extremeprogramming.org . Проверено 20 сентября 2011 года .
  15. ↑ Прасад, Дурга (29 марта 2012 г.). «Разница между FAT и SAT» . Kneat.com . Проверено 27 июля, 2016 .
  16. ^ «Стандартный глоссарий ISTQB терминов, используемых при тестировании программного обеспечения» . Проверено 15 марта 2019 года .

Дальнейшее чтение [ править ]

  • Хэмблинг, Брайан; ван Гетем, Полина (2013). Приемочное тестирование для пользователей: пошаговое руководство . Суиндон: ISBN BCS Learning and Development Ltd. 978-1-78017-167-8.

Внешние ссылки [ править ]

  • Руководство по разработке приемочных испытаний, разработанное Microsoft по шаблонам и методам
  • « Использование тестов клиентов для стимулирования разработки » от « Методы и инструменты»
  • " Acceptance TDD Explained " из " Методы и инструменты"