Настройте среду тестирования и убедитесь, что все необходимые компоненты (аппаратное и программное обеспечение, инструменты, данные и т.д.) установлены, доступны и приведены в состояние готовности для выполнения тестирования. Обычно для этого требуется основная настройка среды (например, настройка реестра и файлов конфигурации), восстановление соответствующих баз данных в нужное состояние, настройка периферийных устройств (например, загрузка бумаги в принтеры). Некоторые задачи выполняются автоматически, тогда как некоторые требуют участия людей.

Для повышения эффективности работы настоятельно рекомендуется использовать инструменты поддержки среды, например, позволяющие создавать образ жесткого диска для последующего восстановления.

Задайте параметры выполнения дополнительных инструментов. В зависимости от сложности инструмента потребуется настроить разное количество параметров. Неправильная настройка параметров может снизить эффективность и ценность протоколов тестирования и других элементов. По возможности старайтесь сохранять эти параметры, чтобы повторно применять их на основе одного или нескольких заранее созданных профайлов. В случае с инструментами для автоматизированного тестирования может потребоваться настройка множества разных параметров, например, скорости выполнения.

При тестировании вручную это может быть связано с ведением протоколов, отслеживанием запросов изменений или созданием новой записи в системе поддержки для сохранения данных протокола. Необходимо создать имя, расположение и состояние протокола тестирования.

Если выполнение теста требует присутствия специалистов, комплект тестов можно выполнять по мере необходимости. В таких случаях при планировании следует учитывать расписание других испытателей, других членов коллектива и групп тестирования, которые работают с той же средой тестирования. В таких случаях для выполнения тестирования не требуется частая настройка среды.

Однако если планируется автоматизированное тестирование или если требуется координация нескольких тестов, выполняемых одновременно в разных системах, может понадобиться механизм автоматического планирования. Воспользуйтесь соответствующими функциями инструмента для автоматизированного тестирования или самостоятельно разработайте функции, которые могли бы выполнять планирование.

Выполнение набора тестирования отличается в зависимости от того, проводится ли тестирование вручную или автоматически. В любом случае комплекты тестов, разработанные при выполнении задач по реализации, используются для автоматизированных тестов или тестов, выполняемых вручную.

Тестирование завершается одним из следующих способов:

• Норма: все тесты выполнены с полным завершением, как планировалось.  
• С отклонением от нормы или преждевременно: тесты выполнены не до полного завершения, с отклонением от плана. Если тестирование завершается с отклонением от нормы, протоколы тестирования, на основе которых составляются результаты тестирования, могут быть нечитаемы. Необходимо определить причину неправильного завершения, при необходимости устранить недоработку и заново выполнить тесты.

Для восстановления прерванных тестов выполните следующие действия:

• Проверьте протоколы и другие выходные данные тестирования
• Исправьте ошибки
• Спланируйте и выполните повторное тестирование
• Вновь оцените выполнение комплекта тестов

Проверьте протоколы и другие выходные данные

Проверьте целостность и точность протоколов тестирования и других выходных данных. Найдите ошибки и проанализируйте их.

В случае автоматизированного тестирования различают два вида прерывания тестов, о чем необходимо знать:

• Отказ системы - система прекращает работу (отказывает сеть, сбои в аппаратном обеспечении и т.п.).
• Неполадки в тесте - какую-то часть теста из набора тестов нельзя выполнить, как планировалось.

В любом из этих двух случаев система проявляет следующие симптомы, указывающие, что выполнение тестов отклоняется от нормы:

• в процессе тестирования выполняется большое количество незапланированных действий или появляется большое количество лишних окон
• среда тестирования не реагирует на команды, работает медленно или находится в нежелательном состоянии (например, система не отвечает или произошел сбой).

Проанализируйте все симптомы и определите основную причину прерывания тестирования.

Исправьте ошибки

Ошибки можно обнаружить во входных данных, которые используются при тестировании, в самом тесте или в других местах, например, в среде тестирования или настройках инструментов тестирования. Часто исправление ошибки в одном месте требует также проверки остальных компонентов тестирования.

В процессе анализа неполадок можно обнаружить несколько недоработок, требующих исправления. Перед осуществлением необратимых исправлений в среде, в данных тестирования и в самом тесте рекомендуется восстановить каждый компонент теста в сохраненное состояние. Это гарантирует, что в сохраненное состояние среды не будут внесены нежелательные или неправильные исправления.

После внесения необходимых изменений сохраните тест и его резервную копию и при необходимости сохраните сопутствующие входные данные и среду тестирования.

Спланируйте и выполните повторное тестирование

Заново спланируйте и выполните комплект тестов. В зависимости от характера процесса восстановления (если оно необходимо) можно возобновить тестирование с того момента, на котором оно было прервано, а не начинать сначала. Обратите внимание, что для восстановления тестирования с момента, на котором оно было прервано, потребуется реализация и поддержка частичной процедуры восстановления.

Вновь оцените выполнение комплекта тестов

Убедитесь, что теперь комплект тестов выполняется до полного завершения. При сохранении неполадок выполните заново указанные выше шаги по восстановлению прерванных тестов до полного устранения всех неполадок.

После завершения тестирования необходимо проверить протоколы тестирования и убедиться, что указанные в них данные о сбоях, предупреждения и непредвиденные результаты не вызваны внешним воздействием (относительно тестов), например, неправильной настройкой среды или неверными входными данными.

К частым неполадкам автоматизированных тестов, выполняемых через графический интерфейс, относятся:

• Подтверждение тестирования выполняется неверно - это происходит при несовпадении реальных и ожидаемых результатов. Убедитесь, что методы подтверждения сосредоточены только на существенных компонентах и свойствах, и при необходимости внесите изменения.
• Появляются лишние окна графического интерфейса - это случается по нескольким причинам. Самая частая - когда активируется другое окно вместо ожидаемого или количество открытых окон графического интерфейса больше, чем должно быть. Убедитесь, что среда тестирована настроена и инициализирована правильно для выполнения теста.
• Не появляются нужные окна графического интерфейса - эта неполадка возникает, когда окно графического интерфейса, которое должно быть доступным (но необязательно активным), недоступно. Убедитесь, что среда тестирована настроена и инициализирована правильно для выполнения теста. Убедитесь, что недостающие окна удалены из целевого объекта тестирования.

Если неполадки возникают из-за ошибок, найденных в рабочих продуктах тестирования, или из-за неисправностей в среде тестирования, необходимо внести нужные исправления и заново выполнить тесты.

Если в протоколе тестирования указано, что неполадки возникают из-за существенных сбоев в целевых объектах тестирования, то выполнение считается завершенным.

(См. первый шаг) Затем нужно восстановить среду в ее исходное состояние. Обычно для этого требуется основная настройка среды (например, настройка реестра и других файлов конфигурации), восстановление соответствующих баз данных в сохраненное состояние и другие действия, например, загрузка бумаги в принтеры. Некоторые задачи выполняются автоматически, тогда как некоторые требуют участия людей.

Обновите отношения трассируемости с учетом требований трассируемости, указанных в плане тестирования. Для начала рекомендуется проанализировать вопрос трассируемости с учетом охвата тестирования. В общем случае рекомендуется измерять охват тестирования на основе факторов, обнаруженных при планировании тестирования.

По комплектам тестов можно определить тестовые наборы, которые они реализуют. По комплектам тестов можно также определить элементы требований, спецификации программного обеспечения, проектирования или реализации.

Независимо от того, какие отношения будут прослеживаться, необходимо обновлять статус отношений, установленных при реализации комплекта тестов.

По завершении тестирования рекомендуется подвести итог своей работы, и убедиться, то вы не просто потратили большое количество бумаги. Оцените качество проведенной работы и определите, завершена ли так, чтобы другие участники проекта могли использовать ваши результаты в своей деятельности. Для определения уровня качества и завершенности работы по возможности используйте контрольные таблицы RUP.

Для обзора результатов вашей работы пригласите людей, которые будут опираться на эти результаты при выполнении своих задач. Сделайте это тогда, когда у вас еще есть время внести изменения в соответствии с пожеланиями этих людей. Также оцените свою работу на фоне важнейших начальных рабочих продуктов и убедиться, что вы представили их точно и в полной мере. С этой точки зрения полезно также пригласить автора начального рабочего продукта для обзора вашей работы.

Не забывайте, что RUP строится на принципах итеративного метода, и что во многих случаях рабочие продукты со временем меняются. Не всегда необходимо и целесообразно создавать полностью сформированный рабочий продукт, если он будет использоваться только частично или вообще не будет использоваться в задачах, следующих непосредственно за его созданием. Велика вероятность того, что еще до начала использования рабочего продукта ситуация вокруг него изменится, предположения, на которых строилось его создание, окажутся неверными, и придется потратить дополнительные средства и усилия на его переработку. Старайтесь избежать ситуации, когда слишком много циклов отводится на формирование внешнего вида продукта в ущерб качеству его материалов. В проектах, где внешний вид играет важную роль и является одним из основных планируемых результатов, для работы над внешним видом рабочего продукта можно использовать административные ресурсы.