Обзор

В этой памятке по инструменту описывается процедура анализа результатов выполнения теста из Rational Test RealTime. Значения тестирования зачастую невозможно уточнить если результаты тестирования невозможно быстро и легко обработать и использовать.

Одновременное используя технологию вставки исходного кода и анализа исходного кода Rational Test RealTime может сфокусировать тестирование компонентов и анализ выполнения непосредственно на уровне исходного кода. Для обеспечения быстрой изоляции сбоев и облегчения и повышения эффективности работы со связанным исходным кодом добавлены следующие функции:

• исходный код можно открыть и изменить в текстовом редакторе Test RealTime.
• программы управления версиями (например, Rational ClearCase) для добавления и изъятия кода различных версий.
• программы управления изменениями (например, ClearQuest), доступные для отправки дефектов и запросов расширений.

Эти функции используются совместно с отчетами анализа, создаваемыми инструментами тестирования. Все ключевые функции Test RealTime - тестирование компонентов, тестирование системы, профилирование памяти, профилирование производительности, анализ данных о прогоне кода, трассировка выполнения, генерирование статических показателей - имеют выделенные отчеты. Эти отчеты cодержат информацию, извлеченную из файлов протоколов, создаваемых обработчиками исходного кода, инструментариями исходного кода, генераторами тестовых сценарией, компиляторами тестовых сценариев, портами целевого развертывания и генераторами отчетов. Эти файлы могут быть открыты автоматически Test RealTime после завершения выполнения, а также их можно открыть вручную.

Все отчеты доступны для немедленной обработки для диагностики неполадки и ее решения.

Типы отчетов

Ниже будет описан анализ отчетов для всех функций Test RealTime. При необходимости будут описаны различия в отчетах, вызванные разными применяемыми языками программирования:

• Тестирование компонентов и системы
• Профилирование памяти
• Профилирование производительности приложений
• Анализ данных о прогоне кода
• Трассировка выполнения
• Статические паказатели

Тестирование компонентов и системы

Для открытия этих отчетов с помощью вкладки Project Browser в Project Window в правой части пользовательского интерфейса Test RealTime щелкните правой кнопкой мыши на тестовом узле и выберите Показать отчет->Тест. Чтобы открыть эти отчеты с помощью меню Test RealTime выполните следующие действия:

1. Выберите элемент меню Файл->Обзор отчетов.
2. Выберите кнопку Добавить панель инструментов.
3. Выберите опцию Отчет из списка Тип файлов
4. Выберите файлы .xrd, соответствующие отчетам, которые требуется просмотреть
5. Нажмите кнопку Открыть

Чтобы открыть эти отчеты из командной строки, просто укажите файл .xrd в качестве параметра команды studio.

Отчет состоит из двух основных разделов - обзора и сведений.

• Обзор - в этом разделе содержатся такие сведения, как расположение файла отчета, время выполнения теста и общий подсчет удачных и неудачных тестов.
  
  
• Сведения о тестировании компонента - в этом разделе приведена информация о тес тируемомdrivers/services/functions/methods/procedures для тестирования компонентов. Для каждого элемента отчет содержит некоторую или всю указанную ниже информацию в зависимости от языка исходного кода и выбранных опций:
  • тестовый раздел, содержащий обзор теста и сведения о том, насколько успешно он выполнен
  • раздел значений переменных, содержащий полученное значение для каждой переменной
  • при выполнении анализа данных о прогоне кода в нем содержится подраздел о прогоне кода
  • дополнительная информация, касающаяся проверки контракта (подтверждения) и проверки запросов для C++ и Java
  
  
• Сведения о тесте системы - для тестов системы приводятся следующие сведения:
  • раздел Инициализация, содержащие описание шагов, выполненных при открытии соединения с тестируемым компонентом.
  • один или несколько разделов Сценарий, описывающих фактические выполненные тесты. Блоки сценариев могут быть вложенными.
  • раздел Завершение, содержащие описание шагов, выполненных при завершении соединения с тестируемым компонентом.
  
  

С помощью проводника Report Explorer пользовательского интерфейса Test RealTime можно перемещаться между тестовыми отчета ми (просто дважды щелкните на нужном узле); с помощью элемента меню Test Report и панели инструментов можно отфильтровать отчеты для просмотра только отчетов со сбоями. Разделы тестовых отчетов связаны гиперссылками с тестовым сценарием, просто щелкните правой кнопкой мыши на разделах, при наведении на которые указатель мыши принимает форму руки.

Подробные сведения о просмотре тестовых отчетов приведены в книге Rational Test RealTime - руководство пользователя в главе Автоматическое тестирование->Тестирование компонентов в разделах, касающихся тестовых отчетов.

Подробные технические сведения о работе с файлами отчетов приведены в книге Rational Test RealTime - справочник в разделах, касающихся различных генераторов тестовых отчетов. В частности обратитесь к странице Приложения->Типы файлов.

Профилирование памяти

отчеты профилирования памяти для всех поддерживаемых языков - C, C++ и Java - хранятся в файлах на базе XML в папке Project каталога TDP, в зависимости от языка.

Для открытия этих отчетов с помощью вкладки Project Browser в Project Window в правой части пользовательского интерфейса Test RealTime щелкните правой кнопкой мыши на тестовом узле и выберите Показать отчет->Профиль памяти.

Чтобы открыть эти отчеты с помощью меню Test RealTime выполните следующие действия:

1. Выберите элемент меню Файл->Обзор отчетов.
2. Выберите кнопку Добавить панель инструментов.
3. Выберите Профилирование памяти в выпадающем списке Типы файлов.
4. Выберите файлы, которые требуется просмотреть.
5. Повторите при необходимости шаги 2-4.
6. Нажмите кнопку Открыть в окне Браузер отчетов.

Чтобы открыть эти отчеты из командной строки просто укажите один или несколько нужных файлов в качестве параметров команды studio.

Отчет состоит из двух основных разделов - обзора и сведений.

• Обзор - гистограмма и раздел текстового отчета, отображающие общее число выделенных и освобожденных блоков и байт, а также максимальное число блоков/байт, выделенных в определенный момент времени.
  
  
• Сведения о C и C++ - перечислены все ошибки и предупреждения, со связанными стеками вызовов. Вызовы стека перечислены с последними вызванными функциями/методами, показанными вначале, все функции/методы в стеке вызовов связаны гиперссылками с исходным кодом.
  
  
• Сведения Java - список всех методов, содержащих выделенные объекты со времени последнего создания моментальной копии. Эта простая таблица содержит общее число объектов и связанных байтов, выделенных после создания последней моментальной копии для всех методов, а также общее число объектов и байт, выделенных каждым методом и его потомками (то есть дочерними методами).
  
  

С помощью проводника Report Explorer пользовательского интерфейса Test RealTime можно перемещаться между тестовыми отчета ми (просто дважды щелкните на нужном узле); с помощью элемента меню Test Report и панели инструментов можно отфильтровать отчеты для просмотра только отчетов со сбоями. Разделы тестовых отчетов связаны гиперссылками с тестовым сценарием, просто щелкните правой кнопкой мыши на разделах, при наведении на которые указатель мыши принимает форму руки.

Подробные сведения о просмотре отчетов профилирования памяти приведены в книге Rational Test RealTime - руководство пользователя, в главе Анализ выполнения->Профилирование памяти.

Подробные технические сведения о работе с файлами отчетов приведены в книге Rational Test RealTime - справочник в разделах, касающихся различных генераторов тестовых отчетов. В частности обратитесь к странице Приложения->Типы файлов.

Профилирование производительности приложений

Отчеты профилирования производительности для всех поддерживаемых языков - C, C++ и Java - хранятся в файлах на базе XML в папке Project каталога TDP, в зависимости от языка.

Для открытия этих отчетов с помощью вкладки Project Browser в Project Window в правой части пользовательского интерфейса Test RealTime щелкните правой кнопкой мыши на тестовом узле и выберите Показать отчет->Профиль памяти.

Чтобы открыть эти отчеты с помощью меню Test RealTime выполните следующие действия:

1. Выберите элемент меню Файл->Обзор отчетов.
2. Выберите кнопку Добавить панель инструментов.
3. Выберите Профилирование производительности в выпадающем списке Типы файлов.
4. Выберите файлы, которые требуется просмотреть.
5. Повторите при необходимости шаги 2-4.
6. Нажмите кнопку Открыть в окне Браузер отчетов.

Чтобы открыть эти отчеты из командной строки просто укажите один или несколько нужных файлов в качестве параметров команды studio.

Эти отчеты упорядочены следующим образом: в начале каждого отчета находится круговая диаграмма со сведениями обо всех функциях/методах (до 6), занимающих более 5% от общего времени выполнения. Внизу круговой диаграммы находится доступный для сортировки список функций/методов и связанных с ними статистических данных. При щелчке мышью на заголовке столбца список будет отсортирован по данному столбцу, при щелчке мышью на функции/методе будет показан соответствующий исходный код. Нет хороших или плохих значений - высокая продолжительность выполнения функции или время выполнения целевой функции и убывающей функции просто показывают потенциально неэффективные алгоритмы, требующие оптимизации.

Подробные сведения о просмотре отчетов профилирования производительности приведены в книге Rational Test RealTime - руководство пользователя, в главе Анализ выполнения->Профилирование производительности.

Подробные технические сведения о работе с файлами отчетов приведены в книге Rational Test RealTime - справочник в разделах, касающихся различных генераторов тестовых отчетов. В частности обратитесь к странице Приложения->Типы файлов.

Анализ данных о прогоне кода

Отчеты анализа данных о прогоне кода для всех поддерживаемых языков (C, C++, Ada и Java) хранятся в файлах XML в папке Project или TDP, в зависимости от языка.

Для открытия этих отчетов с помощью вкладки Project Browser в Project Window в правой части пользовательского интерфейса Test RealTime щелкните правой кнопкой мыши на тестовом узле и выберите Показать отчет->Профиль памяти.

Чтобы открыть эти отчеты с помощью меню Test RealTime выполните следующие действия:

1. Выберите элемент меню Файл->Обзор отчетов.
2. Выберите кнопку Добавить панель инструментов.
3. Выберите пункт Прогон кода из выпадающего списка Тип файлов.
4. Выберите файлы, которые требуется просмотреть.
5. Повторите при необходимости шаги 2-4.
6. Нажмите кнопку Открыть в окне Браузер отчетов.

Чтобы открыть эти отчеты из командной строки просто укажите один или несколько нужных файлов в качестве параметров команды studio.

Отчеты состоят из двух компонентов - Источник и Рейтинг.

• Источник - на вкладке Источник отображены для уровня сведений о прогоне кода:
  • При выборе корневой папки на вкладке Источник с помощью столбиковой диаграммы приводятся итоговые данные о прогоне кода.
  • При выборе в Окне отчета другого узла вкладка Источник использует цветовую информацию чтобы отобразить прогон кода. На вкладке Источник отображается информация, связанная с выбранным узлом.
  
  
• Рейтинг - на этой вкладке отображаются сведения о прогоне функциях/методах/процедурах в процентных значениях.
  
  

Подробные сведения о просмотре отчетов о прогоне кода приведены в книге Rational Test RealTime - руководство пользователя, в главе Анализ выполнения->Прогон кода.

Подробные технические сведения о работе с файлами отчетов приведены в книге Rational Test RealTime - справочник в разделах, касающихся различных генераторов тестовых отчетов. В частности обратитесь к странице Приложения->Типы файлов.

Трассировка выполнения

Отчеты о прогоне кода для всех поддерживаемых языков - C, C++ и Java - хранятся в файлах на базе XML в папке Project каталога TDP, в зависимости от языка.

Для открытия этих отчетов с помощью вкладки Project Browser в Project Window в правой части пользовательского интерфейса Test RealTime щелкните правой кнопкой мыши на тестовом узле и выберите Показать отчет->Профиль памяти.

Чтобы открыть эти отчеты с помощью меню Test RealTime выполните следующие действия:

1. Выберите элемент меню Файл->Обзор отчетов.
2. Выберите кнопку Добавить панель инструментов.
3. Выберите Файлы трассировки в выпадающем списке Типы файлов.
4. Выберите файлы, которые требуется просмотреть.
5. Повторите при необходимости шаги 2-4.
6. Нажмите кнопку Открыть в окне Браузер отчетов.

Чтобы открыть эти отчеты из командной строки просто укажите один или несколько нужных файлов в качестве параметров команды studio.

Отчет о трассировки выполнения является последовательной диаграммой для всех событий, произошедших при выполнении приложения или тестового кода. На этой диаграмме используются нотации, взятые из UML, соответственно, можно назвать ее диаграммой последовательностей на базе UML. Вертикальные линии являются генеральными линиями, представляющими экземпляры объектов Java. Самая первая генеральная линия, представленная рисунком, является "миром", то есть операционной системой. Горизонтальные линии соединяют генеральные линии между собой. Зеленые линии являются вызовами конструкторов, черные лини - вызовами методов, красные линии являются возвратами методов, а синие линии являются вызовами деструкторов, оранжевые линии представляют исключения. Если навести указатель мыши на любой вызов метода можно просмотреть полный текст. Все вызовы и выводы вызовов помечены системным временем. Все вертикальные и горизонтальные линии являются гиперссылками на соответствующий исходный код. С помощью пункта меню Трассировка выполнения->Фильтры можно создать фильтры, облегчающие управление отчетами трассировки выполнения.

Подробные сведения о просмотре отчетов трассировки выполнения приведены в книге Rational Test RealTime - руководство пользователя, в главе Анализ выполнения->Трассировка выполнения.

Подробные технические сведения о работе с файлами отчетов приведены в книге Rational Test RealTime - справочник в разделах, касающихся различных генераторов тестовых отчетов. В частности обратитесь к странице Приложения->Типы файлов.

Статические показатели

отчеты профилирования памяти для всех поддерживаемых языков - C, C++ и Java - хранятся в файлах на базе XML в папке Project каталога TDP, в зависимости от языка.

Для открытия этих отчетов с помощью вкладки Project Browser в Project Window в правой части пользовательского интерфейса Test RealTime щелкните правой кнопкой мыши на тестовом узле и выберите Показать отчет->Профиль памяти.

Чтобы открыть эти отчеты с помощью меню Test RealTime выполните следующие действия:

1. Выберите элемент меню Файл->Обзор отчетов.
2. Выберите кнопку Добавить панель инструментов.
3. Выберите пункт Показатель из выпадающего списка Тип файлов.
4. Выберите файлы, которые требуется просмотреть.
5. Повторите при необходимости шаги 2-4.
6. Нажмите кнопку Открыть в окне Браузер отчетов.

Чтобы открыть эти отчеты из командной строки просто укажите один или несколько нужных файлов в качестве параметров команды studio.

Отчет состоит из двух уровней - панели Файл и Объект:

• Панель Файл - при выборе корневой папки для каждого выбранного файла будет показан столбиковый график, содержащий от одного до семи показателя Halstead. Изменить определенный показатель можно с помощью меню. При выборе другого узла будут показаны другие статические методы, связанные с ним.
  
  
• Панель Объект - при выборе корневой папки будет показан график. На этом графике сравниваются определенные статические методы для каждой функции/метода, изменить их можно с помощью меню. При выборе другого узла будут показаны другие статические методы, связанные с ним.
  
  

Подробные сведения о просмотре отчетов статических показателей приведены в книге Rational Test RealTime - руководство пользователя, в главе Анализ выполнения->Статические показатели.

Подробные технические сведения о работе с файлами отчетов приведены в книге Rational Test RealTime - справочник в разделах, касающихся различных генераторов тестовых отчетов. В частности обратитесь к странице Приложения->Типы файлов.