Как измерить результат и процесс в тестировании ПО

Чтобы отслеживать прогресс работы, приближаться к целям и поощрять сотрудников, в тестировании важно пользоваться метриками. Поговорим об одних из главных — метриках результата и процесса.

Когда вы выпускаете новый релиз и отдаете его клиентам, возникает закономерное желание оценить то, что получилось.

Здесь помогут метрики результата. Вот некоторые из них:

  • Реакции клиентов (пользователей, заказчиков).

продажи продукта;

— отзывы клиентов;

%  пропущенных дефектов — фиксируйте его в какой-либо браг-трекинговой системе с отдельной пометкой о том, что ошибка поступила от клиента.

% возвратов продукта.

Надо отметить, что первый и второй пункт не полностью зависят от вас. Например, продажи зависят и от маркетологов, рекламы, отзывы — от того, прислушивались ли к нам разработчики. Но вы, как команда тестирования, тоже внесли в это лепту, поэтому лишним такая метрика не будет.

  • Количество выпущенных хотфиксов — версий с исправлением ошибок. Чем меньше, тем лучше.
  • Затраты на техподдержку продукта.
  • Сроки, бюджет выпуска продукта и т.д. Посмотрите, уложились в них или нет. Хотя сроки зависят не только от тестировщиков, но все же их влияние на эти метрики довольно сильны.

Метрики процесса пригодятся, чтобы корректировать работу в будущем и оптимизировать ее еще до того, как проект будет завершен.

  • Ошибки.

количество. Общее число ошибок вам вряд ли что-то даст, поэтому лучше смотреть их распределение по приоритетам. Чего у вас больше — множества minor или более полезных major? 

Если анализировать ошибки по типам — юзабилити, нагрузочные  и т.д., то можно увидеть, какому типу тестирования вы уделяете больше внимания. 

Количество ошибок на тысячу строк кода (bugs/KLOC) — тоже интересная метрика, хотя и говорит больше о разработке, чем о тестировании.

качество ошибок. Параметр reject rate показывает, какое количество заведенных вами ошибок не пригодилось, не воспроизводилось, не было актуально и т.д. 

Выставление оценок ошибкам экспертами. Это помогает показать проблемные зоны в заведении ошибок. Лучше, если это будут делать разработчики — они оценят, насколько полезна, актуальна та или иная ошибка. Если разработчики по большей части оценивают качество ваших ошибок не очень хорошо, то можно поставить команде цель — повысить среднее качество ошибок.

Также это может помочь выявить проблемы с качеством заводимых ошибок у одного определенного сотрудника. Тогда уже потребуется индивидуальная работа.

Тестовое покрытие. Ответ на вопрос “А что вы протестировали?” от заказчика.

— покрытие требований. Для этого есть инструмент — матрица трассировки, однако он устарел и достаточно поверхностен.

Существуют также test-management систем. testlink, testrail, ситечко… В таких системах есть связь между требованиями  и тестами, и это позволяет вам  смотреть на наличие теста по требованиям.

покрытие кода (сode coverage). По нажатию кнопок в приложении показывает определенные ветки кода, в которые вы зашли, какие функции были вызваны. Процент покрытия кода позволяет анализировать, какой код не был вызван и почему. Повторный прогон покрытия кода показывает улучшение в процессе работы.

покрытие окружений (ОС, браузеры…).

  • Скорость тестирования.

скорость тестирования одной сборки.

скорость полного тестового цикла.

скорость заведения критических ошибок. В момент исправления ошибки разработчик может указать, в коммите от какого числа ошибка была занесена в продукт. Благодаря этому можно сравнить, когда ошибка была заведена и внесена в продукт.

эффективность планирования.  Затраты по факту и по плану, сроки по факту и по плану. Важно измерять обе эти метрики, так как это показывает ваши навыки оценки собственных сил. Часто бывает, что команда укладывается в сроки, но выходит за рамки бюджета, или же наоборот — пропускает сроки, зато укладывается в бюджет. 

Вот, пожалуй, основные способы измерить результат и процесс в тестировании.

Остались вопросы по применению метрик? Хотите узнать, как использовать их конкретно на своем проекте, как сделать работу команды продуктивнее?

Наш курс Школа Тест-Менеджеров, v.2.0 поможет вам в этом! За 9 недель вы не только получите ответы на вопросы по метрикам, но и прокачаете свой уровень управления командой, подкрепите теоретическую базу, что поможет наладить рабочий процесс и устранить недопонимания в команде.

Чтобы понять, подходит ли вам курс, пройдите этот тест.

Отзыв выпускника:

Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Метки
css (1)html (1)ISTQB FL (9)IT (2)Java для тестировщиков (1)Jedi Point (32)JSON (1)kaizen (2)Pairwise Testing (1)QA (25)REST API (1)selenium (1)SOAP UI (1)softskills тестировщика (9)SQA Days-25 (1)SQL в тестировании (7)TestSuites (1)XML (1)xpath (1)Анна Палей (1)Исследовательское тестирование (4)История успеха (21)Курс тестирования для начинающих (47)Мнемоники в тестировании (1)Наталья Руколь (3)Нина Агеева (6)Обучение тестированию (24)ПОИНТ (79)Роман Буданов (5)Сессионное тестирование (1)ТЗ (1)Таблица решений (1)Тест-анализ (5)Тест-дизайн (8)Тест-кейс (2)Тест-стратегия (1)Тест-туры (1)Тестирование usability (8)Тестирование ПО (44)Тестирование игр (5)Тестирование мобильных приложений (18)Тест менеджмент (6)Чек-лист в тестировании по (6)Чит-лист в тестировании (3)автоматизация тестирования (3)автотесты (1)английский для тестировщиков (12)аудит проекта (13)баг (3)багнапродакшене (1)введение в тестирование (2)виды тестирования (4)войти в айти (15)выгорание (2)граничные значения (1)гуманитарии в тестировании (1)декомпозиция (1)инструменты тестирования по (6)интервью с выпускником (25)как надо тестировать (3)как стать тестировщиком (6)клиент-серверная архитектура (1)комбинаторика в тестировании (1)мануальное тестирование (1)метрики тестирования (5)начать карьеру в IT (27)начинающий тестировщик (40)негативное тестирование (2)ограничения (1)оптимизация QA-процессов (4)организация тестирования (1)персонажи (1)планирование тестирования (1)профессия тестировщик (10)работа в QA (2)расписание (6)резюме (1)релокация (3)ручное тестирование (1)сертификация ISTQB FL (7)скринкаст (1)смена работы (28)создание и управление командой тестирования (4)сопроводительное письмо (1)тайм-менеджмент (1)тест-кейс (1)тест-менеджмент (10)тестирование безопасности (1)тестирование без требований (5)тестирование веб (24)тестовая стратегия (1)удаленная работа (5)управление требованиями (6)фреймворк тестирования (1)школа тест-аналитика (2)школа тест-менеджера (10)юзабилити (3)
С 23.08 по 10.11, ОНЛАЙН Зарегистрироваться