Системы отслеживания ошибок примеры

Выбираем подходящий баг-трекинг

Я общался с десятками QA-инженеров из разных компаний и каждый из них рассказывал о том, что у них используют разные системы и инструменты для баг-трекинга. Мы тоже пробовали несколько из них и я решил поделиться решением, к которому мы пришли.

Интро

Буду банален. Ошибки появляются и обнаруживаются на различных этапах процесса разработки. Поэтому можно разделить баги на категории, в зависимости от времени их обнаружения:

• Недоделки. Это ошибки, которые допустили разработчики, пока пилили новый функционал. Такие ошибки находят при исследовательском или приемочном тестировании новых фич на девелоперских стендах команд.
• Баги в регрессе. Это дефекты, которые находят ручные регрессионные тесты или автоматические UI и API тесты на стенде для интеграции кода. 
• Баги с прода. Это проблемы, которые нашли сотрудники или клиенты и обратились в службу технической поддержки.

С чего мы начинали, или Jira

Два года назад у нас была выделенная команда тестировщиков, которые вручную тестировали продукт после интеграции кода всех команд. До этого момента код проверялся разработчиками на девелоперских стендах. Ошибки которые находили тестировщики заносились в бэклог в Jira. Баги хранились в общем бэклоге и переезжали из спринта в спринт с другими задачами. Каждый спринт два-три бага доставались и чинились, но большинство оставалось на дне бэклога:

1. Одна из причин, по которой баги копятся в бэклоге  – они не мешают пользователям. У таких багов низкий приоритет и их не будут чинить.
2. Также, если в компании нет чётких и понятных правил заведения багов, тестировщики могут добавлять одну и ту же проблему несколько раз, потому что не смогли найти в этом списке уже добавленный баг-репорт.
3. Ещё одной причиной может послужить то, что на проекте задействованы неопытные тестировщики. Ошибка начинающих тестировщиков, заносить в баг-трекинг все баги найденные во время работы. Неопытные тестировщики считают целью тестирования  – поиск багов, а не предоставление информации о качестве продукта и предотвращение появления дефектов.

Приведу простой пример. При построении отчётов в полях ввода даты по умолчанию подставляется сегодняшний день. При изменении даты в попапе можно снова выбрать сегодняшний день и поле ввода даты очистится.

У меня есть подозрения, что за все время работы нашей сети, никто, кроме тестировщиков не воспроизводил эту ошибку. Такого рода ошибки и составляют большинство багов, которые не исправляются.

При таком подходе, когда заносятся все найденные баги, некоторые из них дублируются и большинство из этих багов не чинится возникают проблемы:

• Тестировщики демотивируются, так как ошибки которые они находят не исправляются разработчиками. Складывается ощущение, что работа не имеет смысла.
• Владельцу продукта сложно управлять бэклогом с большим количеством багов.

Прощай Jira, да здравствует Kaiten

Весной 2018 года мы отказались от Jira и перешли в Kaiten. Смена инструментов была вызвана причинами, о которых Андрей Арефьев написал в статье «Почему Додо Пицца стала использовать Kaiten вместо связки Trello и Jira». После перехода в Kaiten наш подход к работе с багами не изменился:

• Недоделки заносились на командные доски и разработчики самостоятельно решали чинить их или нет.
• Баги, которые нашли в регрессе (его проводила выделенная команда тестировщиков), чинили в релизной ветке и не релизили код, пока все проблемы не были исправлены. Мы решили, что логичнее вести и собирать информацию об этих проблемах в канале тестировщиков в Slack. Тестировщики писали сообщение, которое содержало легенду, список багов с логами и имена разработчиков, которые взяли задачу в работу. С помощью эмоджи меняли статус, а в трэдах обсуждали, прикладывали скрины, синхронизировались. Тестировщиков этот формат устраивал. Некоторым разработчикам не нравился такой способ, потому что в чате параллельно шла другая переписка и это сообщение уходило наверх и его не было видно. Мы его закрепляли, но это не сильно упрощало жизнь.

• Баги которые нашли на проде заносились в бэклог, Product Owner, расставлял приоритеты и выбирал те, которые будем чинить.

Время экспериментов, или нет

Мы решили поэкспериментировать с форматами и создали отдельную доску в Kaiten, на которой хранили баги и меняли статусы. Мы упростили заведение баг-репорта, чтобы тратить меньше времени. При добавлении карточки в Kaiten тестировщики помечали разработчиков. Об этом им на почту отправлялось уведомление. Мы вывели эту доску на монитор, который висел в проходе рядом с нашим рабочим местом, чтобы разработчики видели прогресс и процесс тестирования стал прозрачным. Эта практика тоже не прижилась, потому что основной канал общения  – Slack. Наши разработчики не проверяют почту часто. Поэтому это решение быстро перестало работать и мы снова вернулись к Slack.

Верните муравьишек

После неудачного эксперимента с доской в Kaiten, некоторые разработчики всё ещё были против формата с сообщением в Slack. И мы стали думать как трекать баги в слаке и решить проблемы, которые мешали разработчикам. В результате поисков наткнулись на приложение для Slack, Workast, которое помогает организовать работу с тудушками прямо в мессенджере. Мы подумали, что это приложение позволит управлять процессом работы с багами более гибко. У этого приложения были свои плюсы: смена статусов и назначение на разработчиков по одному нажатию кнопки, завершенные задачи скрывались и сообщение не разрасталось до огромных размеров.

Так выглядели решенные задачи в приложении Todo и просьбы вернуть «муравьишек». После окончания пробного периода приложения Workast мы решили от него отказаться. Потому что пользуясь этим приложением, мы пришли к тому же, что было во время, когда мы пользовались Jira. Оставались некоторые баги, которые кочевали в этом списке из регресса в регресс. И с каждой итерацией их становилось больше. Возможно, стоило доработать процесс работы с этим расширением, купить его и пользоваться, но мы этого не сделали.

Наш идеальный способ по работе с багами сейчас

В конце 2018 - начале 2019 года у нас в компании произошли ряд изменений, которые повлияли на процесс работы с багами.

Во-первых, у нас не стало выделенной команды тестировщиков. Все тестировщики разошлись в команды разработчиков, для усиления компетенции тестирования команд. Благодаря этому мы стали находить ошибки раньше, до того как произойдет интеграция кода команд.

Во-вторых, мы отказались от ручного регрессионного тестирования в пользу автоматического.

В-третьих, мы приняли «zero bug policy». В статье «#zerobugpolicy или как мы баги чиним» bevzuk подробно рассказывает как мы выбираем баги, которые чиним.

Сегодня процесс работы с багами выглядит следующим образом:

• Недоделки. Тестировщики сообщают о проблеме аналитикам или продакт менеджерам. Идут ногами, показывают, воспроизводят, объясняют как это повлияет на клиентов и решают нужно ли это починить до релиза или можно починить позже, а может даже и не стоит чинить совсем.
• Баги в регрессе, которые нашли автотесты, чинит команда, которая трогала этот участок системы и мы не релизим этот код, пока не решим проблему. Тестировщики фиксируют эти баги в произвольном формате в канале релиза в Slack.
• Баги с прода. Такие баги попадают напрямую к владельцам задач. Аналитики прогоняют ошибки по Матрице приоритетов бага и добавляют в бэклог либо фиксируют у себя, накапливая статистику обращений по этой проблеме.

Итоги

Коротко говоря, мы отказались в принципе от баг-трекинговой системы. С помощью такого подхода работы с багами мы решили несколько болей:

• Тестировщики не расстраиваются из-за того, что ошибки, которые они находят и заводят в баг-трэкинг не исправляются.
• Тестировщики не тратят время на заведение и полное описание багов, которые даже никто не прочтёт.
• PO проще управлять бэклогом, в котором нет мёртвого груза.

Я не хочу сказать, что трэкинг багов бесполезен. Баги которые мы берём в работу трэкаются как и любые другие задач. Но баг-трэкинговая система это не обязательный атрибут тестирования. Её не нужно использовать только потому, что используют большинство компаний и так принято в индустрии. Нужно «думать головой» и примерять инструменты к своим процессам и потребностям. Для нас идеально работать без баг-трекинговой системы сейчас. За пол года такой работы, мы ни разу не подумали о том, чтобы вернуться к ней и снова заводить все баги туда.

А как в вашей компании устроен процесс работы с багами?

• Что такое баг-трекер
• В чем польза
• Jira
• Trello
• Axosoft
• Backlog
• ReQtest
• Mantis Bug Tracker
• Bugzilla
• BugHerd

Программное обеспечение для отслеживания ошибок помогает упростить процесс исправления багов, делая разработку в целом более эффективной. В этой статье мы рассмотрим несколько систем для баг-трекинга, предлагаемых на рынке.

Что собой представляет система отслеживания ошибок?

Инструменты отслеживания ошибок (системы баг-трекинга) предназначены для систематической регистрации багов и прочих проблем и удобного управления жизненным циклом бага.

Среднестатистическая баг-трекинговая система имеет следующий функционал:

• создание тикетов с подробным описанием багов
• классификация и расстановка приоритетов в тикетах
• назначение тикетов конкретным специалистам
• отслеживание статуса бага на разных этапах
• удобный поиск, сортировка и составление баг-репортов
• аналитика и автоматическое формирование репортов.

Зачем нужна система отслеживания ошибок?

Баг-трекинговые системы упрощают отслеживание, классификацию и приоритизацию багов. Также они полезны для аналитики: с их помощью можно получить информацию, которая позволит повысить общую эффективность команды и потенциально оптимизировать затраты на разработку. К тому же баг-трекинговые системы упрощают коммуникацию между тестировщиками и разработчиками.

Обзор популярных систем отслеживания ошибок

JIRA

Инструмент отслеживания ошибок Jira был запущен в 2003 году. Со временем он превратился в систему управления проектами, широко используемую в agile-разработке. В частности, в Jira есть доски Scrum и Kanban, дорожные карты и многое другое. 

Что касается баг-трекинга, Jira предоставляет полный набор необходимых функций. 

✅ Плюсы:

• Пользователи могут создавать собственные фильтры и настраивать рабочие процессы
• Есть удобная система тикетов, позволяющая легко следить за ходом выполнения задач
• Доступ к отчетам с полезной информацией в режиме реального времени
• Интеграция с более чем 3000 приложений обеспечивает прозрачность конвейера разработки
• Jira идеально подходит для больших и удаленных команд
• Есть мобильное приложение, позволяющее получить доступ к системе в любое время

❌ Минусы:

• Пользователи отмечают, что UI сбивает с толку и порой сложен для понимания
• Функции репортов не учитывают все параметры, которые было бы полезно отслеживать
• Jira может оказаться дорогой для небольших команд
• Регистрация, настройка и устранение неполадок сложны

Jira предлагает три платных пользовательских плана с гибкими ценами. Также есть бесплатная пробная версия (7 дней).

Итог

Jira идеально подходит для гибкого управления проектами и ценится за свою функциональность. Но изобилие функций и расширений имеет и обратную сторону: инструмент сложно настраивать.

TRELLO

Как и Jira, Trello — это продукт Atlassian. Он хорошо подходит и для отслеживания ошибок, и для управления продуктами в целом. 

Изюминкой Trello является упор на визуализацию. Пользователи могут создавать доски для отдельных проектов. На этих досках они создают списки — с задачами, статусами и т. д. В каждом списке есть карточки для отдельных маленьких задач или, как в нашем случае, для багов. 

По своей сути Trello — это способ организации заметок на стене в цифровом пространстве.

✅ Плюсы:

• Интуитивно понятный интерфейс позволяет легко настроить инструмент
• Благодаря визуализации досок всем членам команды удобно отслеживать прогресс
• Каждая карточка может содержать много разной информации, включая подробные описания багов, мультимедийные файлы, комментарии и обсуждения и т. д.
• Пользователи могут назначать и переназначать задачи и управлять сроками их выполнения
• Также можно отслеживать показатели производительности, просматривать историю и активность для каждой карточки
• Trello поддерживает более 100 интеграций с другими инструментами, включая Confluence, Slack, Google Drive и Dropbox
• Доступно мобильное приложение

❌ Минусы:

• Иногда в Trello невозможно загрузить изображения с высоким разрешением
• Десктопные приложения работают только при подключении к Интернету
• Техническая документация непонятна, поэтому процесс настройки многим кажется сложным
• При использовании для крупных проектов доска становится сложной для навигации

Trello предлагает два коммерческих плана: для сравнительно небольших команд (до 100 человек) и для совместной работы нескольких команд (100+ пользователей). Есть и бесплатная версия, дающая доступ к базовому функционалу. 

Итог

Trello — простое и доступное решение для небольших проектов. Но если у вас масштабный проект с обилием информации, Trello может быть не так полезен. Имейте в виду, что это в первую очередь инструмент управления проектами, а не баг-трекинговая система. 

AXOSOFT 

Axosoft — это инструмент для гибкого управления багами. Его основными особенностями являются доска планирования Scrum и диаграмма сгорания задач, управление требованиями и вики-страницы для сбора знаний о продукте и идей. 

✅ Плюсы: 

• Простота использования
• Пользователи могут автоматически превращать электронные письма в тикеты службы поддержки
• Папки проекта помогают упорядочить информацию и упростить ее поиск
• Есть возможность создавать настраиваемые поля и правила
• Ход процесса исправления багов можно отслеживать в режиме реального времени
• Легкое переключение между двумя доступными режимами просмотра (Kanban и список)
• Функция тайм-трекинга полезна для планирования спринтов и управления командой
• Пользователи могут создавать вики-страницы для тест-кейсов и документации
• Есть API для интеграции Axosoft с программами для управления тестированием и другими инструментами

❌ Минусы: 

• Пользовательский интерфейс несколько запутан, из-за чего новичкам сложно ориентироваться
• Пользователи сообщают о проблемах с фильтрацией, созданием репортов и потерянными задачами
• Сообщество пользователей невелико, а служба поддержки часто неэффективна и реагирует медленно

Продукт платный, есть разные планы подписки. Также есть 14-дневная бесплатная версия и 30-дневная гарантия возврата денег для пользователей, которые не удовлетворены продуктом. 

Итог

Это инструмент для баг-трекинга и отслеживания спринтов, который подойдет agile-командам. Он предлагает информацию, полезную для планирования спринта, и позволяет создать внутреннюю базу знаний. 

BACKLOG

Backlog — это комплексное ПО для управления проектами с функцией баг-трекинга. Эту программу можно использовать для управления задачами, клиентами и рабочими процессами, контроля версий, совместной работы в команде и многого другого.

Что касается отслеживания ошибок, то с помощью Backlog легко сообщать о багах и отслеживать их жизненный цикл. 

✅ Плюсы: 

• Простота использования, интуитивно понятный интерфейс, благодаря чему кривая обучения минимальна
• В тикеты можно добавлять подробные описания и вложения, необходимые для устранения багов
• Пользователи могут расставлять приоритеты, назначать тикеты членам команды, а также устанавливать и изменять сроки
• Легко управлять задачами, группируя их или создавая персонализированный список наблюдения
• Ветки комментариев позволяют отслеживать обсуждения, изменения и решения
• Члены команды получают уведомления обо всех добавлениях, изменениях статуса, комментариях и т. д. 
• Можно включить пользователей в уведомления об устранении багов, даже если не вы создали тикет и не вам его назначили
• Как и в Axosoft, есть возможность создавать вики-страницы для обмена знаниями
• Backlog предлагает готовые интеграции с различными инструментами коммуникации и разработки. Также пользователи могут создавать API для подключения Backlog к другим инструментам, если нет интеграции по умолчанию. 

❌ Минусы: 

• Интеграция с Git не слишком хороша, в результате бывают задержки в работе
• Фильтрация немного запутана, поэтому пользователи не всегда получают релевантные результаты
• Невозможно назначить задачу более чем одному пользователю. Альтернативное решение — создание подзадач, а это влияет на эффективность. 
• Нужно заново настраивать уведомления об обновлениях статуса для каждого изменения. 
• Новые пользователи ценят простоту этого инструмента, но со временем сталкиваются с нехваткой функций. 

Backlog предлагает несколько пользовательских планов, а также бесплатную версию (один проект с участием до десяти пользователей и 100 МБ дискового пространства). 

Итог

Backlog — это многофункциональный инструмент, который хорошо подходит для командной разработки ПО. Платформа простая в использовании, но эта простота — палка о двух концах. Со временем пользователи могут обнаружить, что функциональность ограничена. 

REQTEST

ReQtest — это не только облачная система отслеживания проблем, но и программное обеспечение для управления требованиями с выделенным модулем баг-репортов. 

Изюминкой этого инструмента является полная отслеживаемость требований, включая сопоставление багов, тестов и исправлений со спецификациями продукта. 

ReQtest предоставляет расширенные возможности для совместной работы, прозрачность и удобные репорты. 

✅ Плюсы: 

• Приложение интуитивно понятное и логичное, поэтому его легко установить, настроить и использовать
• Модуль управления требованиями позволяет сортировать иерархию спецификаций, упрощая установку приоритета багов и напрямую связывая требования с тикетами
• Есть модули, позволяющие пользователям мгновенно писать тест-кейсы 
• Пользователи могут настраивать параметры и поток, создавая необходимые категории и поля
• Можно копировать незавершенные задачи из текущего спринта в следующий
• Есть десктопное приложение для «поимки» багов на скриншотах и видео
• Инструмент интегрируется с Jira, что еще больше упрощает сотрудничество между командами

❌ Минусы: 

• Ограниченные возможности настройки уровней пользователей и предоставляемых прав
• Трудно организовать тест-кейсы в рамках тестовых прогонов
• Слишком мало интеграций с другими инструментами
• Дизайн и UX можно и улучшить

ReQtest предлагает два платных плана и бесплатную 10-дневную пробную версию с доступом ко всем функциям. 

Итог

ReQtest может быть идеальным  решением для команд, ориентированных на требования. Модуль баг-трекинга имеет нужный функционал, а приложение для отслеживания ошибок — огромный бонус. Цена ReQtest немного больше, чем у большинства других систем баг-трекинга, но пользователи уверяют, что функциональность того стоит. 

MANTISBT

Mantis Bug Tracker — это инструмент с открытым исходным кодом, написанный на PHP. Несмотря на довольно простой внешний вид, он достаточно функционален и предлагает все необходимые функции для отслеживания ошибок. 

Этот инструмент работает с различными базами данных, интегрируется с чатами и тайм-трекерами. Также его можно кастомизировать, добавив свой код. 

✅ Плюсы: 

• Поскольку код открыт, вы можете изменять все, что вам не нравится, добавлять функции, которые команда сочтет полезными, и подгонять инструмент под любую бизнес-логику.
• Используя базовую версию, можно отслеживать несколько проектов
• Легко создавать новые проекты и массово добавлять новых пользователей, а также отслеживать жизненный цикл багов
• Можно добавлять очень подробные описания багов, прикреплять скриншоты и документы
• Визуализация хорошая: можно видеть четкую картину приоритетов и статусов багов
• Рабочие процессы и доступ к проектам легко настраиваются
• Пользователи могут просматривать назначенные кому-либо тикеты, чтобы отслеживать  эффективность
• Фильтры продуманы до мелочей и очень практичны

❌ Минусы: 

• Пользовательский интерфейс и дизайн устарели. Они громоздки и часто сбивают с толку, что приводит к длительному обучению и частым жалобам со стороны пользователей, особенно тех, у кого нет технического образования
• Пользователи часто испытывают трудности с настройкой
• Есть сообщения о неприятных проблемах с тайм-аутом, которые требуют перезагрузки страницы и приводят к потере уже введенных данных
• Некоторые вкладки не имеют фильтров, что затрудняет доступ к необходимой информации.
• Нет уведомлений о приближающихся дедлайнах по тикетам, так что сроки нужно контролировать вручную
• Интеграция с другими системами работает с задержками или сложна в настройке

MantisBT — это бесплатный инструмент. Дополнительные функции предоставляются платно. 

Провайдер также предлагает MantisHub — SaaS с большим количеством функций и несколькими тарифными планами. Баг-трекер — один из элементов его функциональности. 

Существует также бесплатная пробная версия MantisHub, хотя ее продолжительность не указана. 

Итог

MantisBT — широко известное и используемое решение с открытым исходным кодом. Инструмент имеет некоторые недостатки, но, с другой стороны, обеспечивает гибкость и возможности настройки. MantisBT также можно использовать для управления проектами.

BUGZILLA 

Bugzilla — одна из самых известных программ для отслеживания ошибок с открытым исходным кодом. Эта программа была представлена Mozilla еще в 1998 году. 

Bugzilla ориентирована исключительно на отслеживание ошибок и предлагает все инструменты и функции, необходимые для этого процесса. Программа широко используется небольшими компаниями и корпорациями. 

Плюсы: 

• Система легко настраивается, проста в установке и обслуживании
• Форма баг-репортов имеет все необходимые функции и поля для подробного описания бага
• Легко отслеживать ход исправления и жизненный цикл бага в целом
• Пользователи могут просматривать историю issue и получать уведомления по электронной почте при любых изменениях статуса
• Функция поиска позволяет находить issues по ключевым словам
• Пользователи могут оставлять комментарии в отдельных темах под каждым багом
• Инструмент автоматически обнаруживает повторяющиеся баги и сообщает о них
• Баг-репорты можно настроить в привязке к различным факторам 

❌ Минусы: 

• Иногда приложение тормозит
• Трудно переходить на новые версии
• Нет поддержки agile-разработки
• Интерфейс устарел, поэтому визуально не привлекателен и не очень удобен для пользователя 
• Крутая кривая обучения: пользователи с нетехническим образованием могут столкнуться с трудностями
• Прикладывать можно только изображения (по одному за раз)

Bugzilla доступна бесплатно. Пользователи также могут получить бесплатную поддержку. Если вам нужна поддержка более высокого уровня, ее предоставляют подрядчики, перечисленные на сайте Bugzilla. 

Итог

Bugzilla — это хорошее решение с открытым исходным кодом, имеющее все основные функции системы отслеживания ошибок.  Но пользователи должны быть готовы столкнуться с устаревшим интерфейсом и некоторыми сложностями настройки. В целом, это неплохая баг-трекинговая система. 

BUGHERD

BugHerd — это простая система отслеживания ошибок, применяемая в основном при тестировании сайтов. Изюминкой этого инструмента является его  визуализация, напоминающая доску с заметками. 

BugHerd устанавливается при помощи расширения или однострочного JavaScript-тега. Система размещается поверх сайта в качестве виртуального слоя. Пользователи могут закреплять комментарии со своими отзывами на веб-страницах, что упрощает обнаружение и исследование багов. Это также помогает поддерживать непрерывный рабочий процесс и эффективно общаться с членами команды. 

Плюсы: 

• Интерфейс интуитивно понятен и прост.
• Репорты тоже очень простые. Инструмент собирает информацию, необходимую команде для воспроизведения и исправления багов (браузер, ОС, данные селектора CSS и т. д.), и автоматически делает снимки экрана с точно определенной областью, в которой обнаружен дефект
• Пользователи управляют багами с помощью доски задач в стиле Kanban
• Легко поддерживать порядок в тикетах при работе над несколькими проектами 
• Инструмент обеспечивает эффективное сотрудничество независимо от размера команды
• BugHerd интегрируется с различными инструментами управления проектами и разработки

❌ Минусы: 

• На досках отсутствуют настраиваемые столбцы
• Интеграция с мобильными устройствами слишком медленная
• Отсутствует опция сортировки столбцов по пользователям (есть только по проектам)
• Инструмент часто обновляется, и иногда могут возникать сбои

BugHerd  имеет несколько вариантов ценообразования. Каждый из них предлагает разное количество пользователей и немного различающиеся функциональные возможности. Есть также 14-дневная бесплатная пробная версия. 

Итог

BugHerd имеет выдающиеся функции визуальной отчетности, которые делают его отличным инструментом для совместной работы и обратной связи при тестировании сайта. С его помощью сообщать о багах очень просто. Серьезных жалоб или негативных отзывов о BugHerd нет, но некоторым пользователям не хватает функционала. 

Зачем нужен? Для того чтобы максимально повысить эффективность своей работы, тестировщик, программист или целая фирма по разработке программного обеспечения используют в своей работе различные программы. Одной из них является баг-трекер. Он помогает выявлять и отслеживать ошибки в программах и кодах.

Что дает? Вопрос о том, как упорядочить данные, касающиеся многочисленных задач, проектов и клиентов, становится все более актуальным. Чтобы вести учет рабочего времени и обеспечить всесторонний обзор для определения приоритетов, отлично помогают баг-трекеры.

Понятие баг-трекера

Система отслеживания ошибок (от англ. bug tracking system) является программным продуктом, предназначенным для помощи проектировщикам ПО при поиске и анализе ошибок кода.

В качестве основного элемента баг-трекера выступает база данных, в которой аккумулированы сведения обо всех найденных ошибках. Примерная структура этого хранилища информации:

• автор сообщения о возникшей проблеме;
• дата и время обнаружения;
• степень критичности ошибки;
• проявление бага при запуске приложения;
• корректировщик, занимающийся оптимизацией кода и устранением проблемы;
• состояние ошибки.

Скачать
файл

При использовании bug tracking system применяется принцип «жизненного цикла» ошибки, который фиксируется по условиям возникновения проблемы. Система, в зависимости от реализации, может содержать функционал, позволяющий администратору ограничивать доступ к просмотру и редактированию кода, изменять состояние ошибки и удалять их.

Систему отслеживания ошибок можно также применять в корпоративной среде. В этом случае задействуется функция оценки продуктивности программистов. Тем не менее это использование баг-трекера не всегда эффективно по причине того, что ошибки имеют различное происхождение и сложность. При этом усилия, затраченные на устранение проблемы, не всегда адекватны ее серьёзности. Иногда на поиск и устранение легкой ошибки требуется много времени и напряженного труда.

Жизненный цикл бага

Обычно bug tracking system использует кокой-либо из вариантов «жизненного цикла» ошибки. Статус бага определяется текущим состоянием.

Рассмотрим классический жизненный цикл дефекта:

1. Новый — ошибка выявлена при тестировании.
2. Назначен — определен специалист, отвечающий за нивелирование бага.
3. Разрешён — дефект возвращается для повторной работы тестировщика. Обычно дается комментарий, содержащий следующую информацию:
   • откорректировано (исправления входят в патч или новую версию программного продукта);
   • дубль (обнаружен повтор ошибки, над устранением которой уже проводится работа);
   • не исправлено (дефект незначительный, не влияющий на работоспособность, исправление отложено до выхода следующей версии и т.д.);
   • невоспроизводимо (не удается выявить баг; происходит запрос об условиях возникновения ошибки).
4. Тестировщик повторно проверяет исправленную версию кода, если ошибка воспроизводится, то баг повторно получает статус «назначен». В случае успешного прохождения теста – статус «закрыт».
5. Запись «открыт вторично» означает наследование ошибки в новой версии программного продукта.

Как уже упоминалось, баг-трекер дает администратору возможность гибкой настройки доступа пользователей к просмотру и редактированию кода.

Система обнаружения ошибок в современных условиях просто необходима для построения правильного процесса тестирования, и ни один QA-инженер вне зависимости от своего опыта не обходится без нее в своей деятельности. На данный момент существует множество самых различных баг-трекеров. Выбор из такого разнообразия зачастую сопряжен с определенными трудностями.

Баг-трекинговые системы

Все изобилие bug tracking system подразделяются на две категории – лицензионные и бесплатные. Несмотря на то, что тариф free предлагает немного урезанный функционал и некоторые ограничения, тестировщики охотно используют такие системы в своей повседневной практике. Произведем сравнение баг-трекеров, наиболее эффективных с точки зрения QA-инженеров.

Redmine

Основные характеристики:

• Абсолютно бесплатная система с открытым исходным кодом.
• Интуитивно-понятный удобный интерфейс с поддержкой 34 разных языков (в том числе и русского).
• Возможность планирования с помощью диаграммы Ганта.

Redmine – больше, чем просто баг-трекер. Это полноценное решение для управления проектами, что делает систему такой же популярной, как Jira. Программа написана на языке Ruby и совместима с Microsoft SQL, MySQL, PostgreSQL и SQLite.

Отчет ошибок доступен для просмотра любым пользователем, которого добавили в проект со статусом «наблюдатель». Система поддерживает несколько баз данных с учетом временных затрат. Очень удобно реализована функция планирования и отслеживания задач при помощи диаграммы Ганта.

Среди недостатков можно отметить: недостаточную развитость механизма предоставления прав пользователя и отсутствие оповещения об изменениях в документе.

Mantis

Также является бесплатным инструментом. Весьма лаконичное простое приложение, доступен как Web-интерфейс, так мобильная версия. Среди достоинств выделяют поддержку time tracking, доступ к истории изменений проекта, наличие многофункциональной мобильной версии, множество плагинов, позволяющих значительно расширить возможности программы.

К недостаткам относятся скудный аскетичный интерфейс, возможность создания только одного скриншота к отчету об ошибке, отсутствие автоматического отслеживания дефектов.

Яндекс.Трекер

Платный сервис, но предоставляет доступ к функционалу в ознакомительных целях на 30 дней, по истечении которых пользователю необходимо будет приобрести лицензию. В работе используется методология Agile, предполагающая определенную гибкость при работе над проектами. Участникам доступно создание задач с описанием, а также есть возможность назначения исполнителей и наблюдателей.

Bugzilla

Mozilla Foundation разработала это приложение еще в 1998 году. Bugzilla является одним из самых популярных сервисов по отслеживанию ошибок. Программа имеет открытый исходный код. Перечислим основные функции этого баг-трекера:

• Формирование подробного отчета с возможностью наглядного представления информации в виде графиков, диаграмм, таблиц. Поддерживается конвертация в CSV, что дает возможность вносить свои изменения.
• Поддержка расширенных поисковых запросов.
• Наличие корректора исправлений.
• Возможность наблюдения за действиями других пользователей при наличии соответствующих прав доступа.
• Отслеживание времени.
• Гибкость при настройке полей и рабочих процессов.
• Опция проверки работоспособности позволяет вам сканировать свою базу данных для получения баг-репорта с предложениями по устранению ошибок.
• Поддержка плагинов и хорошие возможности интеграции с другими платформами, позволяющие использовать приложение в веб-обозревателях, почтовых клиентах и сервисах управления проектами.

Программа Bugzilla написана на языке Perl. Имеет полную совместимость с такими базами данных, как Oracle, MySQL и PostgreSQL. Несмотря на то, что разработчики программы для получения наилучшей производительности рекомендуют применение с Apache 2.2, в действительности нет никаких минимальных требований к серверу.

Jira

Первоначально программа задумывалась как классический баг-трекер, но сейчас эта платформа позволяет использовать функцию планирования agile-проектов. На сегодняшний день Jira является, пожалуй, самым популярным продуктом в сфере разработки и тестирования программного обеспечения. Расширенные возможности приложения:

• гибкое всестороннее управление проектами;
• осуществление контроля за всеми стадиями процесса;
• среда создания прикладных программ.

Используя комплексную систему Jira, тестировщики могут подвергать классификации все задачи по различным критериям и управлять статусом ошибки. Причем все внесенные изменения хранятся в истории и доступны для просмотра и анализа.

Программа помогает реализовать принципы управления проектами «Scrum» и «Kanban».

Jira – это платный сервис, но имеющий тариф free для добавления 10 пользователей. Система представляет собой интерактивную доску – Dashboard, с помощью которой удобно отслеживать выполнение решаемых задач.

Среди достоинств баг-трекера выделяют: расширенный функционал, который можно значительно развить установкой плагинов; гибкую настройку рабочих столов; интеграцию с другими системами (Trello, Slack, Git, Zephyr, Google Drive & Docs и др.); связывание задач и ошибок; возможность построения диаграммы Ганта.

Настраиваемые элементы Jira:

• план решения проблем;
• рабочий стол пользователя;
• типы задач;
• окна;
• результаты;
• уведомления.

Так как Jira является достаточно мощным инструментом со множеством настроек и возможностей, ее использование в небольших коллективах тестировщиков сопряжено с некоторыми трудностями. Кроме того, использование этого баг-трекера требует обладания пользователем определенными знаниями и навыками.

YouTrack

Платный сервис, поддерживающий Scrum и Kanban. Основные характеристики:

• Очереди задач для группировки.
• Расширенный поиск по нескольким настраиваемым фильтрам.
• Возможность ограничения доступа к задачам, имеющим конфиденциальную информацию.

YouTrack – детище компании JetBrains, являющейся известным авторитетом в сфере проектирования ПО для отслеживания ошибок. Сервис имеет возможности интеграции с большим количеством CVS, а также с GitHub и Bitbucket. Кроме того, система обладает рядом уникальных возможностей, значительно облегчающих работу тестировщиков. Например, наличие возможности учета издержек на проект и автопоиск дубликатов.

Web Issues

Предназначение сервиса – организация совместной работы. Программа с открытым исходным кодом предоставляет вам возможность доступа из любого веб-обозревателя по желанию.

Перечислим основной функционал приложения:

• Фиксация в журнале истории всех внесенных в проект изменений.
• Возможность прикрепления скриншотов к баг-репортам.
• Координация действий участников команды при работе над решением задачи.
• Контроль доступа пользователей.
• Экспорт проблем в файлы CSV
• Сохранение баг-репорта в формате PDF и HTML.
• Шифрование канала по SSL-протоколу.

Это далеко не полный перечень баг-трекеров. Возможно, прочитав статью, вы сможете остановить свой выбор именно на том инструменте, который позволит в полной мере реализовать проекты, и работа над ними будет продуктивной и комфортной благодаря своевременному поиску и исправлению ошибок.

Одним из факторов эффективности тестирования является рациональное управление рабочим временем. Чем шире перечень проектов и задач QA-специалиста, тем острее встает вопрос о том, каким образом можно систематизировать данные обо всех найденных багах.

И здесь на помощь приходит целый набор готовых решений – это системы, отслеживающие и фиксирующие ошибки. Багтрекер – часть инструментария тестировщика, посредством которой выстаивается правильный процесс работы. 

Для чего используются баг-трекинговые системы 

Системы bug tracker представляют собой прикладной сервис, в который заносятся обнаруженные тестировщиком ошибки. Чаще всего функционал такой программы включает в себя:

• создание тикетов, в которых описывается найденный баг;
• слежка за дефектом на всех этапах его существования;
• формирование аналитической отчётности (в том числе баг-репортов).

Таким образом, прямое назначение баг трекинг систем – это регистрация, учёт и контроль программных багов и иных ошибок. Посредством этого инструмента тестировщики получают информацию, которая в дальнейшем поможет оптимизировать расходы на разработку. Кроме того, багтрекеры заметно упрощают коммуникацию между членами команды. 

Работа с bugtracker – это возможность проработать каждую техническую ошибку и довести тестируемый проект до совершенства. А не менее полезными станут и знания о том, как составить безупречный баг-репорт?

Жизненный цикл дефекта 

В «классический» жизненный цикл бага входят пять этапов:

1. Регистрация дефекта отделом тестирования. На этом этапе баг получает статус «новый».
2. Назначение исполнителя для устранения ошибки. На второй ступени дефекту присваивается статус «Назначен».
3. На следующем этапе баг вновь «возвращается» в сферу полномочий тестировщика, а его текущее состояние определяется как «Разрешён». При этом он сопровождается одной из резолюций: «Исправлено», «Не исправлено», «Невоспроизводимо», «Дубль».
4. Проверка откорректированной ошибки тестировщиком. Если он вновь обнаружит недочёты, дефект повторно возвращается к состоянию «Назначен». В случае если баг устранён, ему присваивается статус «Закрыт».
5.  Если этот же дефект появляется в другой версии, тестировщик определяет его состояние как «Открыт повторно».

Какие есть баг трекинговые системы 

Все существующие системы баг трекинга можно разделить на бесплатные и платные. Несмотря на то, что первые имеют менее широкий функционал и сниженную производительность, они также активно используются тестировщиками. Рассмотрим пять багтрекеров, которые, с точки зрения QA-специалистов, являются самыми эффективными. 

Redmine

Начнем с бесплатных сервисов, самым популярным из которых является Redmine. Этот веб-проект с открытым кодом существует уже больше десятка лет. Посредством приложения Redmine отслеживать баги может любой тестировщик, добавленный туда в качестве наблюдателя. Из преимуществ сервиса стоит выделить возможность расширения набора функций (за счёт установки плагинов), встроенные инструменты планирования (диаграмма Ганта), гибкость при отслеживании багов. 

Mantis

Еще одной бесплатной bug tracker системой является Mantis. Программа отличается простотой. Как и Redmine, этот сервис имеет открытый код и позволяет включать в проект большое количество пользователей. Преимуществом приложения является наличие мобильной версии, производительность которой ничуть не урезана. Из недостатков Mantis – невозможность генерации отчётов, автоматического отслеживания багов.

Яндекс.Трекер

Это платное приложение, однако, новым пользователям предоставляется бесплатный месячный доступ к функционалу. Яндекс.Трекер работает на основе подхода Agile, который предполагает гибкость при управлении проектами. Тестировщики могут создавать таски и давать им описание, назначать ответственных за исполнение и наблюдателей, добавлять комментарии по ходу решения проблемы. 

Bugzilla 

Приложение Bugzilla включает в себя стандартный, но при этом исчерпывающий перечень функций. С помощью этого сервиса отслеживаются дефекты в малых и средних проектах. Bugzilla имеет развитый API, умеет автоматически генерировать отчёты, интегрируется с разными системами управления. Кроме того, особенностью этого багтрекера является визуализация информации, т. е. подача данных в виде таблиц, диаграмм и графиков.

Jira

Этот баг трекер является самым востребованным в области тестирования. Сегодня Jira — это не просто приложение для отслеживания и учёта дефектов, но и мощнейший дашборд для:

• всестороннего управления проектами;
• контроля всех этапов работы;
• непосредственно разработки прикладных проектов.

С помощью этого дашборда тестировщики классифицируют все таски по разным признакам и управляют статусами дефекта. Все действия и изменения, проводимые QA-специалистами, фиксируются в журнале. Тестировщики могут и увязывать таски, дефекты. 

Приложение выстроено на классических принципах планирования «скрам» и «канбан». Однако они дополнены вторичными механизмами.

Расширенный функционал, ловкие настройки пользовательского интерфейса и наличие инструментов планирования делают Jira самой эффективной bugtracking системой. Программа является платной, однако в ней предусмотрен бесплатный тариф с малым количеством пользователей.

В структуре Jira находится ряд компонентов, которые можно настраивать: 

• рабочий процесс;
• пользовательское пространство;
• типы задач;
• окна;
• настройка пользовательского пространства;
• решения;
• уведомления. 

Поскольку Jira – полифункциональный инструмент, в небольших командах тестировщиков наблюдаются сложности с обслуживанием и настройкой программы. Кроме того, работа с сервисом требует определённых навыков. 

Заключение 

Багтрекер – первый и ценный помощник тестировщика. При этом каждая программа, нацеленная на отслеживание ошибок, имеет собственные особенности использования. Поэтому выбор прикладного обеспечения зависит от конкретных потребностей тестировщика.

Приступить к освоению новой сферы деятельности и, в том числе, к получению навыков работы с таким сложным багтрекером как Jira, помогут курсы по тестированию программного обеспечения.

С этой задачей нам помогут справиться баг-трекинговые системы, которых на рынке сейчас достаточно много. Рассмотрим самые популярные и удобные из них.

Jira

Изначально Jira предназначалась только для отслеживания ошибок. Однако сейчас она также используется для планирования agile-проектов.

Это платная система. Но есть тариф “Free” с возможностью добавления 10 пользователей.

Jira представляет собой интерактивную доску (Дашборд), с помощью которой можно следить за выполнением поставленных задач. Все задачи классифицируются различными видами функций, подзадач, багов и т.д. Они могут редактироваться, назначаться на различных исполнителей или просто изменять статус с «открыт» на «закрыт». Все изменения по задаче записываются в журнал.

Плюсы:
— Широкий функционал, который можно дополнительно расширить с помощью плагинов.
— Интеграция с различными системами (Git, Zephyr, Trello, Slack, Google Drive & Docs, draw.io и так далее).
— Есть возможность строить диаграмму Ганта.
— Рабочие столы можно настроить под себя.
— Позволяет составлять план работы.
— Возможность искать задачи по гибким фильтрам.
— Наличие мобильного приложения.
— Связывание задач/ошибок.
— Уведомления по электронной почте.
— Пользователи получают последние обновления о ходе выполнения проектов.

Минусы
— Сложность настройки и обслуживания, особенно для малого бизнеса и небольших команд.
— Иногда тяжело найти то, что нужно (из-за огромного количества функций).
— Требуется много времени, чтобы научиться эффективно использовать.

Redmine

Это бесплатное веб-приложение. И это больше, чем просто трекер ошибок. Redmine — решение для управления проектами с открытым исходным кодом и существует он уже более десяти лет. Написан на Ruby и совместим с MySQL, PostgreSQL, Microsoft SQL и SQLite.

Баг-репорт может отслеживаться любым сотрудником, который добавлен в проект и отмечен как наблюдатель.

Плюсы:
— Есть возможность установить дополнительные плагины для расширения функционала.
— Удобный пользовательских интерфейс.
— Возможность планирования с помощью диаграммы Гантта.
— Ленты и уведомления по электронной почте.
— Многоязычный интерфейс (поддерживает 34 разных языка).
— Поддержка нескольких баз данных.
— Учет временных затрат.
— Гибкая система отслеживания проблем.

Минусы:
— Некоторые функции очень скрыты.
— Сложно разобраться в установке на сервер.
— На больших объемах данных, пользователей или количестве подключенных плагинов начинает снижаться производительность.
— Отсутствуют оповещения об изменении документов.
— Слабо развита система предоставления прав пользователя (например, ограничения доступа к определенным задачам проекта).

Mantis

Бесплатный инструмент. По сравнению с другими баг-трекинговыми системами, это довольно простой инструмент. Он доступен как в виде web-приложения, так и в мобильной версии. Баг-репорт можно назначить на любого пользователя, который работает в проекте.

Инструмент построен на PHP и совместим с базами данных MySQL и PostgreSQL. Его также можно настроить для управления проектами.

Плюсы:
— Открытый исходный код.
— Возможность настройки полей.
— Поддержка time tracking.
— Возможность работы в нескольких проектах одновременно.
— Доступная история изменений в отчетах.
— Неограниченное количество пользователей, проектов и баг-репортов.
— Управление доступом, которое можно изменить для каждого проекта.
— Настраиваемые поля проблем.
— Многофункциональная мобильная версия (iPhone, Android и Windows Phone).
— Есть плагины, которые значительно улучшают использование инструмента.

Минусы:
— В процессе создания отчета об ошибке можно прикрепить только один снимок экрана. Можно прикрепить еще один к уже созданному сообщению об ошибке.
— Пользовательский интерфейс не привлекателен.
— Нет возможности сгенерировать отчет о проделанной работе.
— Нет возможности отслеживать что-то автоматически.

Trac

Открытая бесплатная веб-система для контроля багов и разработки софтверных продуктов. Есть русская локализация.

Trac специально создан для проектов разработки и отслеживания проблем, но также может использоваться для управления документами. Он имеет минималистский дизайн, встроенную вики и интегрируется с Apache Subversion и GitHub.

Можно связать ошибки с различными задачами, файлами, страницами вики или ошибками. Trac написан на Python и совместим с SQLite, MySQL и PostgreSQL.

Плюсы:
— Поддержка нескольких платформ: Linux, Unix, Mac OS X, Windows и т.д.
— Перекрестные ссылки между базой данных зарегистрированных ошибок, системой контроля версий и вики-страницами.
— Мониторинг и управление прогрессом.
— Параметры управления пользователями.
— Подсветка кода и сравнение файлов.
— Большое количество плагинов.

Минусы:
— Несколько проектов не могут быть обработаны.
— Ограниченная функциональность, если не использовать все его плагины.
— Комплексная установка.

Яндекс.Трекер

Сервис для управления проектами по методологии Agile. Платный, но предоставляется бесплатный доступ на 30 дней.

Пользователи могут создавать задачи, описывать их, назначать исполнителей и наблюдателей, а также комментировать ход решения вопроса в карточке задачи. Гибкие настройки прав доступа. Высокая производительность.

Плюсы:
— Живые задачи в реальном времени.
— Очереди задач для группировки.
— Фильтры и поиск.
— Дашборды, визуализация прогресса, agile-доски.
— Учёт времени и трудозатрат.
— Напоминания и призывы.
— Просмотр истории изменений.
— Интеграция с GitHub, возможность добавлять вызовы API в программы, написанные на языке Python (то есть можно легко перенести данные из другого инструмента).
— Есть дополнительные плагины.
— Возможность ограничить доступ к задачам с конфиденциальной информацией.
— Мобильное приложение для iOS и Android.

Минусы:
— Довольно «сырое» мобильное приложение, ряд действий можно осуществлять только с ПК.

Zoho

Платная система, но при регистрации до 3-х пользователей предусмотрен бесплатный тариф. Zoho Issue Tracker является неотъемлемым модулем для программного обеспечения Zoho Projects. Это облачная сквозная система, которая позволяет сообщать об ошибках, управлять рабочими процессами и исправлять дефекты.

Плюсы:
— Гибкий рабочий процесс.
— Разные категории вопросов.
— Пользовательские циклы управления ошибками.
— Подробные отчеты.
— Гибкая система фильтрации: серьезность, категория и т.д.
— Многофункциональное мобильное приложение.
— Интуитивно понятный интерфейс.
— Просмотр статистики пользователя.
— Интеграция с Bitbucket и GitHub.
— Автоматический багтрекер. Позволяет установить правила для запуска обновлений в полях ошибки или в сторонних приложениях.
— Уведомления по электронной почте об изменениях.

Минусы:
— Проблемы с поддержкой клиентов из разных часовых поясов.
— Дополнительная плата за Zoho Reports.
— Сложно учиться.

YouTrack

Платный баг-трекер с возможностью пользоваться бесплатной ограниченной версией. Поддерживает Scrum и Kanban, а также работу по собственной (свободной) методике. Обеспечивает контроль просроченных задач, диаграммы «выгорания задач» и кумулятивного потока исполнения, поддержку вложенных задач, а также возможность обслуживания нескольких проектов в одной контрольной панели.

Доступен в виде облачного сервиса, либо в виде веб-приложения для установки на собственный веб-сервер.

Плюсы:
— Хорошо настроенный инструмент.
— Интеллектуальный поиск.
— Экспорт в CSV.
— Тайм-менеджмент.
— Специальные команды для быстрой смены нескольких задач одновременно.
— 17 видов отчетов.
— Специальные теги для группировки вопросов.
— Создание вопросов по электронной почте.
— Логическое связывание задач.
— Режим вики.

Минусы:
— Поддержка недостаточна даже в платных версиях.
— Нет отслеживания вех.
— Проекты имеют публичный статус в бесплатной версии.

Trello

Веб-приложение, которое изначально было предназначено для управления проектами небольших групп. Платная система, но есть бесплатный тариф с определенными ограничениями.

Проекты распределяются на доски, которые выглядят очень наглядно. На досках задачи можно распределять по колонкам по принципу доски в канбан: новые задачи, задачи в очереди, задачи в работе, завершенные задачи и так далее.

Атрибуты, как таковые, в данной системе не предусмотрены. Но для присвоения серьезности или приоритета можно использовать цветовые маркеры. На доски добавляются определенные пользователи, которые закрепляются за задачами, где пишут комментарии по ходу выполнения.

Плюсы:
— Freemium-модель.
— Наглядность в ходе выполнения задачи.
— Возможность работы на нескольких досках.
— Интеграция с различными сервисами.
— Система построена на основе доски и все, что в ней есть, находится на одном экране: и задачи, и история изменений, и любые комментарии.

Минусы:
— Система построена на основе доски и все, что в ней есть, находится на одном экране: и задачи, и история изменений, и любые комментарии. Да, это плюс и минус одновременно. Когда количество баг-репортов измеряется сотнями, смотреть “все на одном экране” становится неудобно.
— Слишком простая и не предназначена для больших команд. Задачи банально не имеют номера, не говоря уже о переводе или установке на свой сервер.

Google Таблицы

Универсальный бесплатный инструмент. Если проект небольшой и в нем не так много баг-репортов, то Google Таблицы подойдут.

Плюсы:
— Бесплатно.
— Полная свобода творчества.

Минусы:
— Нет возможности интеграция с различными программами.
— Нет возможности учитывать время.

________
У каждой баг-трекинговой системы есть свои преимущества и недостатки. Достаточно изучить одну любую систему, чтобы понять принцип работы остальных. Как только вы поймете принцип, то на освоение новой системы у вас будет уходить совсем немного времени.