Для автоматизации тестирования следует использовать системы ошибок

Что дает автоматизация тестирования

При создании IT-решений ошибки обходятся дорого, это особенно заметно в медицине, где от качества ПО зависят человеческие жизни, или в сфере банкинга, где возможны крупные финансовые потери. Автоматизация тестирования позволяет организовать постоянную проверку качества продукта. Давайте разберемся, в каких случаях она необходима.

Одни компании ошибочно считают, что автоматизация – пустая трата времени и средств, другие – что это крутой тренд и «таблетка» от всех болезней. Рассмотрим, где золотая середина и в чем смысл автоматизации.

Зачем тестировать

Малейшая ошибка в программном обеспечении грозит огромными расходами. Чем лучше выстроены процессы разработки, тем меньше риски. Однако, если обратиться к фактам, мы видим, что недочеты допускают даже такие гиганты, как Google, Microsoft или ведущие банки.

Например, одна из знаменитых “аварий” финансового мира произошла в Первом национальном банке Чикаго в конце 90-х: в одночасье счета клиентов безосновательно выросли на 900 миллионов долларов. Тогда старший вице-президент банка Джеймс Ланкастер признал, что дело в «программной ошибке в компьютере» – которую, к счастью, никто не успел использовать.

Дорогостоящие ошибки бывают и в других отраслях, казалось бы, не связанных напрямую с IT. Известный пример – аварии при запуске космической техники, в частности, в 2017 году Роскосмос утратил спутник стоимостью 2,6 млрд рублей.

При работе с масштабными IT-решениями, например, системами дистанционного банковского обслуживания (ДБО), важно постоянно тестировать не только работу отдельных функциональностей, но и их взаимодействие. В условиях сжатых сроков, когда ведущие банки каждый месяц обновляют свои приложения, проверить все вручную невозможно – на это как минимум не хватит времени.

При создании IT-продуктов для бизнеса обычно сочетают два подхода:

• осуществляют проверки вручную, с помощью специалистов QA (Quality Assurance);
• комбинируют ручное тестирование и автоматизацию ключевых тест-кейсов, с помощью экспертов SDET (Software Development Engineer in Test).

Работа SDET-специалиста находится на границе трех областей – разработки, QA и DevOps, охватывая как непосредственное написание автоматических тестов, так и другие задачи. Например, SDET может настраивать CI для автоматической доставки и разворачивания приложений, вести документацию, организовывать процессы. Однако, в этой статье мы рассматриваем один аспект – автоматизацию тестирования.

Что дает автоматизация

Это одно из достаточно новых направлений в разработке, окруженных большим количеством мифов. Чаще всего бизнес обращается к автоматизации, веря, что она:

1. решит все проблемы выпуска качественного ПО;
2. позволит отказаться от ручного тестирования;
3. необходима просто потому, что является «крутым трендом»;
4. ускорит выпуск релизов;
5. увеличит покрытие платформ и версий операционных систем при тестировании.

Очевидно, что три первых утверждения чрезмерно категоричны, а потому, как это часто бывает, ошибочны: для обеспечения качества IT-продукта важно рассматривать комплекс из множества параметров, а не только автоматизацию тестирования.

В свою очередь, два последних утверждения действительно справедливы: грамотная автоматизация тестирования помогает и в ускорении релизов, и в увеличении покрытия кейсов. При этом ручное обеспечение качества и автоматизация, как правило, одинаково важны и используются в комплексе. Кроме того, каждый проект индивидуален, и иногда в автоматизации нет необходимости.

Когда автоматизация обязательна

• Масштабное приложение с большим количеством бизнес-функций
• Значительный срок жизни приложения (от 1 года и более)
• Внедрение CI/CD, регулярные релизы + небольшое количество QA специалистов

Задачи автоматизации

Как правило, мы привлекаем экспертов SDET для решения следующих задач:

• Автоматизация рутинных и частых проверок, снижение нагрузки на QA специалистов.
• Контроль основных функций приложения и отслеживание изменений в продукте.
• Возможность проводить тестирование с большим количеством устройств, версий браузеров и операционных систем.
• Тестирование производительности приложения в условиях одновременной работы с большим количеством данных и пользователей.

Результаты

Автоматизация помогает выстроить баланс:

• проверять вручную то, что требует человеческого внимания (как правило, до 25% кейсов);
• автоматизировать остальные кейсы.

При этом автоматизация в долгосрочной перспективе снижает как расходы на тестирование, так и риски, связанные с человеческим фактором.

Кроме того, при необходимости можно ускорить релизы. Например, если в спринте разработки нужно проверить около 400 кейсов, то их ручная проверка займет до двух недель, а автотесты можно провести ночью и проанализировать за 4 часа.

Бизнес, благодаря автоматизации, получает возможность в любое время убедиться в том, что ключевые функции системы работают правильно и проверить, нет ли ошибок (а если они есть, то в чем заключаются).

Пример

Предположим, что на текущий момент в мобильном банке нужно проходить до 700 кейсов, каждый – от 70 до 100 раз в год. Ручной проверки требуют менее 25% кейсов, остальные 75% можно автоматизировать.

Затраты времени при ручной проверке:

— 30 часов

Затраты времени при автоматизации:

Ночной прогон тестов занимает 8 часов, но без участия человека, поэтому не учитывается.

Прочие затраты времени:

• 8 часов на ручную проверку кейсов, которые нельзя покрыть автотестами (25%);
• 6 часов на анализ результатов, а также, если необходимо, на проверку отказов (до 10% тестов).

Итого: автоматизация тестирования позволяет снизить затраты времени с 30 до 14 часов.

Конечно, каждый кейс имеет свои особенности, поэтому временные затраты могут быть разными. Мы постоянно анализируем, сколько времени нужно на написание автоматических тестов, поддержку, анализ результатов.

В среднем, автоматизация экономит от 30 до 50% времени как минимум, позволяя выделить больше времени, например, на развитие и улучшение продукта.

Как происходит автоматизация тестирования

У каждой IT-компании есть свои особенности в автоматизации тестирования, как и в других рабочих процессах. Мы в SimbirSoft придерживаемся следующих методов, которые помогают оперативно выстроить работу с проектами наших клиентов.

Процесс тестирования начинается с разработки стратегии – тест-плана, основы для составления отдельных тест-кейсов. Для автоматизации SDET инженеры выбирают ключевые, часто используемые сценарии работы пользователя с продуктом – такие сценарии дают около 80% бизнес-ценности.

После этого мы создаем основу для дальнейших автотестов, настраиваем стенды и workflow по работе с ними, CI для регулярного запуска тестов на различных ветках. Мы выбираем, какие подходы к подготовке тестовых данных мы будем использовать (API, доступ к базам данных, генерация синтетических данных, использование данных с прода). Инженеры SDET пишут тесты, которые покрывают ключевые сценарии работы с продуктом, анализируют полученные результаты и необходимость дальнейшей автоматизации.

Мы разрабатываем автоматизированные тесты, используя все наиболее востребованные языки программирования – Java, Python, Kotlin и др. Наши основные инструменты и технологии – Appium, TestNG | JUnit, RobotFramework | Pytest, Selenium | Senenide, Allure, TeamCity, Jenkins, JMeter.

Какие тесты нужно автоматизировать в первую очередь – зависит от особенностей конкретного продукта. Большинство компаний автоматизируют smoke тесты, регрессионные тесты для проверки уже готовых функциональностей, а также кейсы для проверки различных параметров (например, валидных и невалидных данных при регистрации).

Мы в своей практике выстраиваем процессы автоматизации тестирования уже на старте разработки, параллельно с ручным тестированием. Эта работа – не единоразовая, она ведется непрерывно, особенно на крупных проектах, в том числе банковских.

Подводя итоги

Баланс ручного и автоматизированного тестирования позволяет постоянно контролировать качество IT-продукта. Некоторые проекты проверяют вручную, другие задачи можно успешнее решить с помощью автоматизации. Тестирование вручную используют в тех случаях, когда люди незаменимы, например, если нужна локализация, описание ошибок, ручная проверка юзабилити. В небольших проектах часто тесты пишут сами разработчики.

Ручное тестирование в комплексе с автоматизацией проводят при создании крупных IT-продуктов, где работает несколько команд (например, в банковских приложениях), где есть сложные алгоритмы и бизнес-логика. Этот метод помогает выстроить процессы тестирования продукта и снизить риск дорогостоящих ошибок, что бывает особенно важно при работе в условиях жесткого графика релизов.

Спасибо за внимание! Надеемся, что статья была вам полезна!

Функциональное тестирование программного обеспечения является важной частью любой процедуры тестирования программного обеспечения. Если все сделать правильно с первого раза, это поможет избежать дорогостоящего и трудоемкого ремонта в дальнейшем и сохранить клиентов довольными. Возможность автоматизировать часть функционального тестирования с помощью таких продуктов, как ZAPTEST, делает этот процесс еще более безболезненным.

Мы объясним, что такое функциональное тестирование, виды функционального тестирования, как проводить функциональное тестирование, автоматизация, лучшие практики и кто должен заниматься функциональным тестированием в вашей компании. Мы также рассмотрим некоторые из лучших инструментов функционального тестирования на рынке.

Что такое функциональное тестирование?

Функциональное тестирование в тестировании программного обеспечения — это способ определить, работает ли программное обеспечение или приложение так, как ожидается. Функциональное тестирование интересуется не тем, как происходит обработка данных, а тем, обеспечивает ли она правильные результаты или имеет какие-либо ошибки.

При проведении функционального тестирования вы ищете любые пробелы, ошибки или то, что отсутствует в требованиях к программному обеспечению или приложению.

Разница между системным и функциональным тестированием заключается в том, что при системном тестировании тестируется вся система, а при функциональном — только отдельные функции.

Функциональное и нефункциональное тестирование

Функциональное и нефункциональное тестирование проверяет различные аспекты программного обеспечения. Функциональное тестирование при тестировании программного обеспечения связано с тем, соответствует ли каждая функция программного обеспечения или приложения требуемым спецификациям. С другой стороны, нефункциональное тестирование измеряет, насколько хорошо работает программное обеспечение или приложения, а не функционируют ли они вообще.

Типы функционального тестирования, обсуждение и примеры

Определение функционального тестирования содержится в его названии. Функциональное тестирование связано с проверкой того, правильно ли функционирует программное обеспечение и соответствует ли оно ожиданиям пользователя.

Чтобы помочь вам немного лучше понять смысл функционального тестирования, вот некоторые из основных типов функционального тестирования:

Единичное тестирование

Разработчики или тестировщики используют модульное тестирование для определения соответствия отдельных компонентов или единиц программного обеспечения или приложения требованиям функциональности. Проведение модульного тестирования гарантирует, что самые мелкие функциональные части программного обеспечения работают правильно.

Тестирование покрытия кода является жизненно важным. Кроме того, вы также захотите провести модульное тестирование для покрытия строк, покрытия путей кода и покрытия методов.

Преимущества модульного тестирования:

• Определение общего качества кода
• Поиск ошибок в программном обеспечении
• Наличие документации для лучшего понимания интерфейса

Недостатки модульного тестирования:

• Требуется написание большего количества кода
• Может указывать на необходимость изменения структурной конструкции
• Отлавливает не все ошибки

Испытание дымом

Разработчики (и иногда тестировщики) проводят дымовые тесты после каждой новой сборки для обеспечения стабильности и проверки критической функциональности. Дымовые испытания проверяют стабильность всей системы.

Например, можно провести дымовое тестирование функциональности страницы входа в систему или определить функциональность добавления, обновления или удаления записей в новой сборке.

Преимущества дымовых тестов:

• Обеспечивает достаточную стабильность программного обеспечения для проведения более детального тестирования
• Обеспечивает отсутствие в программном обеспечении аномалий и ошибок

Недостатки дымовых испытаний:

• Разве детальное тестирование не
• Небольшое количество примеров дымовых тестов может не выявить все критические проблемы

Проверка здравомыслия

Тестировщики обычно проводят тесты на вменяемость после дымовых тестов. Sanity testing гарантирует, что конкретные новые функциональные возможности из сборки или исправления ошибок в приложении или программной системе работают так, как должны.

Если тестирование на дым вдохновило на исправление ошибок, то тестирование на здравомыслие — это определение того, работают ли эти исправления. Например, если в ходе дымового тестирования были обнаружены проблемы с входом в систему, тестирование на вменяемость проверит исправление ошибок входа в систему и пойдет дальше, чтобы убедиться, что новые логины соответствуют всем критериям входа в систему.

Преимущества тестов на вменяемость:

• Экономит время, поскольку фокусируется на конкретных областях функциональности после незначительных изменений
• Помогает определить зависимые недостающие компоненты после незначительных изменений

Недостатки тестирования на вменяемость:

• Кратко и без подробностей
• Указывает только на то, что изменения сработали так, как ожидалось

Регрессионное тестирование

Тестировщики используют регрессионное тестирование среди видов функционального тестирования, чтобы убедиться, что любой новый код, обновления или исправления ошибок не нарушили существующую функциональность приложения или программного обеспечения и не вызвали каких-либо нестабильных независимых функций.

Например, вы не хотите, чтобы ваш новый код или исправление ошибки нарушили возможность ввода данных в старую часть программного обеспечения.

Преимущества регрессионного тестирования:

• Обеспечивает, чтобы исправления или изменения в программном обеспечении не влияли на то, как старые части программного обеспечения работают с той же функциональностью
• Гарантирует, что проблемы, которые вы ранее устранили, не возникнут вновь

Недостатки регрессионных тестов:

• Если вы не сможете автоматизировать процесс, регрессионное тестирование может быть дорогостоящим и отнимать много времени, поскольку его необходимо проводить для каждого небольшого изменения в коде.
• Для сложных сценариев необходимы сложные тестовые случаи

Интеграционное тестирование

Разработчики (и иногда тестировщики) проводят интеграционное тестирование, чтобы убедиться, что отдельные модули программного обеспечения или приложения связаны и работают вместе. Интеграционное тестирование включает в себя изучение логики и передаваемых значений. Это гарантирует, что модули хорошо интегрируются со сторонними инструментами, и выявляет дефекты в обработке исключений.

Например, можно проверить, переходит ли страница входа в систему на нужный модуль после входа в систему. Или можно проверить, попадают ли удаленные элементы в корзину после их удаления.

Преимущества интеграционных тестов:

• Обеспечивает независимый процесс тестирования с охватом кода всей системы
• Обнаруживает ошибки или проблемы безопасности на начальных этапах функционального тестирования программного обеспечения для экономии времени

Недостатки интеграционного тестирования:

• Сложность выполнения
• Занимает много времени

Бета-тестирование/тестирование удобства использования

После проведения других видов функционального тестирования, бета-тестирование/тестирование на удобство использования позволяет реальным клиентам проверить, что новое обновление продукта работает должным образом, прежде чем оно станет доступным для всех. Клиенты дают отзывы о том, насколько хорошо работает обновление, разработчики рассматривают дальнейшие изменения в коде для удобства использования.

Например, если при обновлении меняется внешний вид пользовательского интерфейса, бета-тестирование позволяет клиентам оставить отзыв о том, что работает, что не работает, и каких функций не хватает.

Преимущества юзабилити-тестов:

• Оценка того, что конечный пользователь будет думать об изменениях, и определение того, чего не хватает или что не работает при обычном использовании
• Улучшает качество продукции и снижает риск отказа продукции или риск неудовлетворенности клиентов при запуске в производство

Недостатки юзабилити-тестирования:

• Разработчики не имеют контроля над процессом тестирования
• Трудности с дублированием ошибок, с которыми сталкиваются бета-тестеры

Типы нефункционального тестирования, обсуждение и примеры

После определения того, делает ли программное обеспечение то, что должно, нефункциональное тестирование может измерить, насколько хорошо оно работает в различных обстоятельствах.

Тестирование производительности

Тестирование производительности позволяет разработчикам узнать, насколько хорошо работают компоненты программного обеспечения. Он измеряет общее качество программного обеспечения, определяя его скорость и масштабируемость.

Некоторые примеры тестирования производительности включают измерение времени отклика, поиск узких мест и точек, в которых программное обеспечение дает сбой.

Преимущества тестов производительности:

• Определение скорости работы программного обеспечения
• Оптимизация программного обеспечения
• Определение мощности нагрузки, чтобы конечные пользователи были довольны

Недостатки тестирования производительности:

• Может быть дорогостоящим
• Требуется несколько устройств в разных местах, чтобы определить, какие трудности могут возникнуть у потребителей

Нагрузочное тестирование

Нагрузочное тестирование помогает разработчикам понять, как система работает при ожидаемых нагрузках и пиковых нагрузках пользователей.

Нагрузочное тестирование помогает убедиться в том, что программное обеспечение работает и соответствует ожиданиям пользователей при нормальных нагрузках, а не тестировать его при экстремальных нагрузках.

Преимущества нагрузочного тестирования:

• Выявляет обычные узкие места
• Определяет идеальную инфраструктуру для регулярного использования
• Сокращает время простоя во время обычных всплесков трафика

Недостатки нагрузочных испытаний:

• Выявление недостатков в способности выдерживать нагрузку, устранение которых может потребовать больших затрат
• Выявление ограничений, которые могут заставить потенциальных пользователей обратиться к другим вариантам в периоды высокой посещаемости

Стресс-тестирование

Стресс-тестирование показывает, насколько хорошо работает программная система при самых тяжелых условиях нагрузки

Например, вы можете проверить, как работает система, когда в нее заходит больше клиентов, чем обычно.

Преимущества стресс-тестов:

• Выявление того, как система будет работать после сбоя и насколько хорошо она будет восстанавливаться
• Представление о том, как система будет работать в обычных и нерегулярных условиях
• Дает представление о том, необходим ли лимит пользователей

Недостатки стресс-тестирования:

• Знание того, как писать сценарии стресс-тестирования для всех возможных сценариев
• Дорого и сложно выполнять вручную

Как проводить функциональное тестирование?

Давайте рассмотрим, что включает в себя выполнение функционального тестирования при тестировании программного обеспечения.

Введение и что тестировать при функциональном тестировании

Функциональное тестирование необходимо для определения того, работает ли программное обеспечение или приложения так, как они должны работать, без ошибок.

Одна из первых вещей, которую необходимо сделать перед тестированием, — это определить цели тестирования. Любые небольшие изменения в сценарии могут повлиять на работу программного обеспечения в целом.

Таким образом, крайне важно определить, какие компоненты программного обеспечения связаны с любыми изменениями, и протестировать каждый подключенный компонент, чтобы убедиться, что он работает в соответствии с ожиданиями.

Шаг 1: Разработка сценариев тестирования

Во время тестирования важно проверить различные сценарии для каждой функции, продумывая все возможные варианты, которые могут произойти со стороны пользователя.

Например, что если пользователь попытается ввести пароль, который не соответствует вашим критериям? Что делать, если пользователь платит кредитной картой с истекшим сроком действия или в другой валюте? Что делать, если два пользователя хотят получить одинаковое имя входа?

Шаг 2: Создание тестовых данных для имитации нормальных условий

Вы хотите создать тестовые данные, имитирующие нормальные условия, на основе сценариев тестирования, которые вы определили ранее. Для этого вам необходимо перечислить, что должно произойти в случае наступления каждого из этих сценариев.

Шаг 3: Выполнение тестов

Вы можете либо разработать план функционального тестирования, включающий проверку этих условий вручную, либо создать автоматический сценарий для автоматизированного функционального тестирования, имитирующий эти сценарии.

Например, если кто-то пытается создать логин, который уже существует в системе, он должен получить сообщение об ошибке, предлагающее ему создать другой логин.

Шаг 4: Перечислите проблемы

Если вы получите результаты тестов, отличные от ожидаемых, запишите это.

Например, если есть возможность создать логин, совпадающий с логином другого человека, следует отметить это как проблему, требующую решения.

Шаг 5: Определите, как решить проблемы

После того как вы определили проблему, требующую решения, вы должны зафиксировать ее в официальном месте, чтобы выявленная проблема была доступна всей команде проекта.

После определения решения и внесения изменений вам нужно будет снова провести тестирование, чтобы убедиться, что дефект устранен на всей платформе.

Нужно ли автоматизировать функциональное тестирование?

Функциональное тестирование может быть утомительным процессом, если проводить его вручную, особенно если изменения в коде затрагивают несколько областей программного обеспечения. Рассмотрение преимуществ, проблем и ограничений использования такого программного обеспечения, как ZAPTEST, для автоматизированного функционального тестирования поможет вам определить, подходит ли оно для вашей ситуации.

Преимущества автоматизации функционального тестирования

• Занимает меньше времени, чем ручное тестирование
• Требует меньше усилий, чем ручное тестирование
• Меньше человеческого фактора
• Меньше ошибок проскальзывает во время тестирования
• Предоставляет копию того, как продукт будет работать в реальных условиях
• Помогает создать продукт более высокого качества, отвечающий требованиям удобства для клиентов

Проблемы и ограничения при автоматизации функциональных тестов

• Разработка различных сценариев тестовых заданий
• Определение правильных тестов
• Отсутствие логических ошибок
• Требует много времени для более сложных испытаний
• Поиск подходящих средств автоматизации тестирования программного обеспечения
• Невозможно автоматизировать каждый тест
• Некоторые дефекты могут ускользнуть от анализа

Заключение: Зачем автоматизировать функциональные тесты?

Автоматизация функциональных тестов с помощью таких инструментов, как ZAPTEST, экономит время и усилия и позволяет пропустить меньше ошибок, чем при ручном тестировании. Автоматизация тестирования на разных платформах более экономически эффективна, чем ручное тестирование, и дает более точное представление о том, как пользователи будут работать с вашим программным обеспечением.

Лучшие практики автоматизации функционального тестирования

Автоматизация функционального тестирования будет служить вам лучше при правильном выполнении. Вот несколько лучших практик, которым стоит следовать.

Выберите правильные тестовые случаи

Одним из важнейших компонентов автоматизации функционального тестирования является знание того, что тестировать. Типы функциональных тестов, которые лучше всего использовать в качестве автоматизированного функционального тестирования, следующие:

• Тесты, которые необходимо выполнять многократно или регулярно
• Тесты, которые необходимо выполнить несколько раз с разными наборами данных
• Тесты, которые требуют много времени и усилий
• Тесты, которые легко могут привести к человеческой ошибке
• Проведение одинакового тестирования в различных операционных системах, браузерах или устройствах пользователей

Сбор данных в удобных для использования форматах

При составлении данных для автоматизированных тестов, которым требуется несколько наборов данных, данные должны быть простыми в использовании, чтении и обслуживании. Информация должна поступать из легко читаемых источников, таких как XML-файлы, текстовые файлы или из базы данных. Хранение данных в этих форматах облегчает обслуживание, использование, тестирование и повторное применение системы автоматизации.

Организованность также является ключевым фактором, когда различные члены команды должны иметь возможность использовать одни и те же данные.

Иметь специальную команду по автоматизации

Наличие специализированной команды, состоящей из людей с детальным подходом к автоматизированному функциональному тестированию, является ключом к успешному тестированию. Вы захотите выбрать ориентированных на детали членов команды с нужным набором навыков для выполнения автоматизированного тестирования. Определение того, кто лучше справляется с ручным тестированием по сравнению со скриптовым и использование автоматизированных инструментов функционального тестирования, является ключом к успешному тестированию.

Возможность поиска точек сбоя в различных пользовательских интерфейсах (UI)

Очень важно, чтобы тестирование включало функциональные тесты пользовательского интерфейса, чтобы проверить, одинаково ли работает программное обеспечение в различных операционных системах, браузерах и устройствах. Таким образом, важно написать тесты, которые не ломаются и требуют лишь минимальных изменений в случае изменения пользовательского интерфейса.

Частое тестирование

Вы захотите создать стратегию, включающую список компонентов, которые необходимо регулярно тестировать. Как только вы узнаете, какие компоненты нуждаются в тестировании после изменений на разных платформах, вы с большей вероятностью выявите больше ошибок на более ранних этапах тестирования.

Кто и что должен делать в функциональном тестировании?

При составлении плана функционального тестирования важно определить, кто несет ответственность за различные компоненты функционального тестирования.

Обязанности разработчиков

• Обеспечение того, чтобы их код работал без опечаток
• Модульное тестирование
• Проверка на дым
• Интеграционное тестирование

Обязанности тестировщиков

• Модульное тестирование
• Проверка на дым (иногда)
• Проверка здравомыслия
• Регрессионное тестирование
• Интеграционное тестирование (иногда)

Обязанности по обеспечению качества

• Выполнение автоматизированных тестов, которые не требуют больших технических знаний или знаний в области кодирования
• Тестирование, расширяющее границы возможностей программного обеспечения
• Тестирование всего спектра приложений для выявления проблем, которые обычные разработчики или тестировщики могут пропустить

Лучшие инструменты функционального тестирования

Существует большое разнообразие инструментов автоматизации функционального тестирования. Таким образом, крайне важно найти правильные инструменты для определения того, функционирует ли ваше программное обеспечение должным образом.

Что делает инструмент автоматизации функционального тестирования хорошим?

Хорошие средства автоматизированного функционального тестирования просты в использовании в различных средах, предоставляют разнообразные инструменты тестирования и могут использоваться повторно.

Простота в использовании

Хороший инструмент автоматизации функционального тестирования прост в использовании для всех членов команды, независимо от уровня квалификации.

Работает в различных условиях

Инструмент должен быть способен тестировать различные операционные системы, браузеры и устройства. В 88% случаев пользователи отказываются от приложений, столкнувшись с неполадками, поэтому функциональное тестирование мобильных и функциональное тестирование веб-приложений чрезвычайно важно для различных операционных систем.

Предоставляет необходимые инструменты для тестирования

Хороший инструмент автоматизации функционального тестирования имеет необходимые инструменты для тестирования функциональности. Например, он должен поддерживать ваш язык сценариев и быть простым в использовании даже для людей, незнакомых с языком сценариев. Он также должен поддерживать функциональные потребности вашего продукта, такие как специальные отчеты, тесты сборки и протоколирование.

Возможность повторного использования

Инструмент тестирования также должен быть легко используемым для многократного тестирования и внесения изменений. Возможность хранить данные в облаке для последующего использования экономит время и средства.

Лучшие бесплатные инструменты для автоматизированного функционального тестирования

Бесплатные средства автоматизации функционального тестирования имеют много преимуществ, но у них есть и ограничения.

Преимущества бесплатных инструментов автоматизации функционального тестирования

• Экономит деньги
• Сокращает время, затрачиваемое на обслуживание системы
• Устранение повторяющейся ручной работы с помощью роботизированной автоматизации процессов (RPA)
• Обеспечивает быстрые результаты на всех платформах
• Позволяет проводить тестирование без дополнительного кодирования
• Обеспечивает базовое тестирование функциональности

Ограничения бесплатных автоматизированных инструментов функционального тестирования

• Не все сценарии функциональности могут быть проверены
• Может тестироваться только на ограниченном количестве платформ
• Некоторые инструменты тестирования могут находиться за платными стенами
• Не позволяет хранить данные в облаке для нескольких тестировщиков

Лучшие бесплатные инструменты для автоматизации функционального тестирования — это…

Существует множество инструментов автоматизированного функционального тестирования, но эти инструменты являются одними из лучших:

• Zaptest
• Студия Каталон
• Селен
• Appium
• Robotium
• Ветряная мельница
• Apache JMeter
• Капибара
• Тестлинк
• Марафон
• Проволочный манок

Когда следует выбирать инструмент функционального тестирования корпоративного уровня?

Использование версии корпоративного уровня вместо бесплатного инструмента функционального тестирования дает вам больше функциональности и возможностей для межорганизационного обмена.

Когда вам нужно сэкономить время

Средства автоматизации функционального тестирования корпоративного уровня позволяют экономить время за счет одновременного выполнения большего количества автоматизированных этапов процесса в час.

Когда вам нужно проверить больше пользовательских интерфейсов

Инструменты функционального тестирования корпоративного уровня проверяют большее количество пользовательских интерфейсов без изменения кода, чтобы гарантировать, что клиенты, использующие различные операционные системы, устройства или браузеры, могут одинаково использовать ваше программное обеспечение или приложение.

Для управления данными

Функциональное тестирование программного обеспечения на уровне предприятия позволяет лучше управлять данными, чтобы можно было легче обращаться к ним во время будущих тестов и дублировать тестирование.

Для решений по тестированию на облачном хостинге

Выбрав программное обеспечение для функционального тестирования корпоративного уровня, вы сможете просматривать данные на разных устройствах и в разных местах, чтобы больше пользователей могли работать над одними и теми же проектами без дублирования усилий.

Для неограниченного лицензирования

Выбирая инструмент функционального тестирования корпоративного уровня, вы можете предоставить членам вашей организации неограниченный доступ, независимо от того, скольким людям необходимо получить доступ к данным.

Для гиперавтоматизации

Выбор инструмента функционального тестирования корпоративного уровня обеспечивает гипер-автоматизацию, максимально увеличивая количество процессов, которые вы можете автоматизировать.

Инструменты функционального тестирования корпоративного уровня, обеспечивающие роботизированную автоматизацию процессов (RPA), снижают количество человеческих ошибок за счет автоматизации рутинных задач большого объема, что позволяет выявить слабые места и максимально повысить эффективность работы.

Когда вам нужны дополнительные услуги и преимущества функционального тестирования

Выбирая инструмент функционального тестирования корпоративного уровня, вы получаете больше услуг функционального тестирования. Хорошая компания по функциональному тестированию предложит такие услуги и преимущества, как:

• Увеличение рентабельности инвестиций
• Тестирование на разных платформах без необходимости внесения изменений в код
• Возможность одновременного выполнения нескольких сценариев на нескольких платформах
• Возможность сопряжения с несколькими приложениями
• Преобразование сценариев для тестирования одним щелчком мыши
• Наличие автоматизированных сценариев
• Наличие сценариев тестирования
• Более реалистичное моделирование в реальном времени
• Запись сценария для создания исполняемых сценариев
• Бескодовая система тестирования, устраняющая необходимость в штатном программисте
• Круглосуточная экспертная поддержка
• Сопряжение с другим программным обеспечением, которое вы уже используете, например, JIRA или Rally Software

Заключительные соображения по функциональному тестированию

Автоматизированное программное обеспечение для функционального тестирования может сэкономить время, обеспечивая правильную работу программного обеспечения или приложений на различных пользовательских интерфейсах. Хотя существуют бесплатные автоматизированные версии, инструменты функционального тестирования корпоративного уровня предоставляют более комплексные решения для функционального тестирования программного обеспечения, преимущества и данные, размещенные в облаке, которые могут использоваться в организации.

При выборе компании по функциональному тестированию, такой как ZAPTEST, посещение веб-сайта компании по функциональному тестированию может дать вам лучшее представление о том, что предлагает каждый инструмент и чего он не предлагает.

Часто задаваемые вопросы по функциональному тестированию

Вот некоторые другие вопросы, которые следует рассмотреть в связи с функциональным тестированием.

Какие существуют виды тестирования?

Большинство способов тестирования программного обеспечения или приложений относятся к категориям функционального и нефункционального тестирования. Функциональное тестирование гарантирует, что программное обеспечение работает так, как ожидается, в то время как нефункциональное тестирование определяет, насколько хорошо программное обеспечение работает в рамках различных параметров.

Что такое методы тестирования?

Методы тестирования относятся к методам оценки системы или компонентов программного обеспечения на предмет их соответствия всем требованиям. Тестирование позволяет обнаружить, есть ли пробелы или ошибки, из-за которых он не соответствует требованиям. Тестирование может быть как ручным, так и автоматизированным.

Что такое функциональное тестирование с примером?

Определение функционального тестирования относится к функции. Функциональное тестирование — это способ проверки программного обеспечения или приложений, чтобы убедиться, что они работают так, как должны.

Например, вы можете проверить, что новая кодировка позволяет пользователям переходить на нужную страницу после входа в систему. Если этого не происходит, это указывает на ошибку в коде, которую необходимо устранить.

Автоматизация тестирования

Автоматизация тестирования абсолютно неотъемлема и необходима в современной разработке программного обеспечивания. Ее преимущества известны всем, что делает автоматизацию тестирования желанным для применения. Факт, отказ от ручного тестирования, сокращение затрат и автоматизация в спринте (in-sprint automation) подталкивают компании внедрять автоматизацию как можно скорее в собственные проекты. У каждой компании свой подход к достижению цели. Однако, они все совершают одинаковые ошибки в процессе внедрения автоматизированного тестирования.

Работая над фреймворками для автоматизированного тестирования, я пытался определить общие проблемы, с которыми сталкиваются организации, и ошибки, которые они совершают. Эти ошибки создают эффект снежного кома и влияют на возврат инвестиций (ROI) от автоматизации.

Улучшай внедрение автоматизации, избегая распространенных ошибок

Жизненный цикл автоматизированного тестирования

Для планирования, реализации и поддержки автоматизированных тестов, я разделяю автоматизацию на 4 этапа. Это помогает мне отслеживать и контролировать автоматизацию на проектах. Этапы имеют следующие названия:

1. Планирование автоматизации.

2. Проектирование/разработка автоматизации.

3. Внедрение и выполнение автоматизации.

4. Поддержка и улучшение автоматизации.

Я хотел бы представить распространенные ошибки в каждом из 4 этапов. Давайте посмотрим на них.

1. Ошибки на этапе планирования автоматизации

1. Не рассчитана окупаемость инвестиций (ROI).

2. Нет плана автоматизации/цели автоматизации.

3. Не определен и не приоритизирован объем тестирования перед стартом автоматизации.

4. Отсутствие задокументированных требований к среде автоматизации/нереалистичные ожидания.

5. Выбран неправильный уровень тестирования для автоматизации.

6. Выбор инструментов, так как они open-source или бесплатные.

7. Выбор неправильных инструментов автоматизации.

8. Выбор инструментов на основе навыков команды.

1.1 Не рассчитана окупаемость инвестиций (ROI)

Первая и наиболее частая ошибка, это незнание команд окупятся ли усилия, которые вложат в автоматизацию, или нет. Первоначальная цель автоматизации, это уменьшение расходов при увеличении уровня качества. Рассчитываем мы ROI при внедрении автоматизации в проект? Если ответ нет, какой смысл в автоматизации? Это фундаментальная проверка, которую должный делать команды перед началом автоматизации.

Решение проблемы — с помощью формулы ниже рассчитать ROI в автоматизацию.

RIO = «Затраты ручного тестирования, которые уменьшает автоматизация» — («Затраты на автоматизацию» — «Затраты на поддержку автоматизации»)

1.2 Нет плана автоматизации/цели автоматизации

Они говорят «Плохой план лучше чем его отсутствие». Однако, 80% проектов используют автоматизированное тестирование без плана. Неудивительно почему так много проектов автоматизации не оправдывают ожидания. Это происходит потому что нет шагов автоматизации, неявно установлена цель или нет сигнала о готовности начать, по сути, отсутствие плана автоматизированного тестирования. Часто проекты автоматизации выполняются одновременно с ручным тестированием, но как раз определить различия этих подходов? Насколько отличается их реализация? Разве не требуется различное мышление для выполнения ручного и автоматизированного тестирования? Получается, что нужен план для каждого подхода с разными критериями успеха?

Решение проблемы — создать эксклюзивный, специализированный и исчерпывающий план автоматизированного тестирования.

1.3 Не определен и не приоритизирован объем тестирования перед стартом автоматизации

Обычно говорят «нельзя улучшить то, что нельзя измерить», что верно при запуске проектов автоматизации. Как мы можем начать ее без определения объема тестирования? Без этого мы не можем измерить и сравнить результаты автоматизации. Без определения объема мы будем неуверенными на каждом этапе тестирования.

Решение проблемы — определить объем тестирования

1.4. Отсутствие задокументированных требований к среде автоматизации/нереалистичные ожидания

Был ли у вас когда-либо задокументированные требования к среде автоматизации? Мы убедились, что сложность разработки среды для автоматизации практические такая же, как и для разработки бизнес-приложений. Мы не начинаем разработку таких приложений без документации, но при этом начинаем автоматизацию без нее. Это приводит к неправильным/неизвестным ожиданиям от среды автоматизации и часто они нереалистичны.

Решение проблемы:

• Среда автоматизации — не начинать разрабатывать среду автоматизации без задокументированных требований к ней и определения цели автоматизации.

• Инструменты автоматизации — составить требования и ожидания от инструментов автоматизации и используйте инструменты, которые соответствуют требованиям.

1.5. Выбран неправильный уровень тестирования для автоматизации

Часто тестировщики фокусируются на автоматизации UI тестов для обеспечения end-to-end тестирования вместо интеграционных, API и БД тестов. Автоматизация нижних уровней тестирования обеспечит лучшее и детальное тестовое прикрытие с большей скоростью и меньшими затратами. UI тесты медленные и их дорого поддерживать. При этом мы не можем исключать тестирования UI, особенно для продуктов ориентированных на пользователя и продуктов Saas, но можем свести его к минимуму.

Решение проблемы — Понимать и следовать пирамиде тестирования, это фундамент успеха и эффективности автоматизации. Уделять больше внимания тестированию на низком, чем на более верхнем уровне пирамиды тестирования.

1.6. Выбор инструментов, так как они open-source или бесплатные

Основная причина неудач автоматизации — выбор инструментов или библиотек потому, что они бесплатные или имеют открытый исходный код. Хотя эти они отлично работают, если разработаны должным образом, однако в этом заключается проблема.

Разработка среды автоматизации — это, по сути, тот же процесс, что и разработка других бизнес приложений командой разработчиков. Это словно полноценный проект разработки, который должен иметь свои строгие стандарты жизненного цикла программного обеспечивания (SDLC). Разработчики среды автоматизации должны иметь тот же уровень компетенций, что и разработчики приложений. Потому, что возникает необходимость в процессах проверки кода, архитектуры, утверждении дизайна среды, тестировании, соблюдении стандартов кодирования, управлении кода и т.д. Если мы ожидаем качественный результат от автоматизации, разработанная среда автоматизации должна соответствовать всем практикам (best practices) SDLC.

Все это имеет цену и она может быть высокой. Риск провала проекта автоматизации высок, поскольку у организации всегда есть другие бизнес обязательства. Следовательно, бесплатное ПО и ПО с открытым исходным кодом не может быть «бесплатным» и существует риск неудачи, если оно не будет правильно разработано.

Решение проблемы:

• Использовать best practices для разработки среды автоматизации, которым следуют разработчики бизнес приложений.

• Рассмотреть платные или менее дорогостоящие инструменты на рынке, которые обеспечат экономию средств.

1.7 Выбор неправильных инструментов автоматизации

Популярный инструмент может не подходить для нашей задачи. Следовательно, команда тестирования должна сосредотачиваться на сценарии использования при выборе инструмента для автоматизации.

Решение проблемы:

• Определить для чего нужен инструмент автоматизации. Определить уровень в пирамиде тестирования. Подход к выбору инструмента может быть легче, если исходить из уровня тестирования.

• Применяя POC, использовать пробный период выбранного инструмента.

1.8 Выбор инструментов на основе навыков команды

Еще одна проблема заключается в выборе инструмента основываясь на навыках команды. Мир движется к no-code решениям и автоматизированное тестирования тоже. No-code инструменты автоматизации обеспечат более быструю работы без дополнительных навыков.

Решение проблемы — цель автоматизации не в улучшении навыков программирования команды, а скорее в сохранении средств ручного тестирования. Если первичная цель организации не в автоматизации тестирования, то лучше выбрать готовый инструмент, а не разрабатывать свой. Особенно для маленьких организаций лучше внедрить готовый инструмент, так как разработка и поддержка собственной среды автоматизации будет иметь низкую ROI, чем готовый платный инструмент.

2. Ошибки на этапе проектирования/разработки автоматизации

1. Нет дизайна разрабатываемой системы.

2. Нет обработки исключений.

3. Неправильный механизм логирования.

4. Нет стратегии управления кодом/ветками и управления выпуском.

2.1 Нет дизайна разрабатываемой системы

Классические проблемы с которыми сталкиваются при разработке приложений возникают и при разработке среды автоматизации. На самом деле, возможно, в большем масштабе чем разработчики приложений, потому что имеют более низкий уровень знаний. Отсутствие документации, в которой содержится информация о дизайне автоматизации приведет к некачественной разработке, потому что —

• Неструктурированные модули/монолитное приложение.

• Неправильные паттерны проектирования.

• Неприменение best practices.

• Нет процесса ревью кода.

• Низкая возможность переиспользование кода.

• Отсутствие модульности на функциональном уровне.

• Нет этапа тестирования самой среды автоматизации.

2.2. Нет обработки исключений

Часто ошибки, которые возникают в среде автоматизации необходимо исследовать и исправить в самом коде, потому что нет обработки исключений в самом коде в первую очередь. Следовательно, в отчете после выполнения нет удобных (изящных) исключений.

Решение проблемы — все типы исключений должны быть обработаны на каждом функциональном уровне. Код должен пройти процесс ревью для исключения отсутствия обработки исключений.

2.3 Неправильный механизм логирования

Среда автоматизации должна иметь эффективную систему логирования ошибок, с помощью которой осуществляется отслеживание и исправление дефектов без просмотра кода среды.

Решение проблемы — эффективный механизм логирования с указанием успешных шагов, ошибок и предупреждений должен интегрироваться в среду автоматизации.

2.4 Нет стратегии управления кодом/ветками и управления выпуском

Среда автоматизации содержит большое количество кода. Часто возникают конфликты в коде при работе над ним нескольких разработчиков. Это приводит к неструктурированному кода и неизбежным конфликтам в нем. При написании тестовых скриптов в среде автоматизации возникают сложности, которые заставить выпускать новые версии среды.

Решение проблемы — внедрение стратегии ветвления для среды автоматизации для совместной работы и увеличения функционала. Затем применять систему управления выпуском и использовать раздельно ветку разработки и выпуска.

3. Ошибки на этапе внедрения и выполнения автоматизации

1. Отсутствие определения объема тестирования.

2. Нет стратегии управления данными.

3. Автоматизация больших потоков.

4. Не проводится проверка тестов.

3.1 Отсутствие определения объема тестирования

Отсутствие определения объема тестирования приведет к отсутствию планирования на этапе внедрения автоматизации. Мы не сможем измерить результат работы по написанию тестовых скриптов.

Решение проблемы — перед запуском тестовых скриптов должен быть определен объем для покрытия автоматизацией. Объем регрессивного тестирования должен быть определен с целью последующей автоматизации.

3.2. Нет стратегии управления данными

Среда автоматизации должна иметь правильную стратегию управления данными. Хранение данных в файлах  excels, csv и т.п. устарело и замедляет выполнение тестов. Также, переменные с тестовыми данными не должны храниться в коде скриптов.

Решение проблемы — среда автоматизации должна иметь возможность хранить и предоставлять тестовые данные в удобном формате JSON, XML и т.п.

3.3 Автоматизация длинной бизнес логики

Автоматизация длинной бизнес логики может увеличить шанс неправильной отображения работоспособности тестируемого приложения, особенно в случае UI тестирования. Может быть случай, когда весь тестовый скрипт ломается из-за небольшого сбоя.

Решение проблемы — разделение длинных скриптов на маленькие поможет повысить стабильность их выполнения. Скорость прохождения набора тестов увеличится, а ошибки будут корректно указываться в точках сбоя.

3.4. Не проводится проверка тестов

Часто автоматизированные скрипты не подвергаются проверки. Ручной тестировщик проверяет сценарии во время их выполнения, но автоматизаторы часто пропускают проверку фактического результата и ожидаемого в разработанных скриптах. Следовательно, ухудшают тестовое покрытие.

Решение проблемы — получить подтверждение правильности скриптов от заинтересованного лица. Заинтересованным лицом может быть бизнес аналитик или QA.

4. Ошибки на этапе поддержки и улучшения автоматизации

1. Нет обновления кода скриптов при изменении функционала тестируемого приложения.

2. Редкие запуски тестов.

3. Зависимость от члена команды.

4.1 Нет обновления кода скриптов при изменении функционала тестируемого приложения

Изменения или улучшения функционала приводит к волновому эффекту. Не обновляя код тестовых скриптов приводит к их устареванию.

Решение проблемы — Среда автоматизации должна иметь возможность легко обновлять тестовые скрипты. Какая польза от среды автоматизации, если при каждом изменении функциональности приложения нужно вносить изменения в ее код для улучшения тестовых скриптов? Это худший дизайн среды автоматизации.

4.2 Редкие запуски тестов

Команда автоматизаторов должна иметь техническую возможность запускать тесты часто. Во время гибких методологий разработки, это становится наиболее важным. Редкий запуск тестов создает две проблемы:

• Не реализация потенциала автоматизации и недостаточное тестирование приложения.

• Мы не сможем понять насколько устарел наш тестовый скрипт относительно изменений функционала тестируемого приложения. Частый запуск тестов обеспечивает своевременную проверку актуальности тестов. Это также гарантирует, что мы постепенно обновляем скрипты, избегая их устаревания и неуправляемых изменений.

Решение проблемы — Запуск автоматизации на отдельно выделенной машине обеспечивает работу скриптов в любое время и без потери времени автоматизатора. Еще лучшим подходом является интеграция запуска тестов в CI/CD.

• Решение проблемы —

  Запуск автоматизации на отдельно выделенной машине обеспечивает работу скриптов в любое время и без потери времени автоматизатора. Еще лучшим подходом является интеграция запуска тестов в CI/CD.

4.3 Зависимость от члена команды

Другой ошибкой является зависимость от конкретного сотрудника для запуска тестов или зависимость от его учетных данных. Это ненужная зависимость, которая уменьшает гибкость автоматизации.

Решение проблемы — Создать и использовать общие ID, предоставлять доступ к приложению по общему ID и запускать тесты используя общей ID.

Вот объединенный список частых ошибок, которые возникают во время планирования и внедрения в проекты у команд автоматизации.

Планирование автоматизации

1. Не рассчитана окупаемость инвестиций (ROI).

2. Нет плана автоматизации/цели автоматизации.

3. Не определен и не приоритизирован объем тестирования перед стартом автоматизации.

4. Отсутствие задокументированных требований к среде автоматизации/нереалистичные ожидания.

5. Выбран неправильный уровень тестирования для автоматизации.

6. Выбор инструментов, так как они open-source или бесплатные.

7. Выбор неправильных инструментов автоматизации.

8. Выбор инструментов на основе навыков команды.

Проектирование/разработка автоматизации

1. Нет дизайна разрабатываемой системы.

2. Нет обработки исключений.

3. Неправильный механизм логирования.

4. Нет стратегии управления кодом/ветками и управления выпуском.

Внедрение и выполнение автоматизации

1. Отсутствие определения объема тестирования.

2. Нет стратегии управления данными.

3. Автоматизация больших потоков.

4. Не проводится проверка тестов.

Поддержка и улучшение автоматизации

1. Нет обновления кода скриптов при изменении функционала тестируемого приложения.

2. Редкие запуски тестов.

3. Зависимость от члена команды.

Выводы

Мы пришли к выводу, что разработка среды автоматизации также сложна, как и разработка бизнес-приложений. Становится понятно почему совершается много ошибок, если процессу разработки среды не уделять должного значения, не соблюдая best practices или не используются правильные ресурсы и навыки. Также, open-source инструменты не дают ожидаемого эффекта. Если организация не заинтересована в развитии средств автоматизации тестирования, это знак к использованию готовых решений, которые обеспечат более высокую ROI за счет уменьшений расходов на разработку и поддержку собственной среды. Особенно в случае маленьких компаний будет сложно обосновать ROI, поскольку они имеют меньшую экономическую гибкость.

Выбор инструмента тестирования

Выбор средства тестирования во многом зависит от технологии, на которой построено тестируемое приложение. Например , QTP не поддерживает Informatica. Таким образом, QTP нельзя использовать для тестирования приложений Informatica . Хорошая идея – провести Proof of Concept of Tool (демонстрация практической осуществимости) на AUT.

Определяем объем автоматизации

Объем автоматизации – это область тестируемого приложения, которая будет автоматизирована. Его помогают определить следующие пункты:

• Функции, важные для бизнеса
• Сценарии с большим объемом данных
• Общие функции приложений
• Техническая осуществимость
• Частота повторного использования бизнес-компонентов
• Сложность тестовых случаев
• Возможность использовать одни и те же тестовые сценарии для кросс-браузерного тестирования

Планирование, проектирование и разработка

На этом этапе вы создаете стратегию и план автоматизации, которые содержат следующие детали:

• Выбранные инструменты автоматизации
• Конструкция каркаса и его особенности
• Входящие и выходящие за рамки элементы автоматизации
• Подготовка стендов автоматизации
• График и временная шкала сценариев и выполнения
• Результаты тестирования автоматизации

Выполнение теста

На этом этапе выполняются сценарии автоматизации. Сценариям необходимо ввести тестовые данные, прежде чем они будут запущены. После выполнения они предоставляют подробные отчеты об испытаниях.

Выполнение может быть выполнено с использованием инструмента автоматизации напрямую или с помощью инструмента управления тестированием, который вызовет инструмент автоматизации.

Пример: Центр качества – это инструмент управления тестированием, который, в свою очередь, вызывает QTP для выполнения сценариев автоматизации. Скрипты могут выполняться на одной машине или на группе машин. Для экономии времени тестирование можно проводить ночью.

Обслуживание автоматизированного тестирования

Этот этап автоматизированного тестирования проводится для проверки того, как работают новые функции, добавленные в программное обеспечение: нормально или нет. Сопровождение в автотестировании выполняется, когда добавляются новые сценарии автоматизации, и их необходимо проверять и поддерживать, чтобы повышать эффективность сценариев автоматизации с каждым последующим циклом выпуска.

Платформа для автоматизации

Фреймворк – это набор руководств по автоматизации, которые:

• поддерживают последовательность тестирования;
• улучшают структурирование теста;
• позволяют использовать минимальное количество кода;
• уменьшают затраты на обслуживания кода;
• повышают удобство повторного использования;
• дают возможность нетехническим тестировщикам участвовать в кодировании тестов;
• помогают сократить срок обучения использованию инструмента;
• включают данные везде, где это необходимо.

Для автоматизации тестирования программного обеспечения используют четыре типа фреймворков:

1. платформа автоматизации на основе данных;
2. фреймворк автоматизации на основе ключевых слов;
3. модульная платформа автоматизации;
4. гибридная среда автоматизации.

Рекомендации для эффективной автоматизации тестирования

Чтобы получить максимальную рентабельность инвестиций в автоматизацию, соблюдайте следующие правила:

• Объем автоматизации необходимо детально определить до начала проекта. Это позволит убедиться, что ожидания от автоматизации будут оправданы.
• Определите правильный инструмент автоматизации: инструмент не должен выбираться на основании его популярности, он должен соответствовать требованиям автоматизации на конкретном проекте.
• Выберите подходящий фреймворк.
• Стандарты создания сценариев. При написании сценариев для автоматизации необходимо соблюдать стандарты. Вот некоторые из них:
  • cоздайте единые скрипты, комментарии и отступы кода;
  • разработайте правила наименования тестовых сценариев;
  • прикладывайте необходимые документы, если, например, сложно понять прохождение тестового сценария без скриншота и/или спецификации.
• Определите метрики и следите за ними. Успех автоматизации нельзя определить лишь путем сравнения затраченных усилий, на тот или иной вид тестирования. Вот основные показатели:
  • процент обнаруженных дефектов;
  • время, необходимое для тестирования автоматизации выпуска каждого нового цикла;
  • минимальное время требуемое для выпуска;
  • индекс удовлетворенности клиентов;
  • улучшение производительности.

Приведенные выше рекомендации, если их соблюдать, позволят качественно выполнить автоматизацию тестирования.

Преимущества автоматизации тестирования

• На 70% быстрее, чем при ручном тестировании.
• Более широкий тестовый охват функций приложения.
• Надежные в результаты.
• Обеспечивает согласованность тестовых моделей.
• Экономит время и деньги.
• Повышает точность.
• Позволяет исполнять процесс тестирования без вмешательства человека.
• Повышает эффективность .
• увеличивает скорость исполнения тестирования.
• Повторно использует тестовые скрипты.
• Позволяет тестировать часто и тщательно.
• Больший цикл выполнения может быть достигнут за счет автоматизации.
• Сокращает время выхода продукта на рынок

Типы автоматизированного тестирования

• Смоук тестирование
• Модульное тестирование
• Интеграционное тестирование
• Функциональное тестирование
• Проверка ключевых слов
• Регрессионное тестирование
• Тестирование на основе данных
• Тестирование черного ящика

Как выбрать инструмент автоматизации?

Выбор подходящего инструмента может оказаться сложной задачей. Следующие критерии помогут вам выбрать лучший инструмент для ваших требований:

• поддержка окружающей среды;
• легкость использования;
• тестирование базы данных;
• идентификация объекта;
• тестирование изображений;
• тестирование восстановления после ошибок;
• отображение объектов;
• используемый язык сценариев;
• поддержка различных типов тестирования, в том числе функционального, тестового управления, мобильного и т. д.;
• поддержка нескольких фреймворков тестирования;
• легко отлаживать сценарии программного обеспечения автоматизации;
• умение распознавать предметы в любой среде;
• обширные отчеты об испытаниях и их результаты;
• минимизация затрат на обучение выбранным инструментам.

Выбор инструмента – одна из самых серьезных проблем, которую необходимо решить, прежде чем приступать непосредственно к автоматизации. Во-первых, определите требования, изучите различные инструменты и их возможности, установите ожидания от инструмента и сделайте Proof Of Concept.

Инструменты автоматизации тестирования

На рынке доступно множество инструментов для функционального и регрессионного тестирования. В следующих выпусках расскажем в пользу чего делают выбор наши практикующие специалисты.

Ranorex StudioЭто универсальный инструмент для автоматизации функциональных тестов пользовательского интерфейса, регрессионных тестов, тестов на основе данных и многого другого. Ranorex Studio включает простой в использовании интерфейс для автоматизации тестирования веб-приложений, настольных и мобильных приложений.

Особенности:

• Функциональный пользовательский интерфейс и сквозное тестирование на ПК, в Интернете и на мобильных устройствах
• Кроссбраузерное тестирование
• SAP, ERP, Delphi и унаследованные приложения.
• iOS и Android
• Запускайте тесты локально или удаленно, параллельно или распределяйте в Selenium Grid
• Надежная отчетность

Testim

«Самый быстрый путь к отказоустойчивым сквозным тестам – без кода, с кодированием или и тем, и другим. Testim позволяет создавать удивительно стабильные тесты без кода, которые используют наш ИИ, а также гибкость для экспорта тестов в виде кода. Такие клиенты, как Microsoft, NetApp, Wix и JFrog, ежемесячно проводят миллионы тестов на Testim.

Особенности

• Вы можете использовать современный JavaScript API от Testim и свою IDE для отладки, настройки или рефакторинга тестов.
• Храните тесты в своей системе управления версиями, чтобы синхронизировать их с ветвями и запускать тесты при каждой фиксации.
• Интеграция с популярными инструментами»

21 Labs

«Это сложная самообучающаяся платформа автоматизации тестирования и аналитики для приложений iOS и Android.

Особенности:

• Быстрая и интеллектуальная разработка – создание с помощью ИИ дает пользователям возможность создавать автоматизированные функциональные тесты и тесты пользовательского интерфейса за считанные минуты.
• Результаты, которым вы доверяете – бесшовная система алгоритмических локаторов обеспечивает стабильные результаты во всех средах.
• Устранение проблем с обслуживанием и нестабильных результатов – самообучающееся обслуживание автоматически обновляет тесты и гарантирует, что ваша команда может сосредоточиться на разработке новых функций, полагаясь на результаты тестов.
• Выпускайте с уверенностью – производственная интеграция закрывает цикл обратной связи и анализирует фактическое покрытие. Используйте данные при выпуске.
• Полностью SaaS, не требует установки или устройств для создания или выполнения тестов. Предлагает беспрепятственный доступ к десяткам устройств».

Selenium Это инструмент тестирования программного обеспечения, используемый для регрессионного тестирования. Это инструмент тестирования с открытым исходным кодом, который предоставляет возможность воспроизведения и записи для регрессионного тестирования. Селен IDE поддерживает только Mozilla Firefox веб – браузер.

Особенности:

• Он обеспечивает возможность экспорта записанного скрипта на других языках, таких как Java, Ruby, RSpec, Python, C# и т. д.
• Его можно использовать с такими фреймворками, как JUnit и TestNG.
• Он может выполнять несколько тестов одновременно
  Автозаполнение для общих команд Selenium
• Пошаговые тесты
• Идентифицирует элемент с помощью идентификатора, имени, X-пути и т. Д.
  Храните тесты как Ruby Script, HTML и любой другой формат
• Он предоставляет возможность утверждать заголовок для каждой страницы
• Он поддерживает файл selenium user-extensions.js
• Это позволяет вставлять комментарии в середину скрипта для лучшего понимания и отладки.

QTP (MicroFocus UFT)

Широко используется для функционального и регрессионного тестирования, он касается всех основных программных приложений и сред. Чтобы упростить создание и обслуживание тестов, в нем используется концепция тестирования, управляемого ключевыми словами. Это позволяет тестировщику создавать тестовые примеры прямо из приложения.

Особенности:

• Нетехническому человеку проще адаптироваться и создавать рабочие тестовые примеры.
• Он быстрее устраняет дефекты, тщательно документируя и воспроизводя дефекты для разработчика.
• Сверните создание тестов и документацию по тестам на одном сайте
• Параметризация проще, чем в WinRunner
• QTP поддерживает среду разработки .NET
• У него лучший механизм идентификации объекта
• Он может улучшить существующие сценарии QTP без доступности «Тестируемого приложения», используя активный экран.

Rational Functional Tester Это объектно-ориентированный инструмент автоматизированного функционального тестирования , способный выполнять автоматическое функциональное, регрессионное тестирование, тестирование на основе данных и тестирование графического интерфейса. Основные особенности этого инструмента:

Особенности:

• Поддерживает широкий спектр протоколов и приложений, таких как Java, HTML, NET, Windows, SAP, Visual Basic и т. д.
• Может записывать и воспроизводить действия по запросу
• Он хорошо интегрируется с инструментами управления исходным кодом, такими как Rational Clear Case и Rational Team Concert.
  Он позволяет разработчикам создавать скрипт, связанный с ключевыми словами, чтобы его можно было использовать повторно.
  Редактор Eclipse Java Developer Toolkit
• Помогает команде кодировать тестовые сценарии на Java с помощью Eclipse.
• Поддерживает настраиваемые элементы управления через прокси SDK (Java / .Net)
• Поддерживает управление версиями, чтобы обеспечить параллельную разработку тестовых сценариев и одновременное использование географически распределенной командой.

Watir

Это программное обеспечение с открытым исходным кодом для регрессионного тестирования. Это позволяет вам писать тесты, которые легко читать и поддерживать. Watir поддерживает только Internet Explorer в Windows, а веб-драйвер Watir поддерживает Chrome, Firefox, IE, Opera и т. д.

Особенности:

• Он поддерживает несколько браузеров на разных платформах.
• Вместо того, чтобы использовать собственный сценарий поставщика, он использует полнофункциональный современный язык сценариев Ruby.
• Он поддерживает ваше веб-приложение независимо от того, на чем оно разработано.

SilkTestSilk Test предназначен для выполнения функционального и регрессионного тестирования. Для приложений электронного бизнеса шелковый тест является ведущим продуктом для функционального тестирования. Это продукт поглощения Segue Software компанией Borland в 2006 году. Это объектно-ориентированный язык, как и C ++. Он использует концепцию объекта, классов и наследования. Его основная особенность включает

Особенности:

• Он состоит из всех файлов исходных скриптов.
• Он преобразует команды сценария в команды графического интерфейса. На одном компьютере команды могут выполняться на удаленном или хост-компьютере.
• Чтобы идентифицировать движение мыши вместе с нажатиями клавиш, можно запустить Silktest. Он может использовать как методы воспроизведения и записи, так и методы описательного программирования для получения диалогов.
• Он определяет все элементы управления и окна тестируемого приложения как объекты и определяет все атрибуты и свойства каждого окна.

Заключение

Правильный выбор инструмента автоматизации, процесса тестирования и команда – основные составляющие успеха автоматизации. Для успешного тестирования ручные методы и автоматизация идут рука об руку.

Стратегия автоматизации тестирования при разработке программного продукта тесно связана со стратегией тестирования в целом. На ее формирование влияют такие факторы, как цели тестирования, определяющие объекты и виды тестирования, оценка необходимой тестовой среды, определение необходимых процессов и инструментов автоматизации.

Отдельный важный вопрос, который нужно решать команде тестировщиков – писать ли код, или использовать специализированные решения без кодирования.

Разобраться в этих нюансах помогает ведущий специалист-тестировщик компании IT_One Алексей Антонов.

Алексей Антонов

Ведущий специалист-тестировщик компании IT_One

Мы тестируем программный продукт для того, чтобы получить наиболее полное представление о нем, убедиться в том, что он корректно выполняет задачу и соответствует определенным требованиям. Сосредоточиться на наиболее важных моментах в процессе тестирования нам помогает простая практика: последовательный ответ на несколько ключевых вопросов для дальнейшего формирования набора артефактов тестирования, планирования, выполнения и подготовки результатов. К таким ключевым вопросам относятся следующие:

• Какие цели мы преследуем?
• Что именно мы будем тестировать?
• Какие виды и уровни тестирования будем применять?
• Какое тестовое окружение нам понадобится?
• Кто будет этим заниматься?
• Когда необходимо планировать мероприятие по тестированию?
• Какие существуют ограничения на объем выполняемых работ?

При этом первые пять вопросов являются «входной точкой» для стратегии автоматизации, мы остановимся на них более подробно. Последние два больше относятся к планированию и проведению самих работ.

Стратегия автоматизации тестирования

Определение цели тестирования – наша первоочередная задача, которая поможет выбрать виды тестирования из большого количества возможных. Например, если мы имеем дело с системой интернет-магазина, для нее важно обеспечить возможность совершения покупок (здесь подойдет функциональное тестирование), стабильность, скорость и масштабируемость обслуживания (тестирование производительности), скорость внедрения новых идей в систему (регрессионное тестирование), безопасность покупки (тестирование на проникновение или тестирование безопасности), соответствие стандартам и законодательным нормам.

На этапе формирования перечня объектов тестирования нам нужно понять, из чего наша система состоит, видеть ее логическую архитектуру, получить спецификацию или набор требований к системе. В нашем примере с интернет-магазином пользователь обращается к сервису через веб-интерфейс или с помощью мобильного приложения; имеется сервер приложений, с которым происходит взаимодействие по протоколу HTTP/HTTPS на базе REST архитектуры; в базе данных накапливается информация о покупках, платежах и прочих операциях пользователя; интеграция с какой-то внешней системой позволяет магазину выполнять доставку товара, проводить платежи и т. д.

Понимая взаимодействие между этими блоками, мы можем определить круг объектов тестирования: пользовательский интерфейс (при тестировании необходимо убедиться, что заказ сформирован и оформлен), интерфейс взаимодействия между компонентами системы или API (качество передачи данных), хранилище данных (насколько корректны данные заказов, насколько база данных удовлетворяет требованиям по безопасности, выдерживает ли нагрузку), программные модули или компоненты приложения, интеграции с внешними системами.

Собрав, таким образом, объекты тестирования согласно целям, мы оцениваем, какие виды тестирования можем применить для каждого из них. В зависимости от уровня, на котором находится объект тестирования (модуль, интеграция модулей, система целиком, межсистемная интеграция, сквозной бизнес-процесс) мы определяем необходимый и достаточный объем тестирования для достижения целей тестирования.

Автоматизировать или нет?

Теперь перед нами встает задача: какую часть процесса тестирования мы можем автоматизировать. При этом мы учитываем следующие факторы:

• целесообразность – например, период окупаемости, возврата инвестиций;
• необходимость автоматизации – в некоторых случаях без нее просто не обойтись, например, если мы следуем определенным стандартам разработки в компании;
• обязательность автоматизации – например, в автомобильной промышленности для компонентов систем беспилотного вождения обязательно требуется полное покрытие кода модулей юнит-тестами;
• ограничения ручного тестирования – не все протоколы можно протестировать вручную в разумный срок) и автоматизированного – не всё можем автоматизировать с помощью доступных инструментов, или это будет очень долго и дорого.

Отмечу также, что автоматизация, как правило, дает результаты «вдолгую» – то есть чем больше происходит повторений тестов, тем больше эффект от их автоматизации.

Можно выделить ряд проектов, в которых автоматизация всегда оправдана:

1. долгосрочные проекты с частыми изменениями;
2. проекты с высокими требованиями по безопасности;
3. проекты со сложными вычислениями, фильтрацией данных;
4. тестирование сборки и установки;
5. протоколы, API и интеграции;
6. высоконагруженные системы;
7. проекты с высокими требованиями к качеству разработки.

Наоборот, автоматизация окажется излишней в небольших коротких проектах без поддержки (PoC, демо) и в проектах с небольшим количеством итераций тестирования.

Выбор инструментов тестирования

Определившись с задачами, объектами и форматом тестирования, мы можем построить решение по автоматизации, подобрав необходимые инструменты и сформировав фреймворк автоматизации. Я бы описал инструмент автоматизации как некий «черный ящик», обладающий функционалом написания и предоставления скриптов, умеющий воспроизводить эти скрипты, а также принимать некие тестовые данные и управлять объектами тестирования, проводить необходимые проверки и выдавать результаты в виде отчета.

Вернемся к нашему примеру с интернет-магазином и первому объекту тестирования: интерфейсу пользователя. Мы берем конечный интерфейс взаимодействия пользователя с нашей системой и начинаем подбирать наиболее подходящий инструмент, обращая особое внимание на то, насколько стабильно он распознает и умеет управлять элементами интерфейса. В итоге это могут быть такие программные продукты, как как Unified Functional Testing (UFT), Katalon Studio, Test Complete, Ranorex или программные библиотеки Selenium, Appium и аналогичные им.

Аналогично мы выбираем инструменты для других объектов с учетом их специфики. Например, для тестирования автоматизации API приоритет отдается поддержке нужных протоколов взаимодействия, а для тестирования хранилища данных – работе инструмента с СУБД.

Для более точного выбора мы смотрим на возможности самого инструмента: можно ли его запустить из консоли, насколько он расширяемый (и во сколько обойдется покупка дополнительных модулей, их интеграция), в какой среде может быть использован, имеет ли интеграцию с нужной системой управления тестированием и системой отслеживания ошибок.

Кстати, некоторые инструменты являются полноценными платформами, и с их помощью можно подвергать тестированию несколько объектов сразу. Также они могут быть интегрированы с системой управления тестированием.

Открытый код, проприетарный продукт или собственная разработка

Отдельно стоит упомянуть о разделении инструментов тестирования на категории по типу разработки:

1. решение на базе Open Source-элементов;
2. коммерческое (проприетарное) решение;
3. внутренняя разработка.

Каждая категория имеет свои преимущества и недостатки.

Так, продукты на базе Open Source, как правило, хорошо решают свои специализированные задачи, поддерживаются большим комьюнити (где можно найти ответы даже на те вопросы, которых нет в документации), обладают гибкостью разработки. Успешные Open Source проекты активно развиваются, при этом нам никто не мешает вам при наличии соответствующей экспертизы создать отдельную ветку и дописать в ней функционал, которого этому инструменту не хватает. В то же время такие инструменты требуют интеграции в комплексное решение по управлению тестированием, определенной квалификации ИТ-специалистов, а также имеют риск прекращения разработки или поддержки.

Готовое коммерческое решение – это протестированный, квалифицированный продукт. Он отлично справляется с типовыми задачами, имеет возможность подключения специализированной поддержки и низкий порог входа. Основной функционал подробно описан, продукт удобен и прост в использовании, зачастую даже не требует навыков написания кода. Недостатками таких решений являются высокая стоимость лицензий и поддержки, ограниченная экспертиза (решение может быть настолько уникальным, что какой-то новый проект с его помощью мы не сможем реализовать), ограниченная интеграция  с системами управления тестирования. Зависимость от вендора также имеет место: не всегда имеющиеся проблемы существующего продукта у конкретного заказчика будут исправлены в первую очередь.

Внутренняя разработка – самописный инструмент, который максимально подходит под объект тестирования: мы изначально знаем, что хотим от него получить. При этом мы обладаем максимальной экспертизой по этому инструменту внутри команды и имеем возможность в какой-то момент выпустить его в Open Source. Однако для создания такого решения требуется высококвалифицированная команда разработчиков и/или инженеров по автоматизации. При его использовании мы так же можем столкнуться с низкой скоростью поддержки и ограниченной экспертизой.

Так ли надо писать код

Прежде, чем ответить на этот вопрос, посмотрим, какие специалисты нам нужны для реализации уже готовой стратегии автоматизации и какие проектные роли они исполняют – в рамках внутренней, аутсорсинговой или аутстаффинговой команды.

Менеджер продукта, аналитик, тестировщик – создают тесты, определяют наборы тестов с приоритетами, пишут некие скрипты для автоматизации, запускают автотесты, анализируют результаты. В целом они формируют требования к автоматизации тестирования, так как являются основными пользователями.

Автоматизатор функционального и регрессионного тестирования – на его плечи ложится поддержка и развитие фреймворка автоматизации, обучение и поддержка пользователей-тестировщиковподдержка инфраструктуры тестирования.

Разработчик – тоже может заниматься автоматизацией тестирования. Отмечу положительный эффект от того, когда экспертиза в тестировании передается в разработку и, наоборот, разработка помогает в инструментации своего кода для дальнейшего использования в автоматизации тестирования.

DevOps инженер – помогает как разработчикам, так и тестировщикам, а также автоматизаторам в поддержке и развертывании сред разработки и выполнения автоматизированного тестирования.

Итак, писать код стоит:

• когда в команде наработана экспертиза автоматизации, разработчики и тестировщики имеют определенный опыт;
• когда возникает сложность с приобретением коммерческих лицензий (причинами могут быть, например, бюджет или сроки на внедрение и обучение пользователей);
• когда нет готовой интеграции с инструментами управления тестированием или с другими компонентами существующего фреймворка;
• когда необходимо поддерживать низкие уровни тестирования.

Чтобы использовать решения без кодирования, команде также нужно иметь некую экспертность, понимание ограничений инструмента. Не требуется написание кода для простых сценариев (когда нужно провести тестирование несколько раз и впоследствии не заниматься его поддержкой), при нагрузочном тестировании (часто используется запись скрипта и его параметризация тестовыми данными) и при тестировании безопасности. Также, по моему опыту, не стоит вкладываться в разработку ферм мобильных устройств.