При аутсорсинге тестирования программного обеспечения всегда возникает множество вопросов как о его целесообразности и преимуществах, так и о различных нюансах, касающихся выбора QA компании, взаимодействия с командой тестировщиков, рабочих процессах, прозрачности, надежности и многом другом.
Поэтому мы решили узнать у Александра Райского — руководителя QA отдела компании ИксБи Софтваре, специализирующейся на аутсорсинге тестирования программного обеспечения о самом главном, на что стоит обратить внимание клиентам при работе с QA компанией.
— Чем обычно обеспокоен клиент при заказе QA аутсорсинга?
— Когда клиент обращается за разработкой, на самом деле он меньше всего думает о тестировании, так как на выходе он гарантированно получит работоспособный продукт. Другое дело, когда нужен именно аутсорсинг тестирования и клиент намерено его ищет. Тогда уже в зависимости от подготовки клиента вопросы бывают совершенно разного плана. Но, как и во всем, главными вопросами становятся стоимость, качество и скорость. Причем иногда скорость и качество не так волнуют клиента, как стоимость. Здесь следует учитывать, что клиенту важен в первую очередь свой продукт, а выгода от траты денег на тестирование не всегда понятна и очевидна.
— Сразу возникает второй вопрос зачем нужно тестирование ПО? и в чем преимущества аутсорса тестирования?
Такой вопрос обычно присутствует при интервью на работу, иногда можно услышать интересные варианты ответов. Причем много из них правильных — это и обеспечение качества приложения, и процесс испытания программного продукта, и проверка работоспособности, в общем и целом, вариантов много, главное к чему все приходят — это то, что продукт должен быть готов к встрече с потребителем и не ударить в грязь лицом — вот за это и отвечают настоящие QA. Насчёт преимуществ: здесь, как и в целом в аутсорсе, выгода в сэкономленных средствах, профессионализме и, как бы там ни было, в отстраненности от самой разработки. Насчёт стоимости и профессионализма, думаю, не стоит объяснять. Выгоднее заплатить один раз профессионалам, а не создавать команду, набирать персонал, обучать, прививать процессы. Отстраненность от группы разработки играет немаловажную роль в тестировании: холодный, взвешенный и объективный подход к любой задаче в работе с программным обеспечением — это самое лучшее решение.
— Что может повлиять на выбор QA компании?
— В первую очередь клиента интересует цена. И стоит заметить, что мы держим наши цены на довольно приемлемом уровне. Кому-то нужны красивые отчеты и графики, кто-то хочет видеть прозрачные процессы, и так далее. Некоторые клиенты предпочитают получить готовый результат, не тратя время на излишнюю отчетность. Но бывает, что клиент непреклонен и приходится раз за разом тратить существенное количество времени на, так сказать, бумажную работу.
— Какие самые популярные виды тестирования, которые оказывает компания ИксБи Софтваре?
— В основном это функциональное тестирование веб-сайтов, от краткосрочных до долгосрочных проектов. Приложения для работы в браузере, например, по организации работы персонала или сбору статистических данных. Это в большей мере долгосрочные проекты. Для проектов, которые приходят и уходят, можно назвать мобильное тестирование, тестирование под нагрузкой, тестирование игровых приложений. Реже, но все же попадаются, запросы на тестирование фокус-групп, seo-тестирование, тестирование прототипов и спецификаций, и другие.
— Какие наиболее частые проблемы возникают при тестировании продукта?
— Самая частая проблема — это нехватка времени, так как обычно нужно, чтобы было готово всё еще вчера, а сегодня уже назначен релиз. В таком случае приходится придумывать, как всем угодить и выполнить работу качественно, увеличить количество qa на проекте, овертаймить или разделить релиз на несколько этапов. На втором месте я бы поставил внезапные изменения в продукте и отсутствие полного объема спецификаций, что в первую очередь сказывается на конечном продукте, так как ожидаемый результат клиентом может отличатся от нашего. В таких случаях необходимо больше взаимодействовать с заказчиком для выяснения тонкостей или полагаться на стандарты и собственный опыт.
— А какие претензии у заказчика могут возникнуть при приемке проекта?
— На самом деле сложно что-то вспомнить из серьезных претензий по QA при приемке заказчиком. Скорей это вопросы о том, как же лучше сделать или реализовать тот или иной функционал, который мы предлагаем изменить. В большинстве случаев мы начинаем так тесно сотрудничать, что становимся одной командой и вместе отвечаем за реализуемый проект. Поэтому все заинтересованы в результате. За работу, которую отдают нам на аутсорс тестирования, мы получаем обычно благодарности. Получилось как-то рекламно, но это так и происходит в реальности: клиент перестаёт разделять своих и чужих. Да, могут возникать какие-то претензии непосредственно во время работы над проектом, но это скорей рабочие моменты, чем претензии, которые всегда обсуждаются и решаются.
— Что делать, если проект уже принят заказчиком, а через месяц вдруг находится баг, который все ломает? что делать и кто за это будет платить?
— Чинить!!! Срочно чинить, а потом уже разбираться в чем дело. Таких случаев на практике хватает. Как выясняется впоследствии — поменялось окружение, например железо, ось, браузеры, и так далее. Нашей задачей, помимо прочего, является проверка продукта в конечной среде использования. Здесь мы уверены в качестве продукта и отвечаем за результат. Еще не было ни одного случая, чтобы мы пропустили такой баг на продакшен. Если говорить о комплексе услуг с нашей стороны — и разработке и тестировании — то мы предоставляем 6-12 месяцев технической поддержки в зависимости от проекта. Конечно, и крупные баги, возникшие в последствии, можем тоже устранять, ведь для нас важно чтобы приложение было на уровне.
— Что в себя включает услуга бесплатного тестирования и почему заказчику следует ей воспользоваться? в чем подвох?
— Когда у нас возникла идея запустить услугу бесплатного тестирования мы постарались не ограничивать клиента ни какими рамками из того спектра услуг, который мы предоставляем. Идея заключалась в том, чтобы наши QA получали больше разнообразных задач из всех областей тестирования. Мы получаем запрос на бесплатное тестирование и оцениваем, какой объём работы будет выполнен в зависимости от загруженности QA отдела. Мы стараемся сделать так, чтобы клиент получил законченный результат, баг-репорты и отчёт по тестированию. Подвохов на самом деле нет никаких. Это просто большой плюс в копилку нашего опыта, нивелирование периодически возникающих простоев в работе и отличный шанс заказчику увидеть и оценить результаты нашей работы бесплатно.
— Как построена совместная работа команды тестировщиков и разработчиков клиента? как происходит контроль?
— Если мы говорим о выделенном QA, который внедряется в команду разработчиков заказчика, то здесь всё предельно просто. Он является частью команды и контактирует напрямую с разработчиками и менеджерами клиента. Так как наши QA, которых мы предлагаем на аутсорс, являются профессионалами в своём деле и при работе на внутренних проектах компании получили большой и разнообразный опыт, то им легко сработаться с командой разработчиков. А учитывая то, что при этом они находятся все равно в нашем отделе, они всегда могут получить консультацию или, услышав новые идеи и методы на лекциях и семинарах, которые они регулярно посещают, сразу же их применять их на практике. Мы всегда держим обратную связь как с командой разработки, так и с менеджерами. Всегда в курсе дел и можем своевременно отреагировать, если возникают какие-то проблемы.
— Сколько тестировщиков нужно для тестирования одного небольшого проекта либо одного крупного проекта? Как определить, сколько нужно QA специалистов?
— Здесь всё точно так же, как и у команды разработчиков. Для начала нужно выяснить время, необходимое для тестирования проекта, а дальше, исходя из сроков, можно выяснить сколько человек оптимально будут заниматься проектом. Это что касается разового тестирования. Если же мы внедряем QA в команду разработчиков, то здесь работает правило одного QA на 2-4 человек программистов. Опять же если дополнительно нужно проводить нагрузочное тестирование или автоматизировать тест-кейсы, то скорее можно говорить об одном QA на двух программистов.
Если у вас есть вопросы, которые мы не осветили в интервью, присылайте их нам через форму обратной связи либо оставляйте в комментариях, и мы постараемся на них ответить.
