Reducimos el tiempo de ejecución de las pruebas un 99% para Venca
1. Situación
Venca es una compañía de moda líder en ecommerce en España y Portugal. Cuenta con 3 equipos de desarrollo formado por unas 5 personas cada uno.
Se llevan a cabo releases aproximadamente cada 3 semanas de manera programada.
2. Problema
Se realizaban pruebas de regresión manuales consistentes en 130 tests en 6 entornos diferentes (desktop tablet y móvil, en España y Portugal). Todo en un único dispositivo.
Nunca se llegó a ejecutar una regresión completa. Si se hubiera hecho, el tiempo aproximado sería de 16 horas.
Disponían de unas baterías de pruebas en desuso programadas en SpecFlow. Estaban basadas en pruebas con literales, entornos hardcodeados, necesidad de acceso a BBDD, etc. No se usaban patrones como pageobject ni integración continua.
En esta situación, el coste en recursos para poder realizar pruebas fiables de regresión en cada release era extremadamente alto. Las releases presentaban defectos que finalmente eran encontrados por los clientes finales en producción, empeorando sensiblemente la experiencia de usuario.
3. Solución
Se automatizan las pruebas con WebdriverIO,, cubriendo web, tablet y móvil. Las ejecuciones se paralelizan para aumentar la velocidad de ejecución.
Todo el sistema de pruebas se orquesta desde el servidor CI/CD que además es gestionado íntegramente por Redsauce, descargando de esa tarea al cliente.
Se emplea una granja de dispositivos para ejecutar las pruebas en diferentes navegadores, móviles y versiones de sistema operativo.
Las pruebas se ejecutan a demanda con la posibilidad de vincularlas a un trigger asociado al repositorio.
4. Resultado
Se ha reducido el tiempo de ejecución de las pruebas de 16 horas a 45 minutos.
Disponemos de un informe automático inmediato de los resultados de todas las pruebas.
La luz verde de las pruebas automáticas se consideran garantía para subir a producción. Este requisito ha aumentado la confianza del equipo de producto en la solidez de toda release que haya pasado con éxito las pruebas automáticas.
Ha disminuido considerablemente la cantidad de defectos encontrados en Producción, mejorando la experiencia del usuario.