El cliente es un líder en ecommerce de moda en España y Portugal, con 3 equipos de desarrollo formados por unas 5 personas cada uno.
Realizan releases programadas aproximadamente cada 3 semanas.
Las pruebas de regresión manuales consistían en 130 tests en 6 entornos diferentes (desktop, tablet y móvil en España y Portugal), ejecutados en un único dispositivo.
Nunca se realizó una regresión completa debido a que habría tomado 16 horas.
Disponían de pruebas en desuso programadas en SpecFlow, basadas en literales, entornos hardcodeados, y dependencias como acceso a BBDD. No se utilizaban patrones modernos ni integración continua.
El coste en recursos para realizar pruebas de regresión fiables en cada release era muy alto. Esto resultaba en defectos que los usuarios finales encontraban en producción, afectando negativamente su experiencia.
Se automatizaron las pruebas con WebdriverIO, cubriendo web, tablet y móvil, y paralelizando las ejecuciones para mayor velocidad.
El sistema de pruebas se gestiona íntegramente desde el servidor CI/CD, administrado por nosotros, descargando al cliente de esta tarea.
Se utilizó una granja de dispositivos para ejecutar pruebas en diferentes navegadores, móviles y versiones de sistemas operativos.
Las pruebas se ejecutan bajo demanda y pueden vincularse a un trigger asociado al repositorio.
El tiempo de ejecución de las pruebas pasó de 16 horas a 45 minutos.
Los resultados de todas las pruebas ahora están disponibles en un informe automático inmediato.
El equipo considera la luz verde de las pruebas automáticas como garantía para subir a producción, lo que ha aumentado la confianza en la calidad de cada release.
La cantidad de defectos detectados en producción ha disminuido drásticamente, mejorando la experiencia de usuario.