Case Study : Bouygues Telecom

Nous accompagnons Bouygues Telecom depuis 2012 sur les tests de non régression de leur portail web. Satisfaits de cette collaboration, nous avons été sollicités en 2015 pour étendre notre prestation sur les terminaux mobiles.

L’usage des clients a évolué et les connexions depuis un terminal mobile se sont multipliées. L’application mobile de l’opérateur devenait un enjeu stratégique de satisfaction client. L’équipe Bouygues Télécom arrivaient à tester les nouvelles fonctionnalités mais ne pouvaient s’assurer qu’aucune régression n’était générée, par manque de temps. De ce fait, il devenait incontournable d’industrialiser le processus d’automatisation des tests de non régression, avant publication sur les différents stores.

L’objectif est double :

• Mettre à disposition des utilisateurs une apps sans dysfonctionnement, défaut ou anomalie sur les terminaux les plus utilisés ;
• Accélérer les mises en production, en testant plus vite et en couvrant un patrimoine de tests plus large.

Après analyse de la demande du client en 2015, nous avons spécifiquement développé une solution de tests apps avec nos équipes R&D pour l’intégrer aux services existants. Au-delà d’enrichir le catalogue de service, il fallait conserver l’approche ludique et simple de construction des scénarios et d’exploitation des résultats.

Pour répondre aux besoins, nous avons implémenté une infrastructure dédiée et sécurisée dans nos locaux à Suresnes, pour exécuter les tests de non régression de l’application mobile :

• Ordinateurs dédiés Windows et Os pour installer les environnements Androïd et iOS couplés au web driver Appium (pour pilotage automatique des terminaux) ;
• Installation de téléphones physiques et dédiés dans le mobile Wall de CloudNetCare (4 iPhones et 6 Terminaux sur Androïd).

Cette infrastructure permet de répondre au besoin de tester sur une couverture plus large car, après implémentation c’est près de 30 000 actions humaines reproduites en + ou – 24 heures à chaque run de tests.

En admettant que manuellement une action nécessite 30 secondes cela représente 249 heures de temps passé. Nous ne parlons même pas du temps nécessaire à l’organisation de la restitution des résultats.

Après un run de test un rapport est généré automatiquement et permet d’identifier :

• Un défaut dû à un problème de jeu de données ;
• Un défaut dû à un web service indisponible lors de l’exécution du test ;
• Un défaut dû à une modification de l’application par les développeurs non pris en compte dans le scénario de test ;
• Un dysfonctionnement relevé lors de la campagne de tests de non régression.

Cette catégorisation permet une identification rapide d’un défaut ou d’un dysfonctionnement et, par conséquent, permet aux équipes d’apporter les corrections nécessaires en un temps record.

Il ne restera plus qu’à répéter l’opération jusqu’à obtenir un run complet sans défaut ou dysfonctionnement.

Désormais les responsables métiers et les services techniques ont des informations fiables et détaillées sur l’utilisation de leur application mobile. Ils peuvent ainsi mettre à disposition de leurs mobinautes une application avec un niveau de SLA (Service-Level Agreement) Applicatif jamais atteint jusqu’alors. Les clients restent fidèles et sont satisfaits d’un service de qualité.