Comment maîtriser les coûts de vos campagnes de tests automatisés ?

Bien que seulement 9% des entreprises automatisent plus de 75% de leurs outils web ou mobile, si vous choisissez de vous lancer dans le monde merveilleux de l’industrialisation des tests automatisés ce n’est pas le nombre de solutions à portée de main qui vous fera défaut. Vous pouvez même vous lancer avec un investissement proche de 0 en vous appuyant sur des solutions comme Appium ou Sélénium. 

Vous pouvez encore diminuer le temps passé à la construction des scénarios et prendre une licence chez un éditeur pour la partie web ou pour la partie mobile. Vous aurez déjà une première brique pour automatiser et industrialiser vos tests et il ne vous restera “plus” qu’à mettre les équipes en place pour automatiser l’exécution des tests.

Où vous pouvez encore vous tourner vers des solutions à “tiroirs” pour construire les scénarios, les exécuter et obtenir les KPI des tests réalisés.

Cependant, derrière toutes ces solutions, il y a des coûts “cachés” qu’il faut anticiper pour être certain d’avoir les ressources financières et humaines nécessaires pour que le projet d’automatisation aboutisse.

Les coûts cachés des différentes solutions de tests automatisés.

1 – Modèle : Outils “gratuit” et projet en interne.

D’apparence gratuit, si les processus et les besoins sont mal anticipés / évalués ce modèle de déploiement des tests automatisés peut vite devenir très coûteux à la mise en place et plus encore lors de la maintenance en conditions opérationnelles.

Pour mener à bien votre projet, pensez aux coûts cachés que représentent :

• Les compétences nécessaires : développeurs, automaticiens, ingénieur système, technicien matériel, … 
• Les compétences et le temps nécessaires pour développer l’outil de test ou le configurer.
• Le temps affecté par les développeurs pour développer les scénarios.
• L’infrastructure matérielle pour déployer les tests (sur des machines en interne ou chez un hébergeur). Exemple : pour exécuter des tests sur des smartphones il faut soit les acheter soit les louer dans le Cloud.
• Le maintien en conditions opérationnelles du matériel et du logiciel d’exécution des tests. Les version d’Appium et Sélénium évoluent, votre logiciel se doit de suivre ces évolutions. Il en va de même si vous gérez en propre les infrastructures (nouveaux téléphones, mises à jours des navigateurs, des systèmes d’exploitations …).

Si vous avez pris en compte l’ensemble de ces postes de dépense en y associant un budget prévisionnel, vous partez sur de bonnes bases ! 

Avantage : maîtrise à 100% de toutes les étapes d’automatisation.

2 – Modèle : licence et gestion en interne

Vous n’avez pas les ressources ou l’envie de développer en interne le logiciel d’exécution des tests automatisés et vous avez décidé d’acheter ou louer un logiciel. Au-delà du coût du logiciel, les coûts “cachés” restent quasiment les mêmes que pour le modèle précédent. 

Avantage : Vous n’aurez pas à faire développer le « moteur » d’exécution des tests.

3 – Modèle : externalisation 100%

Pour le coup il n’y a pas de coûts cachés mais le succès de votre projet d’automatisation des tests dépendra uniquement de la qualité et des compétences du partenaire choisi. L’expertise et la compétence de votre partenaire, la proximité,

la relation humaine que vous aurez avec votre interlocuteur “prestataire” sera la clé de la réussite de votre projet.

Avantage : un interlocuteur unique pour la conduite de tout le projet.

Les différents postes des coûts « cachés » quantifiés :

La dernière enquête publiée par Perforce Software pointe que « le taux d’automatisation des tests est inférieur à 50% (102 décideurs IT de grandes entreprises ont été interrogés par Gateway Research). Or, pour 72% des répondants, lorsqu’il est question du processus de test applicatif dans son ensemble, le test manuel prend le plus de temps, réparti comme suit :

1. – La configuration de l’environnement dédié (citée par 28% du panel) (1)
2. – La création de scripts (27%) (2) 
3. – L’analyse du cycle de test (19%) arrivent ensuite. »

Les « coûts cachés » sont donc bien identifiés par les décideurs lors des tests manuels. 

Ils sont démultipliés pour les tests automatisés, car le patrimoine de tests et l’infrastructure utilisés sont beaucoup plus importants :

(1) Le Maintien en Condition Opérationnelle de l’infrastructure nécessaire à l’exécution des tests.  

(2) Le Maintien en Condition Opérationnelle du patrimoine de tests (création mais surtout mise à jour des scénarios).

—

La clé de la réussite de votre projet d’industrialisation de vos tests automatisés est dans l’anticipation de vos besoins et ressources nécessaires. Il est très difficile, voire impossible, de réaliser une évaluation correcte. Bien menée vous aurez les éléments pour choisir le modèle qui correspondra le mieux à votre organisation. Il n’y a pas de bon ou de mauvais modèle, il n’y a que des modèles correspondant aux bons projets.

La solution pour vous affranchir de ces coûts cachées est de choisir la solution externalisée, car ils seront portés par votre partenaire, par exemple CloudNetCare ;-)