A/B testing e-commerce : quand tester et avec quel trafic ?

Un A/B test n'est utile en e-commerce que si vous avez assez de commandes pour détecter l'écart attendu : environ 1 600 commandes par version pour repérer une hausse de 10 % du taux de conversion, environ 420 pour une hausse de 20 %, avec les seuils statistiques habituels. En dessous, le test produit surtout du bruit. Cet article vous montre comment calculer votre trafic minimum, choisir ce qui mérite un test et quoi faire si votre volume ne suffit pas.

Pourquoi tant de tests ne prouvent-ils rien ?

La plupart des idées d'amélioration ne fonctionnent pas comme prévu. Dans la Harvard Business Review, Ron Kohavi et Stefan Thomke rapportent que chez Google et Bing, seulement 10 à 20 % des expériences produisent un résultat positif. Ces entreprises disposent pourtant d'équipes spécialisées et de volumes de trafic énormes.

Ce chiffre a deux conséquences pour un site marchand :

votre intuition ne suffit pas : une modification qui semble évidente peut être neutre, voire faire baisser les ventes ;
un test sous-dimensionné est dangereux : avec trop peu de commandes, le hasard suffit à faire apparaître un « gagnant » qui n'en est pas un. Vous déployez alors une version qui ne change rien, ou pire.

Les mêmes auteurs citent aussi l'exemple inverse : en 2012, chez Bing, une modification de l'affichage des titres d'annonces, jugée peu prioritaire, a augmenté le chiffre d'affaires de 12 % lors d'un A/B test. Les tests servent autant à éviter les mauvaises décisions qu'à trouver les bonnes.

Quel trafic minimum faut-il pour un A/B test ?

Trois paramètres déterminent la taille d'échantillon :

votre taux de conversion actuel sur la page testée ;
l'effet minimum que vous voulez détecter, en relatif (par exemple +10 %) ;
les seuils statistiques : un risque de faux positif de 5 % et une puissance de 80 % sont les valeurs standard, comme le rappelle Kameleoon.

Le tableau ci-dessous donne le nombre de sessions nécessaires par version, calculé avec la formule classique de comparaison de deux proportions (risque de 5 %, puissance de 80 %). Les calculateurs en ligne, comme celui d'Evan Miller, donnent des ordres de grandeur proches.

Taux de conversion actuel	Effet à détecter +10 %	Effet +20 %	Effet +30 %
1 %	163 100 sessions	42 700 sessions	19 800 sessions
2 %	80 700 sessions	21 100 sessions	9 800 sessions
3 %	53 200 sessions	13 900 sessions	6 500 sessions

Multipliez par deux pour un test A contre B, par trois pour trois versions.

Une lecture plus simple se dégage de ce tableau : quel que soit votre taux de conversion, il faut environ 1 600 conversions par version pour détecter +10 %, environ 420 pour +20 % et environ 200 pour +30 %. Le bon indicateur de départ n'est donc pas votre nombre de visiteurs, mais votre nombre de commandes sur la page testée.

Un exemple pour fixer les idées

Prenons un site qui convertit à 2 % et reçoit 60 000 sessions par mois sur ses fiches produit. Pour détecter une hausse de 10 %, il lui faut environ 161 400 sessions au total, soit près de trois mois de test. Pour une hausse de 20 %, environ 42 200 sessions, soit trois semaines. Ce site peut tester des changements importants, pas des retouches de couleur de bouton.

Quand l'A/B testing est-il vraiment utile ?

L'A/B testing devient rentable quand trois conditions sont réunies :

un volume suffisant sur la page testée, d'après le tableau ci-dessus ;
une hypothèse appuyée sur des données : un taux d'abandon anormal à une étape, des enregistrements de sessions, des retours clients ;
un enjeu chiffré : la page testée porte une part significative de votre chiffre d'affaires.

Les pages qui concentrent le plus de sessions et de commandes sont les meilleurs candidats : fiche produit, panier, tunnel de paiement. Une étape du tunnel qui perd beaucoup d'acheteurs, comme un formulaire trop long, est un bon point de départ : voir notre article sur le tunnel de paiement avec moins de champs.

Les règles d'un test fiable

Fixez la taille d'échantillon avant de lancer, et ne regardez pas le résultat pour décider d'arrêter. Kameleoon le rappelle : un résultat intermédiaire n'a pas de valeur statistique, même au-dessus de 95 % de confiance.
Couvrez des semaines complètes, pour que le lundi et le samedi pèsent autant dans chaque version.
Testez une hypothèse à la fois, avec un indicateur principal défini à l'avance (taux de conversion, chiffre d'affaires par visiteur).
Évitez les périodes atypiques : soldes, Black Friday, rupture de stock sur un produit phare.
Vérifiez la répartition : si une version reçoit nettement plus de sessions que prévu, le test est faussé.

Côté outils, Google Optimize, longtemps utilisé gratuitement, a été arrêté après le 30 septembre 2023. Il faut désormais passer par une solution dédiée ou par les fonctions de test de votre plateforme e-commerce.

Que faire si votre trafic est trop faible ?

C'est le cas de nombreuses PME. Ce n'est pas une raison pour renoncer à améliorer la conversion, mais il faut changer de méthode.

Corrigez sans tester ce qui relève des bonnes pratiques établies : un champ inutile, des frais cachés jusqu'au dernier écran, un bouton illisible sur mobile. Les études d'ergonomie (Baymard Institute, Nielsen Norman Group) ont déjà fait ce travail sur des milliers de sessions.
Testez des changements plus ambitieux : une refonte de fiche produit a plus de chances de produire un écart de 20 ou 30 %, détectable avec moins de trafic, qu'un changement de libellé.
Mesurez avant et après sur des périodes comparables, en suivant le taux de passage de chaque étape, et en restant prudent sur les conclusions.
Complétez par du qualitatif : enregistrements de sessions, tests utilisateurs sur un petit groupe de clients, questions au service client.

Un faible volume n'empêche pas de progresser : au sein du groupe POP France, le taux de conversion est passé de 0,76 % à 1,01 % en 12 mois, soit +33 %.

Pour savoir si votre volume permet de tester et quelles pages traiter en premier, demandez votre pré-analyse offerte.

À retenir

Chez Google et Bing, seulement 10 à 20 % des expériences donnent un résultat positif : l'intuition ne suffit pas.
Comptez environ 1 600 conversions par version pour détecter +10 %, environ 420 pour +20 %.
Fixez la taille d'échantillon avant le lancement et n'arrêtez pas un test parce qu'il « semble » gagnant.
Avec peu de trafic, corrigez directement les erreurs connues et testez des changements ambitieux.
Choisissez les pages à tester selon leur poids en chiffre d'affaires, pas selon les envies de l'équipe.