Significativité statistique

3

min

quiz

Qu’est-ce que la significativité statistique ?

Z-score

Le z-score est une mesure statistique qui permet de déterminer la validité des résultats obtenus lors d’un A/B test et si une variante est plus ou moins performante que la variante de contrôle ou de référence. Pour en savoir plus concernant le z-score et sa formule mathématique, vous pouvez consulter l’article Standard score sur Wikipédia (en anglais).

Par exemple, si le niveau de significativité de votre test est de 90 % , cela signifie que la variante a 90 % de chances de battre l’originale, mais que vous avez aussi 10 % de chances de vous tromper. Il est en général nécessaire qu’il soit au moins égal ou supérieur à 90 %.

Exemple

Prenons l’exemple du test A/B ci-dessous :

  • Variante de référence : 142 000 visiteurs uniques testés pour un taux de conversion de 3,52 %, soit 5 000 ventes.
  • Variante 1 testée : 216 000 visiteurs uniques testés pour un taux de conversion de 3,64 %, soit 7 850 ventes.

Dans cet exemple, la variante 1 est plus performante que la variante de référence, mais votre test est-il suffisamment significatif pour être certain de ce résultat ? En calculant le taux de significativité statistique, nous nous apercevons que la variante 1 surperforme par rapport à la variante de référence et que la significativité est de 96 %. Votre test A/B est donc un succès et vous pouvez basculer en production la variante 1.

Vérifier la significativité statistique

Si vous utilisez Google Analytics ou notre outil de reporting interne comme outil d’analyse, Kameleoon calcule automatiquement la significativité de votre test dans votre back-office par rapport à vos différents objectifs.

Lors de l’analyse d’un test A/B avec Google Analytics, seul le taux de conversion par objectif est consultable dans Google Analytics, mais il ne vous est pas possible de savoir simplement, sans calcul statistique, quelle variation est la plus performante.

Kameleoon calcule automatiquement pour chacune de vos expériences une mesure statistique appelée le z-score, qui permet de déterminer la validité des résultats obtenus lors d’un A/B test, c’est à dire, si la variante que vous avez testée est plus ou moins performante que la version de référence.

 

Taux de fiabilité

La visualisation de cette mesure s’effectue directement depuis votre espace personnel Kameleoon.

Une fois connecté, cliquez sur le bouton « Tous les tests ».

Passez votre souris sur la carte du test qui vous intéresse. Cliquez sur « Voir les résultats » pour visualiser la significativité statistique du test.

La page de résultats vous permet de consulter la performance de vos tests. Pour chaque variante ou pour chaque objectif, Kameleoon affiche dans les tableaux de résultats (en bas de page) :

  • Le nombre de visites/visiteurs ;
  • Le nombre de visites/visiteurs converti(e)s ;
  • Le taux de conversion ;
  • Le taux d’amélioration par rapport à la version de référence ;
  • L’indice de fiabilité, ou significativité statistique.

Dans l’exemple suivant, l’indice de fiabilité est de 90% :

 

Évolution et fiabilité

Le test n’est fiable que s’il s’est appliqué à un échantillon suffisamment large. Si le nombre de visiteurs testés est trop faible, le test perd de sa valeur.

Votre test n’est pas considéré comme terminé avant que ce taux de confiance ne se stabilise dans le temps. Un indicateur visuel reflète la stabilisation du taux de confiance : si les 3 boîtes s’illuminent, votre taux est stable et votre test terminé !

Note : Cet indicateur permet de visualiser, immédiatement et très simplement, l’évolution du taux de confiance. Il suffit de surveiller les boîtes.

Dans cet exemple, la première et la troisième variantes ont leurs trois boîtes illuminées : leur taux de confiance est stabilisé, leurs résultats sont fiables. La deuxième variante, en revanche, ne présente qu’une seule boîte illuminée. Cela signifie qu’il faut attendre que son taux de confiance se stabilise.

Vous pouvez également consulter le graphique présentant l’évolution du taux de confiance dans le temps : sur l’ensemble des données dans l’onglet « Graphe », en sélectionnant « Taux de confiance » ; ou en sélectionnant « Taux de confiance » dans la partie « Graphe » d’un tableau de résultats.

Lorsque la courbe s’aplatit, cela signifie que les résultats de votre test sont stabilisés et que vous pouvez exploiter ces données en toute confiance.

Que faire si un taux de fiabilité suffisant n’est pas atteint ?

Si votre taux de fiabilité est stabilisé mais insuffisant, cela peut être lié à différents facteurs. Parmi eux :

  • le trafic sur la page n’est pas suffisant ;
  • la différence entre les performances de l’originale et celles de la variante est trop restreinte pour en tirer des conclusions (par exemple, la modification que vous avez apportée n’a qu’un très faible impact sur les comportements de vos visiteurs) ;
  • un nombre trop important d’objectifs ont été associés au test.

Cependant, à partir d’un taux de fiabilité stabilisé à 75%, vous pouvez tirer des conclusions pour votre site. Si le trafic sur la page concernée n’est pas suffisant, votre taux de fiabilité n’atteindra probablement pas les 95%. Mais la page de résultats Kameleoon offre une grande variété de données et d’indicateurs qui vont vous permettre de mieux comprendre votre audience.

Note : Vous pouvez modifier le taux de fiabilité minimum requis pour que Kameleoon considère une variante comme gagnante. Pour cela, rendez-vous sur la page « Configuration » > « Mes sites » dans le back-office Kameleoon. Dans le bloc consacré à l’A/B testing, vous pourrez modifier ce taux de fiabilité minimum.