La création d’un test MVT est possible pour tous nos clients qui bénéficient de l’offre A/B testing sans surcoût.

Qu’est-ce qu’un test multivarié ou MVT ?

À la différence d’un test A/B composé d’une version de référence A et d’une variante B, un test MVT permet de faire varier plusieurs éléments d’une même page et d’identifier la combinaison de ces éléments qui convertit le plus. Par exemple, un test MVT relativement simple permet de tester la performance des 6 boutons suivants :

Ici, on fait varier 3 couleurs (vert, rouge et bleu) et 2 textes (« Télécharger Firefox » et « Téléchargez maintenant »). Le test MVT permet de tester les 6 combinaisons possibles entre ces éléments.

Lexique des MVT

Test multivarié : Le test multivarié permet de tester la conversion d’une ou plusieurs combinaisons de plusieurs éléments.

MVT : MVT est l’acronyme de MultiVariate Test (test multivarié).

Section : Une section regroupe plusieurs variantes d’un élément.

Variante : La variante est une proposition de changement d’un élément. Elle varie par rapport à la version originale. Dans un test MVT, on peut créer plusieurs variantes que l’on regroupe par sections.

Combinaison : La combinaison désigne plusieurs variantes de différentes sections que l’on combine et que l’on affiche simultanément aux visiteurs exposés.

Créer un nouveau test MVT

Depuis le Back office

Depuis l’onglet A/B test, accédez à la page de vue d’ensemble.

Cliquez ensuite sur le bouton « Nouveau test ».

Vous pouvez aussi cliquer sur « Nouveau projet » en haut du menu à gauche de la page du back-office.

Dans la pop-in qui s’ouvre, choisissez « Test multivarié ».

Depuis l’éditeur graphique

Après vous être identifié(e), cliquez sur « Créer un test multivarié » sur l’écran d’accueil.

Dans la fenêtre qui s’ouvre, renseignez le nom du test et, si vous le souhaitez, sa description et les tags qui lui sont associés :

Après avoir validé, passez à la configuration des sections et des variantes de votre test MVT.

Configurez les sections et les variantes de votre test

Une section est constituée de différentes variantes.

Par exemple, vous souhaitez tester la couleur d’un bouton afin de déterminer la couleur qui convertit le plus entre le bleu (de la variante originale), le jaune et le vert.

Vous pouvez créer une section A « Couleur » dans laquelle vous aurez votre variante originale, votre variante jaune et votre variante verte.

Sur ce même bouton, vous voulez en même temps tester le texte et identifier ce qui convertit le plus : « Abonnement » (de la variante originale), « Abonnez-vous » ou « Je m’abonne » ?

Vous pourrez créer une section B « Texte » dans laquelle vous aurez votre variante originale, votre variante « Abonnez-vous » et votre variante « Je m’abonne ».

Vous devez donner à chaque section un nom unique, qui viendra s’ajouter à la lettre de l’alphabet qui lui est automatiquement attribuée.

L’Éditeur de MVT

Comme pour vos tests A/B classiques, le contenu de vos différentes variantes se crée à l’aide de notre éditeur graphique. Petite particularité pour les MVTs, l’en-tête de l’éditeur est différent de celui dont vous avez l’habitude :

Dans le menu déroulant de gauche, vous retrouvez les différentes sections que vous avez créées. À droite de ce menu déroulant s’affichent les variantes de la section sélectionnée.

Sections

Quand vous ouvrez le menu déroulant dédié aux sections, au passage de la souris sur le nom d’une section, différentes actions vous sont proposées en cliquant sur l’icône représentant 3 points.

• Éditer la section : pour retourner à l’écran présenté ci-avant ;
• Dupliquer la section : pour dupliquer la section et toutes les variantes associées ;
• Supprimer la section : pour supprimer votre section ainsi que toutes les variantes qui lui sont associées.

Vous pouvez également renommer une section en double-cliquant directement dessus.

Variantes

Dans le header, à droite du menu des sections, apparaissent les variantes de la section sélectionnée. L’originale est toujours affichée et ne peut être modifiée. Concernant les variantes, les possibilités sont les mêmes que pour les tests A/B classique (ajouter un élément, redirection URL, etc).

Si vous supprimez toutes les variantes d’une section, alors la section elle-même sera supprimée.

Note : Nous vous recommandons de faire varier au maximum 2 éléments de votre page (donc d’avoir au maximum 2 sections) avec
3-4 variantes de cet élément.

Pourquoi ?
Dans un test MVT, les variantes de chaque section sont associées afin de trouver la meilleure combinaison. Plus il y a de sections, plus il y a de combinaisons possibles, plus le volume de trafic nécessaire pour avoir des résultats exploitables sera important. Il faut donc s’assurer d’avoir un grand nombre de visiteurs uniques pour que les résultats du test MVT présentent une significativité statistique. Pour en savoir plus à ce sujet, consultez notre article sur la significativité statistique.

Répartition du trafic

Vous avez terminé la création de vos variantes ? Il est maintenant temps de finaliser votre test avant de le mettre en ligne. Bonne nouvelle, tout se passe exactement comme pour un test A/B classique.

Une exception : la répartition du trafic de votre test.

Allocation du trafic de cette expérience

En haut de la fenêtre, vous pouvez choisir le pourcentage de visiteurs exposés à ce test MVT.

Soit en déplaçant le curseur bleu :

 

Soit en double-cliquant sur le pourcentage pour en éditer la valeur :

Par défaut, 100 % des visiteurs sont exposés au test.

Répartition du trafic pour les visiteurs exposés

Vous pouvez choisir de répartir le trafic selon :

• les sections ;
• les combinaisons.

Répartition du trafic par sections

En sélectionnant l’onglet « Sections » vous pourrez répartir le trafic en fonction des sections et des variantes qui les composent.

 

Lorsque l’onglet « Section » est sélectionné, une liste composée de blocs sur fond blanc apparaît : chaque bloc représente une section. À l’intérieur de chaque bloc de section, une ligne est dédiée à chaque variante associée à cette section.

Lorsqu’une section est cochée, cela signifie que 100 % des visiteurs exposés au test verront l’une des variantes sélectionnées.
Plus précisément, les visiteurs exposés à ce test verront l’une ou l’autre des variantes cochées de cette section, en fonction de la répartition du trafic entre ces variantes.

Exemple :

Dans l’illustration ci-dessous, 30 % des visiteurs exposés verront le bouton rouge, contre 40 % qui le verront vert.

Modifier le trafic alloué à une variante 

Par défaut, le trafic est équitablement réparti entre les variantes sélectionnées d’une même section. Deux possibilités s’offrent à vous pour modifier cette répartition :

• Éditer, à l’aide du clavier, le pourcentage indiqué dans le champ texte situé au bout de la ligne dédiée à la variante ;
• Utiliser les flèches pour modifier le pourcentage.

Bloquer le trafic sur une variante

Cliquer sur le cadenas pour bloquer le pourcentage de trafic alloué à une variante.

Répartir équitablement le trafic

En cliquant sur l’option « Répartir également le trafic », tous les changements effectués sont abandonnés et le trafic est réparti également entre toutes les variantes sélectionnées (pour les sections et les variantes qui ne sont pas verrouillées).

Répartition du trafic par combinaisons

Vous pouvez aussi définir la répartition du trafic en fonction des combinaisons générées. Par exemple, vous voulez tester la couleur et le texte d’un bouton. Vous avez un test MVT avec deux sections A et B :

Section A : Couleur	Section B : Texte
Variation A0 : Original	Variation B0 : Original
Variation A1 : Vert	Variation B1: Acheter
Variation A2 : Rouge	Variation B2 : Shopper

Les noms de combinaisons générées sont les suivants :

A0B0 Original / Original

A0B1 Original / Acheter

A0B2 Original / Shopper

A1B0 Vert / Original

A1B1 Vert / Acheter

A1B2 Vert / Shopper

A2B0 Rouge / Original

A2B1 Rouge / Acheter

A2B2 Rouge / Shopper

En sélectionnant l’onglet « Combinaisons », vous pourrez définir le trafic pour chacune de ces combinaisons.

En haut de la page vous retrouvez le nombre de combinaisons sélectionnées pour le test MVT.

Définir la répartition du trafic par combinaison est donc plus précis que par section, mais prend en revanche plus de temps car le nombre de combinaisons générées peut rapidement s’avérer élevé.

En pratique, l’onglet Combinaisons peut par exemple vous permettre d’exclure certaines combinaisons. Dans le cas d’un test MVT faisant varier la couleur de fond d’un bouton, ainsi que la couleur de la police du texte, la répartition du trafic par combinaison vous permettra d’exclure toutes les combinaisons où les couleurs utilisées pour le fond et la police sont les mêmes.

Modifier le trafic des combinaisons

Le trafic réparti sur l’ensemble des combinaisons doit être égal à 100 % au total.

Vous pouvez modifiez le trafic d’une combinaison uniquement si celle-ci est sélectionnée. Par défaut, toutes les combinaisons sont sélectionnées. Il suffit de cliquer sur le carré de sélection pour les dé-sélectionner.

Bloquer le trafic sur une combinaison

Cliquer sur le cadenas pour fixer le pourcentage de trafic alloué à une combinaison.

Répartir équitablement le trafic

À côté se trouve le bouton vous permettant de répartir équitablement le trafic sur l’ensemble des combinaisons sélectionnées.

Le trafic est réparti à parts égales entre toutes les combinaisons sélectionnées et déverrouillées. Si de nouvelles combinaisons sont ajoutées ou supprimées, alors la répartition se fait à nouveau à parts égales.

Note : Par défaut, c’est l’onglet « Section » qui est sélectionné. Les deux onglets sont indépendants. Lorsqu’une modification est faite d’un côté, cela n’a pas d’impact sur l’autre pour le moment. La configuration du trafic prise en compte correspond à ce que vous avez défini sur l’onglet sélectionné (donc soit Section, soit Combinaison) lorsque vous appuyez sur le bouton de validation.

Simuler, lancer, analyser : comme d’habitude !

Vous avez fini de créer vos variantes et de configurer la répartition du trafic de votre test. Bravo ! Voilà la suite du programme.

Simuler votre test

Avant de mettre en ligne votre test, nous vous recommandons de lancer une simulation pour vérifier que tout est conforme à vos attentes.

Les différentes combinaisons de votre test sont générées dans notre panneau de simulation : rendez-vous dans le menu déroulant « Actuellement affiché en simulation » pour vérifier l’affichage de la combinaison de votre choix.

Pour tout savoir sur la simulation d’un test

Lancer le test

Tout s’affiche correctement ? Le ciblage de votre test est bien configuré ? Vos objectifs et outils de reporting tiers bien définis ? Vous êtes maintenant prêt à publier votre test. Comme pour les tests A/B classiques, un clic sur le bouton « Lancer » suffit !

Note : Il peut exister un court temps de latence (jusqu’à 10 minutes) entre la mise en ligne d’un test A/B et sa visibilité sur le site. Ne vous inquiétez pas si votre test n’apparaît pas immédiatement !

Analyser

Si vous avez sélectionné Kameleoon comme outil de reporting, les résultats de votre test MVT remonteront sur la page de reporting A/B à laquelle vous êtes habitué. Chaque combinaison est considéré comme une variante (au sens d’un test A/B classique).

Pour tout savoir sur la page de résultats

Que deviennent les MVT que j’avais créés ?

Vous vous demandez ce qu’il va advenir de vos tests MVT déjà créés ? Pas de panique, tous les changements sont automatiquement appliqués à vos anciens tests.

Vous pouvez maintenant, croiser, combiner, multivarier comme un chef !