Comment est déterminée la signification statistique dans Klaviyo ?

Catégories de signification statistique

On parle de signification statistique lorsque Klaviyo est mathématiquement capable de déterminer si une variation produira de meilleures performances. Pour les campagnes, Klaviyo observe à la fois le nombre de personnes qui ont reçu un message et la probabilité de gain, c'est-à-dire la probabilité qu'une variation produise de meilleurs résultats en fonction de la façon dont elle surpasse la ou les autres variations.

Lorsque vous réalisez des tests A/B, vous devez éviter tout facteur susceptible d'influencer votre public de manière significative. Par exemple, ne réalisez pas de tests à proximité d'un week-end férié, lorsque votre public est beaucoup plus susceptible de rechercher vos e-mails.

Lorsqu'il s'agit de campagnes de tests A/B, il existe quatre catégories de signification statistique :

• Statistiquement significatif

• Prometteur

• Non statistiquement significatif

• Non concluant

Statistiquement significatif

La mention "statistiquement significatif" sur votre test A/B signifie qu'une certaine variante de votre test a de fortes chances de l'emporter sur la ou les autres options. Elle indique également que vous seriez en mesure de reproduire les résultats et que vous pourriez appliquer ce que vous avez appris à vos futurs envois.

Pour les campagnes Klaviyo, un résultat de test A/B est considéré comme statistiquement significatif lorsque :

• 50 personnes ont reçu chaque variation

• La probabilité de gain est d'au moins 90%.

Cela garantit qu'un échantillon suffisamment important de destinataires a vu le test A/B et que la variation gagnante a largement dépassé les autres pour la mesure gagnante choisie (qui, pour les campagnes, est le taux d'ouverture ou de clic).

Par exemple, supposons que vous testiez l'influence d'un emoji dans la ligne d'objet sur le taux d'ouverture. Les résultats du test montrent que la variation gagnante est celle qui comporte l'emoji et que la balise verte de signification statistique est présente. Dans ce cas, vous pouvez être sûr qu'une ligne d'objet avec un emoji sera toujours plus performante qu'une ligne sans emoji - et il n'est pas nécessaire de refaire le test.

Cependant, vous devez toujours faire preuve de discernement lorsque vous agissez en fonction des résultats du test. Si vous envoyez un message plus sérieux ou plus sombre, par exemple, l'utilisation d'un emoji n'est peut-être pas appropriée.

Prometteur

Lorsque les résultats sont prometteurs, une variante semble plus performante que l'autre ou les autres, mais la preuve n'est pas assez forte à partir du test lui-même. Si un test est jugé prometteur, aucune balise n'apparaîtra pour l'indiquer, mais vous verrez une alerte vous indiquant que vous devez recommencer le test.

Pour un résultat prometteur, vous devez effectuer un autre test A/B afin d'avoir plus de certitude. Par exemple, pour revenir à l'exemple de l'emoji ci-dessus, si les résultats sont prometteurs, effectuez à nouveau ce test. Si vous continuez à voir des résultats prometteurs en faveur de l'emoji après plusieurs tests A/B, vous pouvez être sûr que les emojis ont un impact léger mais positif sur votre public, et vous devriez continuer à les utiliser dans les campagnes.

Pour les campagnes, un résultat de test A/B est considéré comme prometteur lorsque :

• 50 personnes ont reçu chaque variation

• La probabilité de gain est comprise entre 75 % et 89 %.

Non statistiquement significatif

Si un résultat n'est pas statistiquement significatif, cela signifie qu'une variation ne bat la ou les autres variations que de très peu, de sorte que vous ne pourrez peut-être pas reproduire le résultat dans un autre test. Dans notre exemple, cela peut signifier que la variation avec l'emoji bat la ou les variations sans emoji, mais seulement de très peu - et pas assez pour que le résultat du test soit significatif.

Dans ce cas, klaviyo vous recommande de tester à nouveau ce facteur deux ou trois fois et de surveiller de près les résultats. Si vous continuez à constater que le résultat du test n'est pas jugé statistiquement significatif, ne continuez pas le test ; passez plutôt à un test A/B sur un autre sujet. Si un test entre dans cette catégorie, une étiquette grise indiquant "Non statistiquement significatif" apparaîtra sur la page des résultats du test A/B.

Pour les campagnes, un résultat de test A/B est considéré comme non statistiquement significatif lorsque :

1 800 personnes ont reçu chaque variation

La différence en pourcentage entre la variation principale et la variation secondaire est inférieure ou égale à 4 %.

La probabilité de gain est inférieure à 60 %.

Non concluant

Si un test n'est pas concluant, cela signifie qu'il n'y a pas assez d'informations pour déterminer si un résultat est statistiquement significatif ou non. Si les résultats du test ne correspondent à aucun des critères des options ci-dessus, ils tomberont dans la catégorie des tests non concluants. Vous pouvez visualiser cela à l'aide de l'arbre de décision présenté dans la section suivante. Notez que les tests non concluants n'afficheront pas de balise indiquant si le test est statistiquement significatif ou non sur la page de résultats.

Dans ce cas, vous voudrez peut-être élargir votre public pour les tests de suivi. Si vous testez avec un petit groupe, interprétez les résultats comme vous le souhaitez et testez à nouveau pour vérifier que ce que vous avez trouvé est exact. En outre, efforcez-vous d'en savoir plus sur vos abonnés par d'autres moyens, par exemple des enquêtes, des sondages, etc.

Arbre de décision sur la signification statistique

L'arbre de décision suivant montre quand un test A/B entre dans chaque catégorie. Les lignes vertes indiquent que la réponse est "oui" tandis que les rouges représentent "non".