Une augmentation des ventes de 50%, un panier moyen qui double d’une semaine sur l’autre, un taux de conversion instable,… que se soient des bonnes ou des mauvaises nouvelles, la question à se poser en cas de fortes variations d’un KPI est :
Quand les volumes sont trop faibles, ou que les données disponibles sont en quantité limitée cela peut avoir des répercutions sur la fiabilité de certaines mesures. Exemples…
Un indicateur KPI est significatif seulement si les données sur lesquelles il est calculé sont significatives. Concrètement une moyenne avec seulement deux valeurs, un panier moyen calculé sur une seule commande, un taux de conversion calculé sur une dizaine de visites, …. sont des KPI peu fiables car les données formant leurs bases de calcul ne sont pas présentes en quantité suffisante.
Lors de tests AB il est aussi important que le nombre d’utilisateurs sur lesquels les pages sont testées soit représentatif de la quantité et surtout de la variété de profils des internautes habituels ou potentiels du site.
En appliquant à chaque KPI un Seuil de Significativité en dessous duquel il n’est pas calculé (en général un nombre de données), on évite ainsi d’utiliser des indicateurs “pourris” ou d’effectuer des AB Testing peu fiables.
Les Seuils de Significativité sont aussi utilisés dans le cas d’un Syndrome de Pneu Dégonflé pour identifier et corriger des DCP (Décrochages Ciblés de Performance).
