Comment faire une analyse de campagne : le piège de Simpson

Vous êtes Data Driven ? Vous vous basez sur les chiffres 🔢 pour prendre vos décisions ? Alors est-ce que vous maitrisez le concept de Variable Discriminante ? C’est le pivot qui fait que votre arbitrage est rationnel ou non.

Vous est-il déjà arrivé d'arriver à des conclusions fausses alors que vous vous étiez appuyés sur des chiffres webanalytics solides ?

Si c'est votre cas, il s'agit Très certainement du paradoxe Simpson.

Le paradoxe de Simpson peut conduire à des conclusions erronées en raison de corrélations trompeuses.

Exercice de statistiques appliquées au Marketing Digital :

La clé pour comprendre ce problème essentiel va sous servir au quotidien.

Voici les résultats d'une campagne Adwords (ça fonctionne aussi avec Facebook Ads ou toute autre régie publicitaire hein)

Investir son budget Google sur les annonces Mobile ou Ordinateur de bureau ?

A votre avis quelle devrait être la stratégie de cet annonceur pour investir son reliquat de budget ?

Cet annonceur a tout intérêt à investir son budget sur ses campagnes mobiles. Etonnant non ?

Annonces Mobile First

Il n'y a pas de pièce, il s'agit d'un paradoxe statistique.

Le paradoxe de Simpson.

Ajoutons dans l'analyse le croisement avec la répartition des data par navigateur utilisé.

Analyse de performance Marketing par navigateur
Analyse de performance Marketing iPhone iOS

Et oui le meilleur cout d'acquisition de trouve bien sur mobile sur version iOS (iPhone).

La variable discriminante à prendre en compte pour analyser les performances de cette campagne n'était pas le type d'appareil sur lequel la publicité était diffusée mais le type de navigateur (ici les possesseurs d'iPhone ou de Mac).

Statistiques Marketing : la variable discriminante

Ce qui nous a trompé au premier regard, c'est la distribution du budget qui n'a pas été équitablement répartie sur cette variable discriminante réelle mais répartie équitablement sur une variable qui n'avait pas de sens business : les devices.

Fascinant non ?

On  a tous fait des erreurs d'interprétation de ce type, c'est pourquoi il faut toujours avoir un regard critique sur les bilans de campagnes marketing ou sur les reporting que vous produisez ou encore ceux que l'on peut vous présenter.

Comprendre le paradoxe de Simpson

Le paradoxe de Simpson arrive très fréquemment lorsque la distribution des données est hétérogène.

L'exemple le plus connu est l'analyse des performances des traitements contre le cancer : Le taux de guérison étant plus important avec une chimiothérapie qu'avec la chirurgie on pourrait penser que ce traitement est plus efficace.

Hors la variable discriminante pour approcher la donnée dans ce cas c'est l'état d'avancement de la maladie et non le traitement : Les chirurgies étant majoritairement réalisées sur des patients dans un état plus grave... Justement car cette méthode est plus efficace mais plus radicale. Toute chose égale par ailleurs le traitement connu le plus performant contre le cancer est donc la chirurgie malgré son taux de mortalité plus élevé.

Vérifiez toujours l'effet potentiel des variables confusionnelles présentes dans votre ensemble de données.

C'est pour celà qu'il faut toujours éclairer ses chiffres avec une approche métier, du contexte et se poser la question de si on est bien en train d'analyser la bonne variance.

Comment analyser la performance de ses campagnes ?

L'exemple que j'ai donné contient un piège :  il faut aussi voir si les outils permettent d investir sur les segments performants.

En enchères manuelles sur Google Ads en l'occurence il n est pas à ce jour possible de faire des campagnes Search spécifiques à des navigateurs cibles.

J'ai pris cet exemple car je le trouve très parlant mais en fait cette approche marche pour tous vos canaux marketing et vos A/B Test sur site !

Ce qui fonctionne bien sur la régie pub de Google :

Croiser avec la géographie (grosses variations de panier moyen)
Analyses démographiques.

Comment préparer sa campagne pour analyser les bons résultats ?

En tant qu'annonceur ou en tant que traffic manager, vous devez pensez à l'effet Simpson au moment de planifier vos campagnes marketing pour faire apparaître les bons groupes de donnée.

Ceux qui seront les plus pertinents. Faites confiance à une agence de référencement comme JVWEB pour vous aider ;-)

Ciblage Granulaire

Travailler avec des audiences granulaires et solides est essentiel pour combattre cette erreur d'interprétation statistique.

D'autre part, les media buyers doivent travailler avec les CMO ou les responsables marketing / donneurs d'ordre métier pour séparer autant que possible les autres variables de ciblage afin de faire apparaître toutes les variables, ainsi on mettra en évidence celles qui sont confusionnelles. L'inconvénient de cette méthode est que au lancement vous allez prendre plus de temps à deepdive dans la data... Mais pour un projet de long court ce temps investi au départ vous sera très rentable !

Exemple de variantes discriminantes ou à l'inverse confusionnelles :

L'heure de la journée
le jour de la semaine
la régie publicitaire (pour les camapgnes cross Media)
Le navigateur...

Ce sont en général des variables régulièrement exclues des rapports de campagne et qui brouillent donc les conclusions tirées des performances marketing de vos opérations ou de votre prestataire.

Ces variables doivent être prises en compte non seulement pour les rapports, mais aussi pendant le processus de configuration de la campagne.

Cela implique de créer des groupes de ciblage qui correspondent aux variables au moment de la conception de la campagne.

Organisation du travail du traffic manager

Les gestionnaires de campagnes ont tendance à vérifier les performances des groupes de ciblage sur une base quotidienne, et ils ont tendance à tirer des rapports plus détaillés sur une base hebdomadaire. En intégrant les bonnes variables dès le départ, le traffic manager au ra une meilleure grille de lecture au jour le jour pour optimiser ses campagnes et challenger ses ciblages.

Ventilation des budgets

Attention néanmoins : La mise en place de campagnes avec trop de jeux de données et de groupes de ciblage présente toutefois des inconvénients.

Aujourd'hui les algorithmes ont besoin justement de datas hétérogènes et plus massives pourk pouvoir apprendre et optimiser les Smart Bidding.

La complexité accrue qu'engendre des ciblages aussi fins augmente d'autre part la probabilité d'erreurs et rend les optimisations plus lourdes.

Enfin, le fait d'avoir trop de groupes de ciblage peut également s'avérer inefficace si le budget d'adspend n'est pas suffisant pour ventiler suffisamment (statistiquement significatif) sur chaque groupe pour en tirer des conclusions solides.

En celà le métier de traffic manager est très complexe et c'est un travail d'équipe pour arriver aux bonnes performances avec les équipes davantage marketing produit / client.

Comment capitaliser sur l'approche humaine et ne pas trop mécaniser l'approche statistiques de vos bilans marketing ?

Le paradoxe de Simpson, ou l'effet Yule-Simpson, est un phénomène en probabilité et de statistique, dans lequel une tendance apparaît dans plusieurs groupes différents de données mais disparaît ou s'inverse lorsque ces groupes sont combinés. On lui donne aussi parfois le nom de paradoxe d'inversion ou de paradoxe d'amalgame.

Là on a parlé de comment bien analyser les performances de ses campagnes Marketing d'acquisition mais cette problématique se pose dans de nombreux autres cas :
Mesure de la performance au sein de vos équipes
A/B Tests d'UX (vous pensez à regarder la distribution des données Desktop / Mobile ?)

A l’heure des BigDatas, de l 'OpenData 📊, on a l’impression qu’il y a plein de données partout.

Que n’importe qui peut les piocher, les analyser...

📈 Et en tirer des conclusions.

Eh bien non.

Il n’est pas encore possible de se passer d’experts Métier.

De ceux qui connaissent le sujet, le terrain.

Automatiser cette tâche de spécialiste SEA, c’est ce qu’on fait avec SEISO 🤖

Partager cet article Lien copié!

A explorer