Une boulangerie qui distribue des bons de réduction à la sortie de la messe verra revenir beaucoup de bons. Une partie viendra de paroissiens qui achetaient déjà leur pain chez elle chaque dimanche. Pour eux, le bon n'a créé aucune vente, il a seulement réduit la marge. Les ventes incrémentales sont celles des clients venus grâce au bon, et seulement celles-là.
La publicité en ligne pose exactement le même problème, à plus grande échelle. Une annonce sur le nom de la marque, une relance par retargeting auprès d'un visiteur qui avait déjà rempli son panier, un code promo diffusé sur un site de bons plans touchent souvent des acheteurs déjà décidés. Les outils d'attribution leur créditent la vente, puisqu'ils figurent sur le parcours. Ils ne disent pas ce qui se serait passé sans eux.
Mesurer l'incrémentalité revient donc à estimer ce scénario sans publicité, que l'on n'observe jamais directement. La seule méthode fiable consiste à le reproduire sur un groupe comparable qu'on prive volontairement de la campagne.
L'exemple le plus cité vient d'eBay. En mars 2012, l'entreprise a cessé d'acheter des annonces sur les recherches contenant son nom, comme « ebay chaussures », sur les moteurs de Yahoo! et de Microsoft. Les économistes Thomas Blake, Chris Nosko et Steven Tadelis ont analysé le résultat dans un article publié en 2015 dans la revue Econometrica.
Le trafic perdu par les annonces s'est reporté presque entièrement sur les liens naturels, qui pointaient vers le même site. Les auteurs concluent que ces annonces de marque n'avaient aucun bénéfice mesurable à court terme. Sur les mots-clés génériques, testés ensuite par zones géographiques, l'effet existait surtout chez les nouveaux clients et les acheteurs occasionnels. Les acheteurs fréquents, qui représentaient l'essentiel de la dépense, achetaient avec ou sans annonce, si bien que le rendement moyen ressortait négatif.
Ce résultat vaut pour une marque connue de tous, qui occupe déjà la première place des résultats naturels sur son nom. Une jeune marque dont un concurrent achète le nom, ou dont le site n'apparaît pas en tête sur sa propre marque, peut avoir besoin de ces annonces. C'est justement ce qu'un test permet de trancher, cas par cas.
Le test par utilisateurs. La régie tire au sort une partie de l'audience qui ne verra pas les annonces, puis compare ses conversions à celles du groupe exposé. Google Ads et Meta proposent ce type d'étude sous le nom de Conversion Lift. Chez Google, la version par utilisateurs vise surtout les campagnes vidéo et Demand Gen, et les autres types de campagne passent par un conseiller du compte.
Le test géographique. On coupe la campagne dans certaines zones et on la maintient dans d'autres, choisies au hasard ou appariées pour se ressembler, puis on compare les ventes. Google a décrit la méthode dès 2011 dans un article de recherche sur les expériences géographiques. Elle a l'avantage de mesurer toutes les ventes, y compris en magasin, sans dépendre des cookies ni du consentement. Google la propose aussi dans Google Ads, avec un budget plus élevé que le test par utilisateurs.
Le test par interruption. Une PME peut couper une campagne pendant quelques semaines et observer ce qui se passe sur ses ventes totales. C'est la version la plus simple, et la plus fragile, puisque la saison, la météo ou une action d'un concurrent changent aussi les ventes d'une période à l'autre. Elle donne une indication, rarement une preuve. Alterner plusieurs fois les périodes avec et sans campagne la rend plus solide.
Le lift mesure l'écart relatif entre le groupe exposé et le groupe témoin. L'iROAS, ou ROAS incrémental, rapporte la valeur des ventes supplémentaires au coût de la campagne.
Prenons un exemple chiffré. Un site de vêtements dépense 10 000 € en retargeting. La plateforme lui attribue 800 ventes pour 64 000 €, soit un ROAS affiché de 6,4. Le test montre que le groupe exposé convertit à 4 % et le groupe témoin à 3 %. Le lift est de 33 %, et seules les ventes au-delà de ce que le groupe témoin laissait prévoir sont incrémentales, soit le quart des ventes du groupe exposé. Sur les 64 000 € attribués, 16 000 € ont été réellement créés, ce qui donne un iROAS de 1,6.
Une campagne à 1,6 peut rester rentable selon la marge du commerçant. Mais elle ne vaut pas du tout celle à 6,4 qu'affichait le tableau de bord, et c'est sur la première valeur qu'il faut décider du budget.
Un test a besoin de volume. Sur une petite boutique qui fait trente ventes par mois, l'écart entre deux groupes se perd dans le hasard, et l'outil de Google peut conclure qu'aucun effet significatif n'a été détecté. Ce résultat ne prouve pas que la campagne est inutile, seulement que le test ne permet pas de le dire. Google classe d'ailleurs la faisabilité des études géographiques en trois niveaux et déconseille de lancer celles jugées peu faisables.
Un test mesure un moment. L'effet d'une campagne change avec la saison, le budget et la concurrence, et un résultat de l'an dernier vieillit vite. Il ne mesure pas non plus les effets à long terme sur la notoriété, que capte mieux un marketing mix modeling.
Enfin, un test conduit par la régie elle-même mérite la même prudence que ses rapports d'attribution. Le protocole est sérieux, mais c'est l'annonceur qui doit vérifier que le groupe témoin est bien comparable et que la conversion mesurée est une vraie vente.