30 Ago 2018

A/B Test e intervallo di confidenza: risultati che contano

Abbiamo in passato già parlato di A/B test e di come, in *ambito Email Marketing, siano un terreno quanto mai minato.

Spesso ci è stato fatto l'appunto che un test è una prassi scientifica di indubbio valore, e che dunque vale sempre la pena usarlo. Facciamo un esempio pratico: devo fare un invio a 20.000 indirizzi, e ho dubbi sulla "call to action" da utilizzare, per cui decido di fare un A/B test su due gruppi da 2.000 contatti, per poi estendere a tutti l'invio migliore.

Il risultato del test ci dice che la variante A ha avuto 34 clic, mentre la B ha registrato ben 42 clic (2.1%): istintivamente viene da pensare che la versione B sia quella vincente, in realtà, immettendo i dati in questo sito, scopriremo che i risultati ottenuti non sono "statisticamente rilevanti". Cosa significa? Come faccio ad ottenere risultati rilevanti?

Oggi tenteremo di andare un po' più a fondo nella questione, accennando alla teoria che sta dietro al concetto di test, per capire quali siano i limiti e i punti di forza di questo modo di operare.

Cos'è un test?

Per test si intende la verifica di una data ipotesi su un campione più o meno ristretto rispetto alla "popolazione" totale; una volta che il test ha dato il risultato aspettato, l'ipotesi si applica all'intera popolazione, aspettandosi risultati in linea con il test.

Abtest

In ambito marketing si parla da anni di A/B testing, specialmente nella realizzazione di landing page e nell'ottimizzazione di banner e campagne advertising.

Questo approccio, fortemente sostenuto dai profeti del marketing scientifico, si contrappone in maniera anche estremamente polemica, a quello "estetico", basato sulle intuizioni e sul lavoro creativo.