L'AB testing è prassi assai comune nel mondo del marketing digitale, ed è utilizzata per valutare varianti delle landing page, degli annunci Adwords, di interi siti web.

Il funzionamento è piuttosto semplice: si creano due varianti dello stesso messaggio/contenuto/impaginazione, si misurano i risultati dopo un tempo ritenuto ragionevole, si sceglie la variante più performante.

Negli ultimi anni l'AB testing è diventato comune anche nell'email marketing: molte piattaforme offrono strumenti per eseguire test su porzioni del database, variando, nel caso più comune, l'oggetto della mail o altre caratteristiche, per poi eseguire il resto dell'invio con la versione che ha generato più aperture e/o click.

Il sistema è normalmente automatizzato e punta all'ottimizzazione di aperture e click: parrebbe quindi essere cosa buona.

In realtà l'email ha un ciclo di vita molto particolare, rispetto ad una pagina web o ad un annuncio adclick. Proviamo ad analizzare i vari aspetti che potrebbero portare l'AB testing a diventare un vero boomerang per le vostre campagne Email Marketing.

Dimensioni del database

L'AB testing prende due porzioni del vostro database di invio e confronta i risultati, per stabilire quale sia la versione "migliore" e procedere poi con l'invio massivo.

Questo implica che la vostra lista a cui state mandando l'email abbia una dimensione cospicua: l'AB testing dovrebbe essere fatto su non più del 10/20% dell'intera audience, ma, per essere in qualche modo efficace, questa porzione deve contenere almeno qualche migliaio di indirizzi. Ma se avete una lista di 50.000 indirizzi o più e mandate a tutti la stessa email, forse sarebbe una buona idea segmentare il database e fare invii mirati, ottenendo sicuramente risultati molto più stabili e significativi.

Tempistica, Aperture, Click, Conversioni

Quando prepariamo il test, ci verrà chiesto anche di specificare una finestra temporale nella quale misurare i risultati e procedere poi con l'invio massivo. Normalmente si tratta di 1-2 ore, ma spesso meno.

Se vogliamo che il test abbia una qualche validità, è necessario che la finestra temporale sia sufficientemente ampia. Ma in questo modo c'è il serio rischio che uno dei due invii influisca in termini reputazionali sul secondo: l'uso di subject particolarmente "catchy" e magari fuorvianti rispetto al contenuto, potrebbe portare qualche utente a effettuare segnalazioni, anche in seguito ad aperture, oppure a mettere in spam la missiva, intervenendo poi negativamente sulla delivery del secondo invio, magari con un subject più discreto, andando quindi a influire su aperture e click, falsando del tutto i risultati.

Sostanzialmente non potremmo capire se il risultato dipende dai comportamenti degli utenti o dai filtri antispam. 

Non solo, quello che importa veramente è il rate di conversione che l'email genera: non è assolutamente detto che più aperture e più click corrispondano a maggiori conversioni. L'abuso di fiducia nell'AB testing porta automaticamente a valorizzare le soluzioni che, premiando il click rate e l'open rate, utilizzano frasi d'effetto o aree di click eccessivamente ampie, che poi non si traducono in valore vero per il nostro business.

Reputazione e Fiducia

L'AB testing ci spinge a cercare l'apertura o il click in più, senza però poter misurare quel che è il vero risultato dell'invio, non solo in termini di conversioni, ma anche di fiducia che l'iscritto ripone in noi e sulla "memoria" che porta delle nostre comunicazioni.

Lavorare con l'Email Marketing è aprire una relazione con i nostri iscritti, relazione che non si esaurisce con il singolo invio, ma che si basa sulla fiducia che viene instaurata nel medio periodo: non hai bisogno di usare "trucchetti", so chi sei, cosa mi comunichi e che normalmente quel che mi comunichi è interessante; un abuso di AB testing potrebbe portarti a cambiare lo stile dell'oggetto solo per agguantare qualche click in più, salvo scoprire che quel click o quell'apertura hanno fatto più danno che altro, tradendo la fiducia conquistata faticosamente (mi hai fatto pensare che l'email mi interessasse, invece non era così).

In conclusione, se in generale per il mondo web l'AB testing è una metodologia corretta, per quello specifico dell'Email Marketing nasconde insidie il cui effetto non è facilmente misurabile.

Se proprio non volete farne a meno, usatelo sempre con molta prudenza.