Devi prendere una decisione difficile. Ma hai la possibilità di fare un test tra le due alternative, verificarne i risultati e, alla fine, scegliere quale decisione prendere. Bello vero?
Nella vita reale tutto questo non esiste (mi dispiace!) ma sul digital sì. Tantissime cose puoi testarle, per verificare il risultato su un piccolo campione, così da limitare il rischio, ottenendo più possibile dai tuoi investimenti.
Si possono fare test su pagine specifiche di un sito, su specifici elementi presenti in tutte le pagine del sito, oggetti delle email, annunci pubblicitari e anche risultati organici della SERP di Google. In questo articolo ti parlo della possibilità di fare test sul sito o landing page (pagine di atterraggio specifica).
Vado dritto al punto: fare un test non significa ottimizzare un sito.
Ottimizzare un sito significa migliorare le sue prestazioni. Trovare i problemi e risolverli.
Iniziamo dalle basi, cos’è un AB test?
Delle varie tipologie di test che si possono svolgere sui siti web, ti parlo dei test AB. Si tratta della possibilità di verificare la bontà di una soluzione alternativa a qualcosa che già esiste. Nel contesto di un sito web, significa verificare se le modifiche a una pagina del sito generano più acquisti, ad esempio, rispetto alla soluzione attuale.
In pratica, utilizzando degli specifici strumenti, a una porzione di visitatori che naviga la pagina che stiamo testando viene mostrata una versione della stessa e a un’altra porzione (immaginiamo il 50%) la pagina variante.
Il test produce un risultato e sulla base di questo si potrà decidere se la pagina variante sarà migliore rispetto alla pagina che stiamo controllando. Se sì, si sviluppa la soluzione testata e si renderà visibile a tutti. Se no, manteniamo la proposta originale.
Questo è un test AB. Ma non significa aver ottimizzato un sito. Significa aver fatto un test. E potrebbe essere stata anche la scelta peggiore, perché magari ci sono altre priorità o problemi sul sito più semplici da risolvere. Sfatiamo il grande mito della CRO. Per migliorare qualunque sito è indispensabile sapere prima cosa non va.
È necessario che conosciamo come viene utilizzato il sito, cosa non funziona, dove sarebbe più impattante intervenire e soprattutto perché. Perché le persone abbandonano il sito dopo aver aggiunto al carrello o aver inserito tutte le informazioni per ricevere l’ordine?
Dobbiamo monitorare le visite, le interazioni con le pagine, la provenienza, le relative performance, da quali dispositivi, browser. Bisogna monitorare e analizzare il comportamento delle persone sul sito.
Come percepiscono le persone l’offerta della pagina su cui atterrano? Riescono a navigare il sito e a trovare ciò che cercano? Sono motivati a compiere l’azione più rilevante per lo scopo di business del sito (e del visitatore, aggiungo)?
Le persone che arrivano con un’idea sono artisti. Le persone che arrivano con un’ipotesi sono designer.
Per rispondere a tutte queste domande bisogna fare ricerca. Raccogliere dati, analizzarli e interpretarli. Abbiamo già scritto altri articoli su questo argomento: tecnicamente la chiamiamo conversion research.
Testare un’idea o testare un’ipotesi
È giusto sviluppare dei test AB sulla base di idee? Conosco molte persone che hanno tantissime idee, magari qualcuna è anche valida. Ma un’idea si fonda su un’opinione personale (con tutti i limiti del caso) – e non rappresenta i bisogni delle persone che interagiscono con quello specifico sito.
Le idee sono facili, arrivano senza grandi limiti e non nascono con il fine di rispondere alla domanda perché è utile per questo specifico business.
L’ipotesi invece si basa su informazioni oggettive, evidenze, campioni di dati significativi, trend di comportamento, risposte. L’ipotesi si fonda sulla realtà del business e ha lo scopo di provare o confutare lo status-quo. Tutte cose che non succedono nel caso di un’idea.
Non fidarti delle idee, tue o degli altri. Indaga, cerca le evidenze.
In Booking.com dicono, le persone che arrivano con un’idea sono artisti. Le persone che arrivano con un’ipotesi sono designer. Come dargli torto.
Un esercizio utile per capire se quella che stai testando è un’ipotesi oppure no, sarebbe rispondere a domande come:
- Perché vuoi fare questa modifica?
- Qual è l’impatto atteso?
- Come misuri questo impatto?
- Quando ti aspetti di vedere dei risultati validi?
Scoprirai subito se la tua è un’ipotesi sostenuta da dati oppure no.
Posso sempre fare un AB test?
La risposta breve è no.
Tecnicamente puoi, certo, non può vietartelo nessuno. Ma se l’obiettivo è avere dei risultati del test di cui fidarsi, non sempre ha senso fare un test.
L’obiettivo del test è simulare un contesto reale. Testiamo una versione diversa della pagina su una porzione di persone per simulare il comportamento del 100% dei visitatori. Per essere più vicini alla realtà, il campione di visitatori e numero di conversioni dovrà essere sufficientemente ampio. Più il campione sarà ampio è più sarà probabile che il risultato del test sarà rappresentativo della realtà.
Ecco il punto: nella maggior parte dei casi non si hanno sufficienti visitatori unici o conversioni sulla pagina che si sta testando, per ottenere un risultato che sia quanto più vicino alla realtà. Che possa essere statisticamente significativo.
Se la conversione è il numero di acquisti di un sito (la conversione può essere anche il numero di registrazioni, ad esempio) – perché vogliamo avere più entrate a valle del test AB – dovremmo avere almeno 1000 conversioni al mese per avere dei dati significativi. Se lo storico dei dati dice che non hai questi numeri, non ha senso investire in test.
In questo caso, è un investimento che non ha senso perché il ritorno sarà quasi sicuramente negativo.
Parlo di investimento perché per ogni AB test ci sono vari costi da considerare:
- definire l’ipotesi e fare la pre-analisi
- progettare l’ipotesi (design, copy)
- sviluppare il test
- verificare che tutto funzioni (quality assurance) su tutti i dispositivi e browser
- configurare gli strumenti (AB test, web analytics, sondaggi, video, mappe di calore)
- analisi finale dei dati raccolti
Tutti questi sono costi.
Ha senso fare un test se sai già che entro quattro settimane non riuscirai a raggiungere un risultato utile, che sia rappresentativo? Conosciamo la risposta. Tra l’altro, tra i vari costi, bisognerà considerare anche il tempo atteso, per avere la risposta (negativa): il tempo che dedichi al test potevi investirlo in altro.
E quindi, cosa fare? Corri più rischi.
Valuterai la tua ipotesi sul 100% dei visitatori e non su una porzione di essi.
Se la modifica che farai, però, si basa su dati oggettivi, frutto della ricerca, del feedback dei clienti o di chi abbandona il sito – il rischio sarà sempre più basso che fare delle modifiche senza alcuna evidenza. Oppure provando idee varie.
Questo è quello che succede la maggior parte dei casi.
Quanto tempo deve durare un AB test?
Dipende dal traffico e dal numero di conversioni; come dicevamo, bisogna rappresentare un contesto realistico e anche un comportamento che sia tale.
Durante l’arco di una settimana il tasso di conversione e numero di obiettivi cambia a seconda dei giorni; le prestazioni del lunedì sono diverse dal martedì e così via.
Lo stesso succede se estendiamo l’analisi al mese: il tasso di conversione all’inizio del mese e alla fine sarà diverso. Spesso per ragioni che non controlliamo, ad esempio: ricevere lo stipendio può avere un peso sulla propensione ad acquistare.
È un’analisi interessante, ti consiglio di verificare i tuoi dati.
Il tempo di durata ideale sarebbe almeno di tre settimane. Se le conversioni o il traffico non sono abbondanti, meglio quattro settimane. Nel caso contrario, avessi tantissimo traffico e conversioni, per le ragioni dette sopra, è comunque consigliato almeno due settimane, perché l’impatto di effetti esogeni potrebbe condizionare il tuo campione.
Non superare le quattro settimane.
Più passa il tempo più è probabile che l’esperimento venga “inquinato”. Perché i visitatori navigano il sito da browser o dispositivi differenti o perché i cookies (su cui si basano gli strumenti per sapere quali sono i visitatori di ritorno) possono essere cancellati. Per cui potrebbero vedere sia la pagina che controlliamo che la variante.
Ricapitolo
Riassumo i concetti chiave, di questo primo articolo sui test AB.
Fare test AB non significa ottimizzare un sito, né essere riusciti ad aumentare le entrate o tasso di conversione. Il test serve solo per capire se la nostra ipotesi è valida, facendo un esperimento con un campione della nostra audience. Punto.
Fare test AB può essere costoso. Bisogna prima verificare se abbiamo visitatori e conversioni sufficienti sulla pagina specifica che vogliamo testare. Se non è così, meglio correre più rischi, mostrando la modifica al 100% dei visitatori; il rischio comunque sarà limitato se quello che modifichi è frutto di evidenze oggettive, di una ricerca a monte che ti supporta nel creare la tua ipotesi.
Si testano ipotesi, no idee. Nemmeno le idee del capo (non me ne volere), e ricorda che così facendo tuteliamo anche i suoi soldini.
Quando fermare il test? Considera almeno tre o quattro settimane. Non fermare il test prima, anche se lo strumento segnala che è stato già raggiunto un dato statisticamente significativo. Dovrà esserlo anche il comportamento delle persone.
Detto questo, cosa dirai al/la collega che ti proporrà di fare un test AB?
Commenti