A esta altura, você provavelmente já sabe que sou fã de testes A/B (também chamados de testes de divisão).
É uma maneira "científica" de eliminar o "achismo" dos seus esforços de marketing online.
Mas o que aconteceria se eu lhe dissesse que o teste A/B pode, na verdade, levar a uma taxa de conversão drasticamente menor, mesmo quando os números mostram que é um sucesso estrondoso?
Sim, isso também me assustaria!
Neste artigo, vou compartilhar algumas coisas que aconteceram comigo esta semana e me fizeram repensar a forma como conduzo alguns dos meus testes de divisão.
*Música dramática e sinistra*
O que é teste A/B novamente?
Caso você não tenha certeza, teste A/B é onde você executa um experimento em sua página de vendas, site ou blog, onde você muda um elemento e vê se ele supera o original.
Por exemplo, você pode ter uma página individual em seu blog (como eu tenho) onde você pede às pessoas para se inscreverem em sua lista de e-mails. Nessa página, você pode realizar um teste para ver se um botão de envio vermelho supera um verde. Ou você pode mudar o texto de entrada (que é o texto no botão) de "Enviar" para "Começar!" e ver qual funciona melhor.
A coisa incrível sobre testes A/B é que você muitas vezes obtém resultados que realmente o surpreendem. Lembro-me de ter ouvido uma vez sobre alguns profissionais de marketing da Internet que removeram sua prova social de sua barra lateral e viram as conversões dispararem (se alguém se lembrar desse artigo, por favor, me avise). Esse é um resultado realmente surpreendente porque os profissionais de marketing estão sempre nos dizendo que a prova social aumenta as conversões.
Se você gostaria de uma introdução realmente legal a testes de divisão, a WIRED tem um artigo incrível sobre como Barack Obama o usou com grande sucesso em sua primeira campanha eleitoral.
Dois testes A/B que fiz na semana passada deram muito errado
Ok, então você provavelmente está bem ansioso para descobrir minha história de terror com testes de divisão. Bem, não é tão ruim assim, mas me fez repensar um pouco a maneira como conduzo meus testes.
1. Teste de divisão do meu formulário de opt-in pop-up
O primeiro teste A/B que comecei na semana passada foi em conjunto com meu post sobre AWeber. No post, mencionei que começaria um teste de divisão em meus formulários pop-up para mostrar a todos quanta informação valiosa pode ser coletada (se você quiser aprender como fazer isso aqui está um vídeo).
Bem, foi aí que o problema começou. Depois de um dia ou mais, verifiquei o teste de divisão e vi isto:
Breve explicação se isso for novo para você.
Como você pode ver, estou executando dois pop-ups diferentes. O meu usual é o de baixo e a nova versão que estou testando tem uma foto quadrada e é muito mais estreita.
Probabilidade indica a divisão percentual entre essas duas versões. Então, metade das pessoas verá uma versão, a outra metade verá a outra.
Exibições mostra quantas pessoas realmente a viram. (Problema)
Inscritos mostram quantas pessoas se inscreveram com esse formulário. (Hmmm)
S/D são assinantes divididos por exibições. Esta é a sua taxa de conversão.
O que isso significa?
Como você pode ver, as exibições aqui estão muito erradas. O que significa que o resto dos números são meio inúteis. A taxa de conversão do meu pop-up original em 3,1% é realmente muito boa, mas ele está vendo exibições demais para escolhê-lo como vencedor em vez do novo.
Mais importante, não consigo dizer se as exibições estão incorretas ou apenas os números que estou vendo. Portanto, não há realmente como saber o que é o quê.
Voltaremos a mais conclusões depois que a próxima parte for discutida.
OBSERVAÇÃO: Contatei a AWeber sobre isso e eles disseram que há um problema temporário com as medições de testes A/B que os técnicos estão tentando resolver rapidamente.
2. Testando minha HelloBar no topo
A pequena barra que você vê no topo do meu blog é chamada de HelloBar. É uma coisa bastante cara (US$ 30 por mês para o meu plano), mas incrivelmente incrível, desenvolvida por Neil Patel, que permite fazer muitas coisas legais, como medir a taxa de cliques, executar um teste A/B entre duas barras e ver qual funciona melhor, etc.
Atualmente estou fazendo um pequeno teste A/B entre duas barras, uma azul e uma laranja, para ver qual obtém a melhor taxa de cliques para o meu post sobre como iniciar um blog WordPress.
Eu sempre executo essas HelloBars da mesma maneira; duas variações da mesma mensagem, vejo qual obtém mais cliques, escolho-a como vencedora.
Mas quando percebi que o último anúncio bem-sucedido coincidiu com uma queda nas conversões *reais*, comecei a reavaliar a maneira como eu fazia as coisas. E essa é a essência deste artigo.
Como o teste A/B diminuiu minhas conversões
Agora, qualquer profissional de marketing digital experiente rirá da obviedade disso. Mas é algo que eu ainda queria compartilhar porque, mesmo testando há algum tempo, eu ainda cometi o erro.
A questão do teste A/B é que tudo é inútil, a menos que você esteja rastreando conversões.
Taxa de cliques? Inútil.
Números de tráfego? Inútil.
Pense nisso por um segundo.
Eu poderia fazer um teste A/B entre dois formulários de opt-in pop-up. Um deles poderia ser meu "Junte-se à minha lista de e-mails" normal e o outro poderia dizer "Digite seu e-mail e ganhe R$ 500".
Obviamente, a versão de R$ 500 obterá mais assinantes.
Mas também terá uma taxa de atrito massiva. As pessoas receberão seu dinheiro (se eu estiver sendo sério) e depois se desinscreverão. Elas não terão nenhum valor para mim.
E assim foi com meus vários testes A/B em meu blog. Eu estava tão focado em ver números maiores e mais cliques que esqueci de medir as conversões. E esse é um problema muito grande porque desperdiça tempo e dinheiro e pode fazer com que você perca muitas oportunidades de ganho.
Metas e rastreamento autêntico são essenciais
O que isso realmente volta é definir metas/resultados claros para seus testes A/B e garantir que você tenha um rastreamento autêntico para essas metas.
Isso é muito difícil quando o produto que você está vendendo não é seu. Você precisa ser capaz de fazer coisas como adicionar um pixel de rastreamento à página de vendas para ver qual tráfego está se convertendo em clientes – um problema bastante comum para alguns produtos de afiliados.
Então, qual é a resposta?
Simpatia? Não.
Na verdade, acho que o ponto de partida é começar a pensar sobre o que você realmente quer das várias atividades que você faz em seu blog.
Por exemplo, se você está tentando obter mais assinantes de e-mail, então você quer pensar sobre o que você realmente quer deles. Por exemplo, você pode ter 100.000 pessoas em sua lista, mas:
- Você tem boas taxas de abertura?
Quantos desses 100.000 assinantes estão abrindo seus e-mails? - Eles estão engajando?
Das pessoas que abrem esses e-mails, quantas pessoas estão engajando com seu conteúdo ou o que quer que você esteja publicando? - Eles estão se descadastrando ou marcando você?
Pior do que não abrir, eles estão apenas se descadastrando da sua lista ou marcando você como spam? - Eles estão comprando?
Por último, como esses assinantes de e-mail se saem quando se trata de comprar seus produtos ou o que quer que você esteja promovendo?
Depois de descobrir o que você realmente quer alcançar (metas), você precisa descobrir uma maneira real de rastrear essas coisas.
Em seu software de marketing por e-mail, você pode fazer isso segmentando suas listas com base em qual formulário de inscrição eles usaram. Claro, isso também é problemático porque outros fatores como seu envio, hora do dia, oferta, etc., também afetarão os resultados.
Se for uma página de destino, você pode usar o Visual Website Optimizer para criar duas versões da mesma página e ver qual delas tem melhor desempenho. Novamente, isso só é realmente útil se você puder rastrear as pessoas até a página de inscrição final.
Você pensa em números ou conversões?
Eu estaria muito interessado em saber quantos Tyrant Troops pensam sobre os números que estão obtendo, ou quantas conversões esses números estão gerando. Quantos de vocês estão rastreando e medindo conversões em seu blog? Se você tiver alguma informação ou ferramenta, por favor, deixe um comentário.
© Fotógrafo: Igordutina | Agência: Dreamstime.com
Sou novo em testes A/B, embora planeje experimentá-lo mais tarde esta semana enviando 2 e-mails diferentes para meu próximo post de blog.
No entanto, notei que recebo muito mais aberturas e cliques em posts de blog que têm títulos chamativos – o que parece indicar que muitos dos meus assinantes são apenas leitores casuais e não visitam meu blog, a menos que algo chame a atenção deles.
Não sei o quão normal isso é ou se é um problema de alguma forma? Talvez você possa oferecer uma visão sobre isso, Ramsay?
Além disso, existe alguma maneira possível de fazer testes A/B dando aos meus leitores instruções no final de um artigo para comentar ou compartilhar? Obviamente não através do Aweber, mas por outro método? Pedir para compartilharem parece funcionar... mas não sei se eles compartilhariam de qualquer maneira... ou se isso afasta as pessoas de fazê-lo. (Parecendo carente?)
Obrigado.
Oi Jamie.
O que você quer dizer com títulos clickbait? Tipo mudar o título principal para ser mais parecido com o "BuzzFeed"?
Boa pergunta sobre a última questão. Eu peço compartilhamentos ocasionalmente, mas meio que limito a um instinto quando criei algo muito bom – ou a comunidade esteve envolvida.
Por exemplo – um artigo recente que escrevi tinha o título '7 Regras Estúpidas da Vida que Você Deveria Parar de Prestar Atenção', que eu tinha mudado do meu título rascunhado de '7 maneiras de desafiar a conformidade'. Então mudei o título e os subtítulos para algo mais cativante.
A mesma coisa – apenas excessivamente dramático para chamar a atenção das pessoas.
Suponho que eu poderia ter usado ambos os títulos no cabeçalho do e-mail do Aweber para rastrear como cada título converte?
Sim, eu faço isso às vezes – testo dois títulos diferentes. O problema então é avaliar quem clicou e depois quem se engajou mais…
Ótimo ponto. Isso é algo em que eu nunca teria pensado no meu estágio atual de blog. Obrigado, Ramsay!
Espero que ajude, Kevin. Obrigado por deixar um comentário. Agradeço.
Definitivamente ajuda. Tive conversões terríveis com meu formulário de inscrição e não fiz nenhum esforço para descobrir o porquê. Isso despertou o desejo de investigar e começar a pensar no que eu não estava fazendo para meus assinantes. Além disso, você usa aweber, que exige que o usuário confirme sua assinatura antes de realmente ser adicionado à sua lista. Eu escolho um serviço que especificamente não faz isso, pois estava tendo resultados terríveis com o acompanhamento – as pessoas não estavam confirmando suas assinaturas. Isso pode realmente me prejudicar a longo prazo?
Acho que pode prejudicar suas taxas de entrega. Não tenho 100% de certeza. Você definitivamente quer que as pessoas na sua lista queiram estar lá, no entanto.
Dei uma olhada rápida no seu site – na verdade, não consigo ver o formulário de opt-in…?
Essa é outra coisa… Meu formulário também está apenas em uma caixa de diálogo modal na segunda página visitada. Eu não queria parecer insistente ou desesperado, então não o coloquei na primeira página visitada. Isso é uma má prática? :)
Coloque na primeira página, Kev! :)
No topo da sua barra lateral. E considere uma página dedicada no seu menu onde você fala sobre como as pessoas podem se inscrever e os benefícios que obterão com isso.
Formulário – o corretor automático ataca novamente!
Excelente conselho! Você é uma mina de ouro! Obrigado, Ramsay!
Kevin,
Eu uso Aweber e desativei a função de confirmar assinatura – meus assinantes são levados diretamente para minha página de upsell e começam a receber meus e-mails.
No entanto, depois de um tempo, vou reativar a 'confirmação' para ver se os assinantes são mais engajados ou não.
Apenas pensei em avisar as pessoas!
Obrigado,
Claire
Eu pensei que estava na política do AWeber que você tinha que ter isso ativado?
É isso que eles dizem nas configurações do Formulário Web:
“Se preferir, você pode desativar a Confirmação de Inscrição para pessoas que se inscrevem usando um formulário da web que você cria e coloca em seu site.
No entanto, nós encorajamos fortemente o uso da Confirmação de Inscrição para seus formulários da web.”
Mas ainda é sua escolha.
Claire
Olá,
Eu comecei a rastrear e uso o AdTrackzGold. Este é um ótimo software porque eu coloco um novo código de rastreamento em cada uma das minhas promoções (disfarçado) e ele rastreia:
Campanhas, Cliques Brutos, Cliques Únicos, Ações (inscrições), Vendas, CPC Médio, CPA, CPS, Custo, Receita, Lucro, R.O.I.
Assim, em um relance, posso ver quantas pessoas veem minha página de captura, quantas se inscreveram e quantas compraram meu upsell.
Se eu pago por publicidade, ele me diz meu ROI e eu posso ver se vale a pena continuar com esse método de publicidade ou não.
Ainda não fiz nenhum teste A/B, mas farei em breve (ele tem uma seção de teste A/B no AdTrackzGold também)
Obrigada,
Claire
Boa, Claire! Alguma ideia sobre como rastrear um produto onde você não possui a página de confirmação?
Bem, esse é o problema, não é?
O AdTrackzGold tem uma função para rastrear cliques de afiliados, ações e vendas, mas o comerciante precisa colocar seu código em sua página de Agradecimento (como se isso fosse acontecer!)
Claire
Fui oferecido isso por alguns dos meus, mas não todos. Tenho certeza de que há uma maneira – apenas complicada!
Isso parece incrível! Estou marcando este serviço nos meus favoritos. 🙂
Kevin,
Nem é um serviço, é um pagamento único de $67 pela versão do Plugin WP (eu não tenho isso, pois comprei o meu há anos, tenho o script).
Obrigado,
Claire
Ah, legal. Com certeza investirei nisso no futuro.
Eu não sou um grande fã de testes A/B, principalmente porque é uma tarefa complicada de fazer, mas certamente pode trazer muito dinheiro extra para o negócio, se feito corretamente.
Você levanta um ótimo ponto neste artigo que, ao aumentar sua taxa de cliques, você não necessariamente ganha mais dinheiro, porque talvez o anúncio atraiu o público errado.
Outros exemplos seriam quando se faz teste A/B de uma página de captura. Uma página de captura – A com uma taxa de conversão maior pode gerar menos vendas do que uma página de captura – B com uma taxa de conversão menor. Isso pode acontecer, porque a página B estava pré-vendendo e a conversão naturalmente caiu, mas no final pode gerar mais dinheiro.
Portanto, você tem que rastrear o resultado final (dinheiro no banco) para encontrar os verdadeiros vencedores.
Sim, bem dito Liudas. Obrigado por comentar.
Eu não fiz testes A/B, mas acho algumas coisas úteis sobre outros tópicos que você mencionou:
1. Para manter meu público engajado e garantir que não estou puxando peso morto, eu limpo minhas listas a cada 3 meses. Eu verifico quem NÃO abre e-mails regularmente e envio um e-mail do tipo “Odeio ver você ir embora” com uma oferta para se engajar (há um incentivo). Alguns se tornarão ativos novamente, mesmo que não aproveitem o incentivo, enquanto outros, se não responderem, são excluídos.
2. A parte mais estranha que encontrei é que recebo mais engajamento do meu público por e-mail (como se eles realmente não soubessem deixar comentários, embora eu os eduque constantemente sobre isso) e no Facebook. No entanto, apesar disso, meu público ainda está comprando meus produtos. No final do dia, acho que é isso que mais importa para um blogueiro.
Então, para mim, as conversões são muito mais importantes do que os números. Se eu me concentrasse apenas nos números, minha lista de e-mails seria o dobro do tamanho, mas prefiro ter um público ativo menor do que um público maior e sem resposta.
Oi Elena.
Obrigado pelo ótimo comentário.
Eu também tento manter minha lista enxuta. Geralmente um pouco abaixo da marca de 10.000. Ajuda a economizar taxas também!
O que você diria que mais ajudou suas vendas?
Sim, as taxas podem ser um problema, é por isso que estou tentando manter minha lista o mais "viva" e ativa possível. Estou chegando perto da marca de 10 mil, então não carregar peso morto é fundamental. Na verdade, em breve reeditarei minha campanha de gotejamento para manter minha audiência ainda mais engajada.
Quanto às vendas, eu chamo de "romance com o cliente". Faço questão de falar com meus leitores quando eles deixam comentários, me enviam e-mails ou usam as mídias sociais para interagir (muito parecido com o que você faz aqui). Alguns compram um de meus produtos ou e-books imediatamente, enquanto outros ("observadores") levam tempo para ver se sou uma pessoa real e se cumpro o que prometo. Eles acabam se tornando os clientes mais leais no final. Eu nunca prometo demais e sempre entrego demais, e mantenho o marketing tradicional ao mínimo.
Além disso, saber quando oferecer certos produtos tem sido fundamental para mim. Embora eu ofereça serviços, também ofereço e-books. O início do ano é normalmente o "Jejum de Daniel" e agora o tráfego da "Quaresma" que recebo, então, eu maximizo isso e ofereço um e-book além do conteúdo gratuito que ofereço.
Verdade. Eu nunca fui um grande fã de testes A/B pessoalmente. Claro, ajuda com melhores taxas de abertura; mas também vimos taxas de cancelamento de inscrição mais altas com alguns de nossos clientes que dependem consistentemente do teste.
Interessante. Que tipo de listas de mala direta?
Bem... de cabeça, um cliente uma vez direcionou seu banco de dados de e-mail com a 'linha de assunto vencedora' de seus testes A/B. A linha de assunto era bastante enganosa em comparação com o conteúdo exato. Resultado final – muitos cancelamentos e reclamações de spam. Um preço muito alto para melhores taxas de abertura.
Uau. Fascinante.
Olá Ramsey
Artigo bem interessante – não sou um grande fã de testes A/B pessoalmente.
Não estou dizendo para não fazer ou que não é uma ferramenta muito útil, mas pessoalmente eu só testo coisas como títulos e alguns formatos básicos de layout – há uma arte e ciência nisso e sinto que os testes às vezes recebem muito tempo de atenção nos círculos de marketing online.
Pode ter resultados dramáticos e também pode ter resultados inesperados ou negativos – sinto que é mais importante aderir aos princípios básicos comprovados que melhor se adequam a você e, em seguida, de tempos em tempos, decidindo primeiro quais são seus objetivos e, em seguida, testando seus resultados.
Tudo o que posso dizer é que nunca tive diferenças enormes entre nenhum dos meus testes A/B – claro que é bom para otimizar, mas para grandes mudanças há coisas melhores em que investir seu tempo em outros lugares.
Paul
Oi Peul. 🙂
Sim, estou começando a concordar com isso. Acho que precisa ser talvez restrito a plataformas puramente de vendas, como landing pages, onde pequenas diferenças podem ser enormes e são facilmente rastreadas.
É muito legal que você concorde 😀 – é uma daquelas coisas que são faladas repetidamente em círculos de marketing, mas consigo ver o porquê – as pessoas adoram ouvir sobre dados, testes, mudanças e resultados.
Mas, realisticamente, conhecer seus clientes o ajudará a aumentar as conversões, pois você produzirá recursos mais úteis em um formato que eles gostam, entregues a eles da maneira que não acham desagradável e que, na verdade, apreciam.
Concordo sobre as landing pages e páginas de vendas com alto volume de tráfego – pois pequenas mudanças incrementais trazem resultados consistentes. Tenho que dizer que esses tipos de páginas precisam ser abordadas de forma metódica, o que requer planejamento, objetivos claros e provavelmente números de tráfego bastante altos.
Obrigado, boas dicas.
Eu realmente quero experimentar o teste A/B alguma vez no meu site, mas não sei realmente o que estou esperando e por onde começar. 🙁
Comece com seus formulários de opt-in.
Ótimo artigo – estou fazendo testes A/B com meu programa de e-mail agora, e isso me deu algumas novas maneiras de olhar para os dados. Uma coisa que realmente me chamou a atenção foi que tenho rastreado descadastramentos e engajamento, mas tenho olhado para eles da maneira errada! Vou fazer algumas mudanças em minhas métricas de avaliação para olhar as taxas relativas de engajamento e descadastramentos. Eu pensaria que preciso comparar esses números com o número total de aberturas para ter a melhor ideia do que está acontecendo, você sugeriria alguma outra maneira de usar esses dados? Obrigado como sempre por me fazer pensar!
Essa é uma pergunta muito boa. Eu tendo a não me preocupar muito com descadastramentos – recebo entre 30 e 50 para cada e-mail que envio. Acho que é melhor do que eles marcarem você como spam. Não tenho certeza de como usar mais os dados na prática, no entanto.
Hmm, mais alguém está tendo problemas com as imagens deste blog carregando?
Estou tentando descobrir se é um problema do meu lado ou se
é o blog. Qualquer feedback seria muito apreciado.