UX Research: decisões estratégicas em curto prazo com testes A/B

Planejamento do teste - Apresentação

Boas-vindas ao curso de UX Research, Análise de Eficiência e Decisão de Novos Cenários.

Sou o Mateus Villain, Product Designer e instrutor na Escola de UX Design da Alura.

Audiodescrição: Mateus é uma pessoa de pele branca, com cabelos curtos e barba longa na cor castanho-escuro, assim como seus olhos. Usa óculos de grau com armação redonda, uma camiseta verde e uma corrente prata. À sua frente, há um microfone sustentado por um braço articulado. Ao fundo há uma estante com livros, uma máquina de escrever e uma câmera. Além disso, há uma grade com crachás e camisetas penduradas.

Neste curso, vamos explorar uma série de conteúdos com foco no Teste A/B. Este teste é uma das formas de validação mais usadas por empresas de tecnologia que desenvolvem produtos digitais. Elas acreditam que garantir uma experiência positiva para a pessoa usuária é essencial e que validar corretamente é a melhor forma de trabalhar com certezas, e não apenas suposições.

Nas aulas, usaremos bastante a plataforma Hotjar. Vamos explorar interfaces e entender o funcionamento do teste A-B. Como designers, descobriremos como aplicar essa validação e interpretar os resultados após o teste.

Embora o curso seja voltado para designers que atuam na criação de interfaces, pessoas de outras áreas, como engenharia de computação, PO, PM, entre outras, também são muito bem-vindas. Compreender o Teste A/B é valioso para qualquer profissional, independentemente de trabalhar diretamente com interfaces ou design de interação. É sempre enriquecedor entender o ponto de vista dos colegas.

Nos encontramos no próximo vídeo, onde vamos aprofundar a problemática do curso. Se precisarem de algo, estamos à disposição.

Até lá!

Planejamento do teste - Planejamento estratégico

Para começarmos oficialmente nosso conteúdo, precisamos entender toda a parte da problematização. Uma empresa não aplica um teste A/B sem motivo, há sempre motivações ou problemas, caso contrário, não faríamos esse tipo de validação.

Por isso, te apresentamos a Jornada, uma empresa de viagens. Ao navegar pelo site, percebemos que se trata de uma empresa que oferece pacotes de viagens, onde podemos adquirir hospedagem, passagens aéreas e escolher um destino para relaxar. A Jornada está aqui para solucionar esses problemas e criar viagens inesquecíveis.

No entanto, o time de marketing e vendas nos informou que a receita da empresa está caindo em comparação com um período anterior. As pessoas não estão comprando tantos pacotes de viagem quanto antes, mas ninguém sabe o motivo. Não há informações como pesquisas NPS ou avaliações de usuários. Portanto, não temos dados sobre por que a receita está caindo ou onde está o problema.

Quando percebemos que a receita está caindo e estamos perdendo dinheiro, começamos a analisar o produto. O site é o local onde as pessoas compram pacotes, onde o dinheiro entra. O problema inicial provavelmente está no site. Por algum motivo as pessoas não concluem a compra e acabam optando por algum concorrente.

Nisso, as hipóteses começam a surgir. Talvez o site não esteja claro, os preços estejam altos ou as pessoas não estejam encontrando o que procuram. Em reuniões com times de marketing, vendas, diretoria, gerencia e outros designers, mais hipóteses surgem. Hipóteses são valiosas, mas não são certezas. Não podemos simplesmente trabalhar com várias hipóteses e considerá-las como verdade.

Por exemplo, por que não incluir um botão grande no centro da página de cadastrou ou compra por um preço menor? Pode ser que funcione, mas ainda é uma hipótese.

É nisso que entra o teste A/B, que será a validação. Temos uma interface que pode ter problemas e entendemos que ela é a premissa inicial, pois as vendas ocorrem diretamente no site. Se a receita está caindo, menos pessoas estão comprando no site que é o único canal de vendas. Assim, temos essa interface como versão A e precisamos testar uma nova versão, a versão B.

O teste A/B consiste em ter a mesma interface com uma pequena diferença. Por exemplo, logo no inicio do site, há uma imagem de uma pessoa em um barco, a versão B poderia ter um botão para compra de uma viagem para o rio Amazonas. Precisamos testar essa hipótese, lançá-la e dividir a porcentagem de usuários que acessarão a versão A e a versão B. Assim, validamos se a hipótese pode ser uma solução ou se precisamos testar outras abordagens.

No próximo vídeo, explicaremos melhor sobre o teste A/B e como ele funciona como nosso método de validação. Até lá!

Planejamento do teste - O que é um Teste A/B

Agora podemos começar a discutir o que é o Teste A/B. Imagine que temos um site com algum problema, como uma conversão ruim, gerando poucas receitas para a empresa. Queremos entender, formular hipóteses e pensar em possíveis melhorias para aumentar as conversões. Assim, criamos uma versão B de um determinado elemento que pode ajudar a melhorar essa conversão.

Para isso, vamos analisar o site da Alura. Suponhamos que as pessoas não estão comprando planos da Alura. Para acessar os planos, é preciso clicar no botão "Ver planos" na lateral superior direita. Nesse cenário, poderíamos, por exemplo, testar algo diferente com esse botão. Podemos mudar a nomenclatura de "Ver planos" para "Conhecer planos".

A versão B do teste A/B não deve ser algo drástico, como remover o botão, mudar sua posição ou adicionar novos elementos ao redor. O teste A/B deve ser uma troca simples, como uma alteração de estilo, texto, cor ou posição de um elemento. Não devemos fazer grandes mudanças que alterem significativamente o produto na versão A, pois isso pode distorcer os resultados.

O teste A/B é uma técnica para validar duas hipóteses, uma existente, que identificamos como um possível problema, e outra que estamos estudando como uma possível melhoria. É importante destacar que a versão B pode não funcionar e a versão A pode converter melhor. Por isso, podemos realizar novos testes A/B, criando novas versões B até encontrarmos uma que seja superior.

Realizando o teste A/B

A principal motivação de fazer o teste A/B é melhorar as conversões do produto. Não fazemos validações apenas por fazer, queremos observar algo que pode estar gerando problemas. Por exemplo, se uma empresa de viagens não está gerando tanta receita como antes, podemos realizar um teste A/B para entender onde está o problema e pensar em uma versão B que possa performar melhor.

Outro ponto é tomar decisões baseadas em dados reais. Em reuniões com o time de marketing, vendas, diretoria, gerência, designers e outros stakeholders, muitas hipóteses podem surgir. Embora sejam bem-vindas, testar todas as possibilidades podem levar a erros, pois continuam no campo das hipóteses. Com o teste A/B, comparamos a versão A com a versão B para obter argumentos baseados em dados reais.

Além disso, evitamos erros com mudanças mal planejadas. Não podemos publicar novas alterações no site o tempo todo, pois a probabilidade de erro é alta. Tudo deve ser planejado e pensado, sempre com foco no design centrado no usuário. Nossa opinião é importante, mas não somos nossos próprios usuários. Devemos validar diretamente com as pessoas que consomem nosso produto para obter respostas ideais.

Funcionamento e boas práticas do teste A/B

Primeiro, identificamos um problema e definimos o que especificamente vamos testar. Em seguida, criamos as duas versões: a versão A, que é o estado natural, e a versão B, que será utilizada por uma porcentagem dos usuários.

Muitas vezes, em um lançamento de produto, podemos realizar um teste A/B desde o início, considerando que ambas as versões são novidades. Porém, nesse caso, estamos lidando com uma página que já existe, portanto criaremos apenas uma nova versão.

O terceiro ponto é dividir o público-alvo. Não devemos deixar 100% das pessoas descobrirem a versão B. O sistema direciona os usuários para a versão A ou B, como se jogássemos uma moeda. Por último, medimos os resultados. Comparamos como as pessoas utilizam as versões A e B para obter informações valiosas.

Primeiro, teste uma variável por vez, não faça vários testes A/B em uma única página. Por exemplo, se mudarmos o botão para "Conhecer planos", não devemos alterar outros elementos ao mesmo tempo. Mudanças drásticas podem distorcer o teste.

Divida o público de forma justa. Não devemos colocar 70% do público na versão A e 30% na versão B, pois isso enviesaria o teste. Tenha dados suficientes antes de decidir. O teste A/B pode levar semanas, pois as pessoas precisam de tempo para interagir com o site. Não devemos tirar conclusões precipitadas com poucos dias de teste.

Por fim, use métricas claras. Defina como identificar qual versão se saiu melhor, como taxa de cliques, retenção ou churn. Devemos ter argumentos claros para compartilhar com o time e decidir qual versão performou melhor.

Esperamos que tenham compreendido mais sobre o teste A/B, suas funcionalidades e recursos. Nos encontramos na próxima aula. Até lá!

Sobre o curso UX Research: decisões estratégicas em curto prazo com testes A/B

O curso UX Research: decisões estratégicas em curto prazo com testes A/B possui 112 minutos de vídeos, em um total de 43 atividades. Gostou? Conheça nossos outros cursos de UX Research em UX & Design, ou leia nossos artigos de UX & Design.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Planejamento do teste
• Analisando os dados
• Criando as interfaces
• Métricas e validações
• Documentando os resultados