Num teste multivariado, uma página Web é tratada como uma combinação de elementos (incluindo manchetes, imagens, botões e texto) que afectam a taxa de conversão. Essencialmente, você decompõe uma página da Web em unidades distintas e cria variações dessas unidades. Por exemplo, se a sua página é composta por um cabeçalho, uma imagem e um texto de acompanhamento, então você criaria variações para cada uma delas. Para ilustrar o exemplo, vamos assumir que você faz as seguintes variações:

• Headline: headline 1 e headline 2
• Text: text 1 and text 2
• Image: image 1 and image 2

O cenário acima tem três variáveis (headline, texto e imagem), cada uma com duas versões. Em um teste multivariável, seu objetivo é ver qual combinação dessas versões atinge a maior taxa de conversão. Por combinações, refiro-me a uma das oito (2 × 2 × 2) versões da página Web que iremos apresentar quando combinarmos as variações das secções:

• Headline 1 + Texto 1 + Imagem 1
• Headline 1 + Texto 1 + Imagem 2
• Headline 1 + Texto 2 + Imagem 1
• Headline 1 + Texto 2 + Imagem 2
• Headline 2 + Texto 1 + Imagem 1
• Linha de cabeça 2 + Texto 1 + Imagem 2
• Linha de cabeça 2 + Texto 2 + Imagem 1
• Linha de cabeça 2 + Texto 2 + Imagem 2

Em testes multivariados, você divide o tráfego entre essas oito versões diferentes da página e vê qual combinação produz a maior taxa de conversão – tal como nos testes A/B, onde você divide o tráfego entre duas versões de uma página.

Começando com testes multivariados

Para criar seu primeiro teste multivariado, primeiro escolha uma ferramenta ou estrutura que suporte testes multivariados. Você pode usar uma das ferramentas listadas na seção “Ferramentas” no final deste artigo. Note que nem todas as ferramentas de teste A/B suportam testes multivariados, por isso certifique-se que a sua ferramenta de escolha a permite.

Após ter decidido qual ferramenta usar, escolha quais as secções a incluir no teste. Como você sabe, uma página Web pode conter dezenas ou centenas de seções diferentes (rodapé, cabeçalho, barra lateral, formulário de log-in, botões de navegação, etc.). Você não pode incluir todas essas seções no teste; criar variações para todas elas seria uma tarefa enorme (e, como você vai ler abaixo, os requisitos de tráfego para o teste crescerá exponencialmente com cada nova seção). Limite-o às poucas seções da página que você acha que são mais importantes para o objetivo da conversão.

As seguintes partes de uma página (listadas em ordem de importância) são tipicamente incluídas num teste multivariado:

• Linha de cabeçalho e cabeçalho,
• Botões de chamada para acção (cor, texto, tamanho, colocação),
• Cópia de texto (conteúdo, comprimento, tamanho),
• Imagem (tipo, colocação, tamanho),
• Comprimento do formulário.

A diferença entre os testes A/B e os testes multivariados

Conceptualmente, as duas técnicas são semelhantes, mas existem diferenças cruciais. Antes de mais nada, os requisitos de tráfego são diferentes. Como eu disse, o número de combinações que precisam ser testadas cresce exponencialmente em um teste multivariado. Você pode testar três ou quatro versões em um teste A/B e dezenas ou centenas de versões em um teste multivariado. Claramente, então, muito tráfego – e tempo – é necessário para chegar a resultados significativos.

Por exemplo, se você tiver três seções com três variações cada, o número de combinações é 27. Adicione outra seção com três variações, e o número total de combinações salta para 81. Se você quiser resultados significativos, não pode continuar adicionando seções ao teste. Seja seletivo. Uma boa regra é limitar o número total de combinações a 25 ou menos.

Utilizar o teste A/B para mudanças em grande escala, não para refinar ou otimizar projetos existentes. Imagem por Meet the Chumbeques

Outra diferença está na forma como estas técnicas são utilizadas. Os testes A/B são normalmente reservados para grandes mudanças radicais (como a mudança completa de uma página de destino ou a exibição de duas ofertas diferentes). O teste multivariado é usado para refinar e otimizar um projeto existente. Para os testes de inclinação matemática, o teste A/B é usado para otimizar para um ótimo global, enquanto o teste multivariado é usado para otimizar para um ótimo local.

Uma vantagem do teste multivariado sobre o teste dividido A/B é que ele pode dizer qual parte da página é mais influente nas metas de conversão. Digamos que você esteja testando a manchete, o texto e a imagem na sua página de destino. Como você sabe qual parte tem o maior impacto? A maioria das ferramentas de teste multivariado lhe dará uma métrica, chamada de “fator de impacto”, em seus relatórios que lhe diz quais seções influenciam a taxa de conversão e quais não influenciam. Você não obtém esta informação dos testes A/B porque todas as seções são agrupadas em uma variação.

Tipos de testes multivariados

Baseado em como você distribui o tráfego para suas combinações, existem vários tipos de testes multivariados (MVT):

Testes fatorial completosEste é o tipo que as pessoas geralmente se referem quando falam sobre testes multivariados. Por este método, distribui-se o tráfego do website igualmente entre todas as combinações. Se houver 16 combinações, cada uma receberá um sexto de todo o tráfego do site. Como cada combinação recebe a mesma quantidade de tráfego, este método fornece todos os dados necessários para determinar qual combinação e seção em particular teve melhor desempenho. Você pode descobrir que uma determinada imagem não teve efeito sobre a taxa de conversão, enquanto a manchete foi a mais influente. Como o método factorial completo não faz suposições com relação a estatísticas ou à matemática dos testes, eu o recomendo para testes multivariados.

Recordar e comparar o tráfego resultante para cada versão testada. Imagem por ItoWorld

Testes factoriais parciais ou fracionáriosComo o nome sugere, neste método apenas uma fração de todas as combinações é exposta ao tráfego do site. A taxa de conversão para combinações não expostas é inferida a partir daquelas que foram incluídas no teste. Por exemplo, se houver 16 combinações, então o tráfego é dividido entre apenas oito delas. Para as oito restantes, não obtemos dados de conversão e, portanto, precisamos recorrer à matemática sofisticada (com algumas suposições) para obter informações. Por razões óbvias, não recomendo este método: apesar de haver menos requisitos de tráfego para testes factoriais parciais, o método força demasiadas suposições. Não importa quão avançada a matemática seja, dados concretos são sempre melhores que inferências.

Taguchi testing Este é o método mais esotérico de todos. Uma pesquisa rápida no Google revela muitas ferramentas que afirmam reduzir drasticamente o seu tempo de teste e os requisitos de tráfego com os testes Taguchi. Alguns podem discordar, mas eu acredito que o método Taguchi é um pouco falso; é um conjunto de heurísticas, não um método teoricamente sólido. Ele foi originalmente usado na indústria de manufatura, onde foram feitas suposições específicas a fim de diminuir o número de combinações que precisavam ser testadas para GQ e outros experimentos. Estas suposições não são aplicáveis a testes online, por isso não deve ser necessário fazer nenhum teste Taguchi. Siga os outros métodos.

Do’s And Don’ts

Eu tenho observado centenas de testes multivariados, e tenho visto muitas pessoas cometerem os mesmos erros. Aqui estão alguns conselhos práticos, diretamente da minha experiência.

Don’ts

• Não inclua muitas seções no teste. Cada seção que você adicionar efetivamente duplica o número de combinações a serem testadas. Por exemplo, se você estiver testando uma manchete e uma imagem, então há um total de quatro combinações (2 × 2). Se você adicionar um botão ao teste, de repente há oito combinações a serem testadas (2 × 2 × 2). Quanto mais combinações, mais tráfego você precisará para obter resultados significativos.

Do’s

• Faça a pré-visualização de todas as combinações… Em testes multivariados, as variações de uma secção (imagem, cabeçalho, botão, etc.) são combinadas para criar variações de página. Uma das combinações pode ser de aparência estranha ou, pior, ilógica ou incompatível. Por exemplo, uma combinação pode juntar uma manchete que diz “$15 de desconto” e um botão que diz “Assinatura grátis”. Essas duas mensagens são incompatíveis. Detectar e remover incompatibilidades na fase de pré-visualização.
• Decidir quais seções são mais dignas de serem incluídas no teste… Em um teste multivariado, nem todas as seções terão um impacto igual na taxa de conversão. Por exemplo, se você incluir um cabeçalho, um botão de chamada para ação e um rodapé, você poderá perceber que as variações do rodapé têm pouco impacto, e que as variações do cabeçalho e da chamada para ação produzem combinações vencedoras. Você obtém um poderoso relatório específico de seção. Abaixo está um exemplo de relatório do Visual Website Optimizer. Observe como o botão tem mais impacto (91%) do que a manchete (65%):
• Faça uma estimativa do tráfego necessário para obter resultados significativos… Antes de testar, tenha uma ideia clara de quanto tráfego você precisará para obter resultados estatisticamente significativos. Já vi pessoas adicionarem dezenas de seções a uma página que recebe apenas 100 visitantes por dia. Resultados significativos de tal teste levariam meses para se acumularem. Sugiro o uso de uma calculadora, como esta calculadora A/B split e multivariada de duração do teste, para estimar quanto tráfego o seu teste vai precisar. Se for mais do que aceitável, reduza algumas seções.

Case Studies

Muitos estudos de casos de teste A/B estão na Web, mas infelizmente, encontrar estudos de casos de teste multivariados ainda é difícil. Por isso, pesquisei na Internet e compilei estudos relevantes.

Software Download Case Study: downloads aumentaram em 60% Este é um teste multivariado que fiz para comparar diferentes versões de manchetes e links. No final, uma das variações resultou num aumento de mais de 60% nos downloads.

Microsoft Multivariate Testing Case StudyEsta apresentação detalha as variações que foram testadas para este website e o vencedor final.

SiteSpect Case StudiesEsta página apresenta uma dúzia de estudos de casos de testes multivariados de grandes empresas que usam testes multivariados e direcionamento comportamental para otimizar seus sites.

Maxymiser Case StudiesOutro conjunto de estudos de casos de testes multivariados.

Look Inside a 1.024-Recipe Multivariate ExperimentYouTube fez um gigantesco teste multivariado em 2009. Ele pode se dar ao luxo de fazer testes com mais de mil combinações porque tem tráfego suficiente.

Teste multivariado de uma newsletter de e-mailUma agência testou cor e texto no botão de chamada para ação de sua newsletter de e-mail. O melhor botão tinha o CTR mais alto: 60%.

Ferramentas e recursos de teste multivariado

Ferramentas

Google Website OptimizerUma ferramenta de teste multivariado básica gratuita do Google. É ótimo se você quiser testar as águas antes de investir dinheiro em testes multivariados. O lado negativo? Você precisará marcar diferentes seções da página Web com JavaScript, o que pode ser incômodo. Também é propenso a erros e força você a confiar em outros (como o departamento de tecnologia) para implementação.

Visual Website Optimizer (Disclaimer: Eu sou o desenvolvedor desta ferramenta)A principal vantagem desta ferramenta paga é que você pode criar um teste multivariado visualmente em um editor WYSIWYG, escolhendo diferentes seções da página. Você pode então executar o teste sem ter que marcar seções individualmente (embora um trecho de código seja necessário no cabeçalho). A ferramenta inclui mapa de calor e relatórios de mapa de clique.

WhichMVTA website que publica revisões do usuário de todas as ferramentas de teste multivariado disponíveis no mercado. Se você está planejando adotar uma ferramenta de teste multivariado para sua organização, faça sua pesquisa neste website.

Enterprise testing toolsOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’ Optimize, e SiteSpect.

Recursos

Guia de Especialistas para o Sucesso dos Testes Multivariados, por Jonathan MendezA série de posts de blog detalhando diferentes aspectos dos testes multivariados.

Fail Faster With Multivariate Testing (PDF)Um excelente mini-guia gratuito para testes multivariados.

Online Testing Vendor LandscapeUm relatório comercial da Forrester que compara os vários fornecedores de testes por aí.

Lessons Learned from 21 Case Studies in Conversion Rate OptimizationThis article discusses ideas for conversion rate optimization detailed through different case studies.

Pode estar interessado nos seguintes artigos relacionados:

• Guia de Testes A/B
• Comércio Eletrônico: Suas Opções ao Vender Online
• Improve Your E-Commerce Design With Brilliant Product Photos
• Nossa série em 3 partes “Optimizing Conversion Rates”.

(al)