22 perguntas de entrevista de teste A/B e como respondê-las

Vimos candidatos craques em entrevistas de teste A/B tanto quanto vimos candidatos responderem a perguntas de entrevistas de maneiras que os fizeram parecer menos qualificados do que realmente eram. Por isso, decidimos escrever este artigo para ajudá-lo a fazer isso da maneira certa, seja em gerenciamento de produtos ou ciência de dados.

Se você for o gerente de contratação, encontrará inspiração para perguntas de entrevista que o ajudarão a descobrir o quão bom o candidato realmente é. Se você for o entrevistado, encontrará o que precisa para ser o melhor na entrevista.

O que é teste A/B?

O teste A/B, também chamado de teste A/B, é um método para determinar qual das duas versões de um recurso de produto, página da Web, elemento de campanha ou outro recurso tem melhor desempenho para uma determinada meta. Você pode usar o teste A/B para melhorar o fluxo de trabalho de desenvolvimento de produtos, a interface do usuário (IU) ou as taxas de conversão.

Um exemplo clássico é o teste A/B de um botão na parte inferior de uma tela, com duas cores ou palavreado diferentes, mostrados aleatoriamente entre o grupo de tratamento e o grupo de controle. O teste A/B rastrearia qual botão recebeu mais cliques. Outro exemplo seria testar A/B dois fluxos em um produto em que o grupo de tratamento vê um recurso diferente do grupo de controle. O objetivo pode ser determinar qual recurso leva a um maior gasto no aplicativo por duas semanas após o uso do recurso.

Como criar perguntas de entrevista de teste A/B

Concentre-se no que você está tentando entender sobre o conhecimento e as habilidades do candidato

Você precisa saber mais sobre como eles projetariam um teste ou como eles analisariam os resultados? Você tem muitos problemas de dados para limpar ou precisa de alguém que se sinta à vontade com um software de teste A/B específico para que eles possam começar a trabalhar?

Com funções de gerenciamento de produtos, concentre-se em como eles tomam decisões

Descubra como o candidato toma decisões baseadas em dados, combina e usa os dados durante a análise ou como aplica a intuição. Por exemplo, fale sobre como o candidato definiria um efeito mínimo detectável (MDE), o menor efeito que você poderia ter que ainda é importante para você como empresa.

Com funções de ciência de dados, concentre-se em habilidades estatísticas

O cientista de dados da equipe precisará estar lá para garantir que os experimentos sejam configurados corretamente. As perguntas devem ser sobre testes de hipóteses, intervalos de confiança ou valores-p.

Questões de design relevantes para o dia a dia da sua empresa

Experimentação e análise não são de tamanho único. Cada empresa tem desafios diferentes. Concentrar-se naqueles específicos para o seu próprio contexto de teste ajudará você a encontrar candidatos que entendam seu setor. Por exemplo, esses desafios específicos podem ser que sua empresa:

• Tem um tamanho de amostra pequeno porque você está em B2B
• Está focado em dados de longo prazo sobre a receita acumulada ao longo de dois meses após o novo recurso ter sido exibido pela primeira vez
• Tem que contornar suposições de independência que quebram por causa dos efeitos da rede social

Estudos de caso de uso

Combine perguntas de metodologia com perguntas de casos de negócios. Os casos devem estar intimamente relacionados ao seu próprio dia-a-dia. Isso ajuda ainda mais no esforço de descobrir como o candidato seria capaz de aplicar o conhecimento geral de testes A/B no contexto específico de sua empresa.

Faça perguntas abertas e torne as perguntas incompletas por design

Deixar o candidato falar livremente enquanto responde à pergunta mostra o processo de pensamento dele. Além disso, fazer o candidato pensar sobre quais informações estão faltando é uma forma de aprender mais sobre como ele resolve problemas no mundo imperfeito. Se você fizesse perguntas com apenas uma resposta correta, você não aprenderia o suficiente sobre o entrevistado.

Alinhe suas perguntas com o processo de teste A/B

Faça perguntas na mesma ordem lógica da ordem usada no teste A/B. Comece projetando os testes A/B antes de passar para medição, análise de resultados e tomada de decisões. Essa abordagem ajuda tanto o entrevistador quanto o entrevistado a permanecer no caminho certo quando a entrevista fica mais longa.

Faça perguntas que se concentrem na capacidade de aprendizagem

Encontrar um candidato que possa se adaptar e aprender rapidamente o ajudará quando você tiver dificuldades para encontrar alguém que possa começar a correr. Com o mercado de trabalho competitivo, isso é cada vez mais importante. Então pergunte sobre:

• Como eles resolveram um desafio quando não tinham todas as habilidades ou recursos que desejavam ter
• Como eles consertaram um erro que cometeram
• Como eles se adaptaram a uma nova tendência
• O que os ajudou a aprender uma nova ferramenta

Discutir tendências do setor e de testes A/B

Avalie a consciência de seus candidatos sobre como o teste A/B evolui para seu setor. Você poderá ouvir seus insights exclusivos e, ao mesmo tempo, ver como eles conectam seu trabalho com o quadro geral. Isso também ajuda a descobrir a personalidade do candidato. Você pode até ter uma conversa pela qual ambos se apaixonarão e se conectarão.

22 exemplos da vida real de perguntas de entrevista de teste A/B - e o que procurar nas respostas

Abaixo está uma amostra representativa de perguntas que fizemos ou foram feitas em entrevistas de teste A/B. Como uma empresa de otimização digital, nossas perguntas têm um leve viés em relação ao contexto do uso de testes A/B para criar e desenvolver um produto.

Você encontrará perguntas e dicas de respostas para funções de gerenciamento de produtos e cientista de dados, além de perguntas que pressupõem que o processo de contratação já verificou o conhecimento básico de testes A/B. Você também verá que as perguntas aplicam as dicas da seção anterior.

Projeto e configuração do experimento

Você pode iniciar sua entrevista com perguntas fundamentais sobre as melhores práticas A/B, como:

• Quais são as condições ideais para testes A/B?
• O que você deve testar?
• Se o teste A/B não for uma opção disponível, como você responderia a uma pergunta?
• Por quanto tempo você faria um experimento?

Perguntas como essas farão com que um candidato capaz se aqueça e se sinta mais confortável. As respostas devem então demonstrar que o candidato possui conhecimentos teóricos e práticos e confirmar que você fala a mesma língua.

Ferramentas de teste A/B

O próximo lote de perguntas pode se concentrar nas ferramentas de comércio:

• Qual software de teste A/B você recomenda e por quê, com base em sua própria experiência?
• Como você aprenderia uma ferramenta de teste A/B mais recente, como o Amplitude Experiment?

Ótimas respostas demonstrarão que o entrevistado tem experiência em primeira mão com ferramentas comuns. Se eles tiverem uma resposta clara sobre como costumam aprender uma nova ferramenta, você saberá que já fizeram isso antes. Finalmente, se eles fizerem uma pergunta de volta e se perguntarem sobre suas próprias ferramentas, isso pode indicar que eles estão prontos para começar a trabalhar.

Resolvendo problemas de experimentação

Em seguida, considere fazer perguntas sobre como lidar com problemas que surgem durante os experimentos:

• Como você lida com problemas de tamanho de amostra pequena?
• Quais problemas podem afetar os resultados do seu teste A/B nos ciclos de desenvolvimento do nosso produto?
• Como atenuar os problemas?
• Como projetamos o teste para minimizar a interferência entre controle e tratamento?

As respostas a essas perguntas devem vir do conhecimento essencial de ciência de dados e demonstrar que o candidato entende conceitos como calculadoras de tamanho de amostra, tempo de teste ou criação de hipóteses claras. As respostas também devem demonstrar que o candidato pensa em mitigar os problemas de forma estruturada e proativa.

Cenários comuns de teste A/B

No lote final de nossas perguntas sobre design e configuração de experimentos, recomendamos que você se concentre em cenários comuns em sua própria organização. Por exemplo:

• Conte-nos sobre um teste A/B bem-sucedido que você projetou. O que você estava tentando aprender, o que aprendeu e como a experiência o ajudará se você trabalhar para nós?
• De sua experiência com o uso de nosso produto, quais melhorias você sugeriria e quais experimentos você configuraria para elas?
• Digamos que queremos comparar o Recurso A e o Recurso B em um experimento para um fluxo de usuário. Como você faria para projetar este teste, considerando o que você sabe sobre nosso produto?
• Como você lida com métricas de super longo prazo, onde você precisa esperar dois meses para obter sua métrica, por exemplo, quando você tenta testar quanto dinheiro as pessoas gastam durante os dois meses depois de ver um recurso?

Análise de dados e tomada de decisão

A análise produz conclusões que variam muito, dependendo do processo de pensamento. Portanto, faça perguntas que o ajudarão a entender o processo de pensamento do candidato:

• O que você faria se seu experimento fosse inconclusivo e se parecesse mais com um teste AA? Como você analisaria os resultados do teste e o que você analisaria?
• Quando você sabe que há um efeito de rede social e a suposição de independência não se sustenta, como isso afeta suas análises e decisões?
• Em nosso teste A/B, os resultados não foram estatisticamente significantes. Quais são algumas razões potenciais para isso?
• O que você faz quando está testando duas métricas e pretende aumentar ambas, mas uma aumenta com significância estatística e a outra diminui com significância estatística?

Ótimas respostas mostrarão a capacidade do candidato de tomar decisões sobre a implementação de testes, criação de novos grupos de tratamento e controle, processamento de evidências conflitantes ou trocas entre métricas. Uma abordagem viável que gostamos de ver nas entrevistas é pensar nisso como encontrar bugs na engenharia, exceto da perspectiva de um cientista de dados.

Fluxos de trabalho e recursos

Nossa lista de perguntas recomendadas será concluída com um lote sobre como o candidato gerencia o fluxo de trabalho e os recursos:

• Qual software você recomenda para relatar os resultados do experimento?
• Quais ferramentas você integraria ao seu software de teste A/B para aproveitar os dados do experimento?
• Que novas contratações você sugeriria para sua equipe de teste A/B se você já tem membros da equipe para as funções X, Y, Z?
• Quais funções em sua equipe de produto devem estar envolvidas em seus testes e como você facilitaria o envolvimento deles?

As respostas devem provar a experiência relevante de um gerente de produto e mostrar que o candidato é organizado.

Erros comuns de perguntas de teste A/B a serem evitados

Se você leu até aqui, está familiarizado com como criar perguntas de entrevista de teste A/B e tem uma lista de exemplos de perguntas que lhe darão uma vantagem inicial. Se você também evitar os seguintes erros que comumente vemos em entrevistas, você estará no caminho certo para fazer a contratação ou ser contratado com sucesso:

Erros comuns dos gerentes de contratação ao fazer as perguntas:

• Concentrar-se demais em questões computacionais e não descobrir o suficiente sobre o conhecimento do candidato sobre o setor, casos de uso ou processos
• Fazer perguntas com uma resposta correta em vez de fazer perguntas abertas que permitiriam ao candidato se expressar
• Fazer perguntas genéricas que não dão oportunidade de discutir o contexto da sua organização

Erros comuns dos candidatos ao responder as perguntas:

• Mostrando suas habilidades técnicas, mas não mostrando seu lado criativo ou seu processo de pensamento analítico
• Falar sobre sua experiência anterior sem fazer as respostas pertinentes ao contexto da empresa que está contratando você
• Focar em apenas uma ferramenta que você usou, sem demonstrar interesse em aprender novas ferramentas

Emparelhe a nova posição de teste A/B com as melhores ferramentas

Uma nova contratação ou trabalho o capacitará a fazer um ótimo trabalho, se você também tiver o melhor software. Convidamos você a continuar e aprender como analisar resultados de testes A/B no Amplitude Analytics ou como executar testes no Amplitude Experiment. Você também pode revisar nossa lista das 11 principais ferramentas de teste A/B lançadas hoje.

Referências:

• Braze: A/B vs. Teste multivariado: quando usar cada um
• Hubspot: Como fazer testes A/B: 15 etapas para o teste de divisão perfeito
• Ajuste: tudo o que você precisa saber sobre testes A/B para aplicativos móveis
• Productboard: 7 lições aprendidas em 5 anos de experimentação liderada por produtos
• Escola de Produto: Habilidades de Gerenciamento de Produto: Teste A/B