Usando a experimentação para impulsionar o crescimento liderado por produtos com Forrester e Elena Verna

Elena Verna, chefe de crescimento da Amplitude, e o palestrante convidado Chris Condo, analista principal da Forrester, discutiram recentemente o crescimento liderado por produtos (PLG) e o papel que a experimentação desempenha para ajudar as empresas a determinar quais produtos ou recursos merecem mais foco e investimento.

Produto como centro de receita

Elena abriu o webinar destacando como o objetivo final de qualquer negócio é o crescimento. As “alavancas de crescimento” vêm na forma de aquisição, atenção (ou ativação) e monetização. Embora o crescimento liderado por vendas e marketing ainda seja útil e possa ser um esforço complementar, o crescimento liderado por produtos tem vantagens distintas – em grande parte porque é previsível, sustentável e competitivamente defensável.

• No crescimento liderado pelo produto , os usuários adquirem outros usuários, agindo efetivamente como profissionais de marketing. Eles são levados a compras ou atualizações sem um toque humano, e seu uso pode desencadear mais uso. Isso geralmente ocorre porque o produto está sintonizado com seus interesses ou necessidades, o que leva a uma maior personalização ou valor.
• No crescimento liderado pelo marketing , a geração de leads se origina em plataformas ou propriedades de terceiros onde as perspectivas no mercado já estão ativas. O marketing então trabalha para conscientizar as opções de compra ou pipelines. Após a conversão, o marketing educa os usuários para acionar seu uso contínuo ou expandido.
• No crescimento liderado por vendas , as comunicações de saída atraem novos compradores e os contratos geralmente são fechados manualmente. Check-ins periódicos apresentam valor para a retenção de clientes, seja cronometrado com análises trimestrais de negócios ou como parte do alcance do sucesso do cliente.

É importante notar que todas essas formas de crescimento geralmente são necessárias. Mas a priorização ou sequenciamento dessas áreas depende das necessidades específicas do negócio e varia de caso para caso.

Em B2B, o crescimento liderado por marketing e vendas geralmente depende de entrevistas com clientes. Eles também costumam ter menos clientes e um mercado endereçável menor, portanto, otimizar o valor da vida útil do cliente se torna um imperativo comercial.

No crescimento liderado pelo produto, as pressões de aquisição, retenção e monetização se aplicam ao próprio produto. Como parte dessa mudança, a intuição só pode levá-lo até certo ponto, e a experimentação é inegociável.

Embora as entrevistas com clientes possam preencher a lacuna de conhecimento no crescimento liderado por marketing e vendas, você precisa dos dados, da metodologia e da estrutura experimental certos ao fazer alterações no próprio produto.

Mantendo os usuários engajados

De certa forma, o crescimento liderado pelo produto é investir em seus usuários versus marketing. Trata-se de manter as pessoas que interagem com seu produto engajadas.

O foco no B2B está finalmente mudando à medida que as empresas avançam em direção a produtos que podem “se vender”. O B2B talvez esteja “10 anos atrasado para a festa”, estimou Elena, mas agora a experimentação é obrigatória. Aqueles que não experimentam são mais vulneráveis ​​à disrupção porque aumenta a diferença entre percepção e realidade.

Elena explicou que o feedback qualitativo das entrevistas com os clientes tende a enfatizar excessivamente o feedback da voz mais alta na sala. “Nós nos concentramos nas pessoas mais vocais; nós nos concentramos frequentemente em usuários avançados porque eles são mais vocais”, ela elaborou. Isso pode acontecer às custas do caso de uso principal que compreende a maior parte do mercado.

Chris observou que o crescimento liderado pelo produto envolve alterar o produto e determinar a utilidade dos recursos ou configurações avançadas. Ele permite que as empresas obtenham feedback de usuários finais reais para testar hipóteses, comparar diferentes versões e, finalmente, determinar “o que é importante para o cliente?” Às vezes, a resposta é contraintuitiva, e é por isso que a adivinhação não é um método suficiente ao tentar avaliar o ajuste do mercado.

PLG reduz custos e atende às principais necessidades de negócios

Fazer os investimentos certos é especialmente importante durante uma crise econômica. Felizmente, o crescimento liderado pelo produto pode reduzir os custos de várias maneiras e atender às suas principais necessidades de negócios.

Menos dólares vão para vácuos de anúncios digitais

O crescimento liderado pelo produto está se tornando popular em parte porque é econômico. Investir em PLG permite realocar gastos caros e muitas vezes flutuantes do Google e de anúncios sociais para pesquisa e desenvolvimento que impulsionam o crescimento.

Ele acelera a cadência de lançamento e prioriza o pipeline

A mudança também é necessária porque, para muitas empresas, a cadência de lançamento de seus produtos está paralisada. “Muitos recursos de dívida técnica desperdiçados estão sendo empurrados pelo pipeline que não têm valor”, observou Chris, em vez de testes incrementais para encontrar os recursos vencedores e orientar o crescimento liderado pelo produto.

O modelo liderado pelo produto elimina os itens acumulados de baixo valor que não se alinham às necessidades do usuário. Além disso, ao mudar o que é colocado no pipeline, a produtividade individual e organizacional aumenta.

A carga no suporte ao cliente é reduzida

As experiências aprimoradas do cliente podem reduzir os custos de back-end para consultas de serviço e suporte ao cliente. O produto torna-se mais fácil de usar e o valor pode ser rapidamente extraído à medida que os usuários atingem o momento “aha”.

Os clientes gastam mais

Aprimorar a experiência do cliente tende a resultar em clientes gastando mais em todos os setores. No webinar, Chris fornece uma tabela da Forrester mostrando que mesmo ganhos marginais podem ter um impacto significativo na receita quando multiplicados por grandes bases de clientes.

É mais fácil reter clientes

Há também o risco de perder clientes por não realizar o crescimento liderado pelo produto. Ironicamente, o medo do fracasso pode inibir a experimentação e levar a cometer os mesmos erros repetidamente até que o cliente desista do produto e desista.

Quem pode experimentar e por que deveriam?

Algumas organizações, como bancos, podem pensar que a experimentação está fora dos limites. Mas a experimentação pode ser uma abordagem mais controlada para testar recursos ou variações internamente ou com subconjuntos menores, seguida de lançamentos progressivos para sua base de usuários posteriormente. De acordo com Chris, isso “dá a você controle sobre a implantação versus controle sobre o lançamento, em vez de manter o restante da equipe do produto refém do ciclo de lançamento”.

Além disso, a organização pode manter sua inércia sobre mudanças incrementais e custos de implantação mais baixos. Essa abordagem é muito mais sustentável do que focar fortemente em um único lançamento que pode não ter alinhamento com o mercado e abandonar o investimento seis meses depois.

Buscar um acordo completo e uniforme ou uma decisão executiva da pessoa de mais alto escalão na sala pode ter efeitos prejudiciais – seja criando um produto não original ou atrasado para o mercado no primeiro ou diminuindo o moral da equipe no segundo. Afinal, o consenso sobre um produto proposto não vai estimular a inovação, e ninguém gosta de ouvir que seu ponto de vista não importa.

É muito mais responsável e inclusivo usar dados objetivos do cliente para refinar a intuição, orientar a experimentação e capacitar o crescimento liderado pelo produto. O resultado é uma experiência de cliente vencedora centrada em um produto útil, não em requisitos de projeto arbitrários.

Como executar experimentos e medir o que está funcionando (ou não)

Equipes multifuncionais agora estão começando a executar experimentos em um nível mais profundo. O crescimento liderado pelo produto representa um afastamento das arquiteturas complexas com microsserviços em expansão e jogos de adivinhação do usuário final, onde as equipes especulam sobre o que os usuários desejam versus acertar na primeira vez (ou, pelo menos, mais cedo). Testes internos ou experimentos mínimos de produtos viáveis ​​com escopo restrito podem otimizar a experiência do cliente sem afetar toda a base de usuários, e as empresas podem introduzir a telemetria para estabelecer linhas de base para as métricas do produto.

Como Chris afirmou, para romper com a rigidez organizacional, pelo menos vale a pena experimentar para determinar se uma nova versão, recurso ou produto oferece o mesmo nível de serviço, usabilidade e funcionalidade que deveria substituir. É possível que a nova e supostamente superior versão tenha removido algumas das funcionalidades que os usuários apreciavam. Com qualquer experimento, o fracasso pode ser altamente instrutivo.

Às vezes, as empresas esperam que um grande lançamento ou lançamento eleve suas métricas, mas isso não acontece. Identificar essa lacuna percepção versus realidade pode ser valioso para impulsionar a mudança organizacional e o consenso. As empresas precisam aprender a quantificar as falhas e determinar sua razão – essencialmente, “aprender a aprender”. Isso acaba levando a vitórias mais previsíveis e sucessos repetíveis.

Os experimentos podem se esforçar para simplificar, aprimorar, reordenar, reestruturar, adicionar ou reinventar; otimizações visam reduzir o atrito; as inovações potencialmente expandem o valor.

Durante o webinar, Elena e Chris forneceram as seguintes orientações sobre experimentação:

NÃO experimente se:

• O custo do experimento é muito alto.
• Não há dados suficientes para coletar o aprendizado.
• Não há hipótese clara.
• O teste não está estrategicamente alinhado com os resultados do negócio.
• Não há aprendizados.
• Não há desvantagem possível.

Depois de decidir experimentar, lembre-se de:

• Comece com uma hipótese forte (as equipes podem ter palpites, mas precisam ser testadas).
• Tenha cuidado ao criar experimentos com muitas variáveis.
• Tenha recursos tecnológicos adequados para a tarefa e esteja ciente de que ferramentas caseiras podem quebrar a governança de dados.
• Evite o viés de confirmação. Na ciência, o objetivo é descobrir por que algo funcionou; nos negócios, muitas vezes há uma hesitação em tocar em algo que está funcionando ou se aprofundar na explicação, apesar do valor de fazê-lo.
• Reconhecer a importância da gestão da mudança.
• Construa a cultura para ser a experimentação primeiro.

É importante projetar um experimento por suposição para torná-lo mais tangível e mais fácil de dividir problemas maiores em testes menores. Uma empresa em seus estágios iniciais pode ter um baixo volume de dados, fazendo com que a significância estatística pareça mais fora de alcance. Mas mesmo isso não exclui alguma forma de experimentação. As organizações ainda podem fazer testes beta, um piloto ou ajustar seus métodos de teste de acordo. Indiscutivelmente, este é o momento mais oportuno para avaliar ideias para ver o que funciona.

Começando com a experimentação

A experimentação garante que os clientes vejam os recursos certos e recebam o valor que cria fidelidade, ajudando, em última análise, a expandir seus negócios. Ele engaja e coordena os executivos e as equipes em torno de um processo de liberação eficaz que melhora o tempo de retorno e adota a metodologia ágil.

Se você tiver os recursos, vale a pena lançar as bases para uma cultura baseada em experimentos em sua empresa. Você poderá remover com confiança as suposições ao lançar um produto e, ao mesmo tempo, promover um ambiente interno de colaboração e responsabilidade.

Se você gostou desta recapitulação, assista ao webinar completo ou saiba mais sobre o crescimento e a experimentação liderados por produtos, inscrevendo-se em uma conta gratuita do Amplitude .

Perguntas e respostas do webinar

O webinar foi seguido por uma sessão de perguntas e respostas, onde exploramos ainda mais o papel da experimentação no crescimento liderado pelo produto. Continue lendo para ver nossas respostas:

1. Como você aplica o crescimento liderado pelo produto além de seus usuários principais? Algumas empresas têm públicos-alvo principais que compram seus produtos. Como você aplica o crescimento liderado pelo produto a outras personas que podem ser apenas espectadores ou consumidores?

Quando falamos sobre o crescimento liderado pelo produto no webinar, analisamos três objetivos principais: retenção, aquisição e monetização. Quando outras pessoas são consumidores de seu produto (como executivos que analisam relatórios ou painéis que seu produto publica), mas não o usam diariamente, isso ainda ajuda na retenção geral.

Seus principais usuários obtêm muito valor do seu produto porque isso os ajuda a fazer seu trabalho melhor, tornando seu produto mais aderente. Mas é importante considerar não apenas esses usuários principais, mas todo o ecossistema ao redor deles e como seu produto pode impulsionar melhorias incrementais para influenciar a adoção de dentro.

2. Em quais métricas de dados de desempenho nossa empresa deve se orientar para entender se somos liderados por produtos?

Conforme discutido no webinar, Elena analisa o crescimento liderado por produtos como o culminar de retenção, aquisição e monetização. Ela também analisou uma matriz de crescimento em produtos, marketing e leads de vendas.

Por exemplo, se sua aquisição for liderada pelo produto, você verá métricas como quantos usuários convidam outros usuários para o produto. Mas se for liderado por vendas, você terá um número maior de atividades de saída para novos compradores e usuários.

A marca de 5:14 minutos do webinar tem uma boa visão geral disso.

3. O valor da experimentação é bastante claro, mas convencer uma organização inteira a adotar a experimentação é um desafio. Alguma recomendação de como lidar com isso?

Cobrimos isso mais no webinar, mas vale a pena observar o tema geral. Se você está tendo dificuldade com a adesão em toda a organização e até a liderança, comece muito menor. Comece com uma única equipe e faça com que eles executem experimentos.

O truque é então compartilhar suas descobertas, boas e ruins. Exiba os bons resultados que mostraram aumentos e resultados positivos e aqueles que mostraram que a liberação de um recurso seria prejudicial (risco mitigado).

Eventualmente, outras equipes estarão interessadas em como podem obter dados tão valiosos para mostrar que o que eles enviaram é importante. A prova social é uma ferramenta poderosa!

Confira a marca de 45:45 minutos no replay para uma resposta mais detalhada.

4. Como você aborda a experimentação no contexto de produtos B2B onde o tráfego é muito menor?

Esta é uma área complicada para muitas empresas. Normalmente, isso exigirá análises estatísticas diferentes, nas quais você pode alcançar significância estatística em um experimento sem exigir um tamanho de amostra grande. Às vezes, eles podem ser mais direcionais, mas você ainda vê um grande aumento. Talvez você não esteja atingindo as estatísticas verdadeiras, mas do contexto de decisões de negócios, é direcionalmente bom o suficiente para ainda liberar o recurso. Fique atento, pois temos algumas atualizações interessantes a caminho que ajudarão a resolver isso.

5. Que número mínimo de usuários é necessário para considerar algo como um experimento verdadeiro ou válido?

Não há uma resposta direta para isso, onde podemos fornecer um número exato para acertar. Tudo se resume a alguns fatores, como o tamanho do impacto que você espera que seu experimento tenha, a confiança que deseja ter em seus resultados, a taxa de falsos positivos que está disposto a aceitar e o tipo de análise estatística que você deseja. está conduzindo.

O que você provavelmente está procurando é uma calculadora de tamanho de amostra. Temos um embutido em nosso produto para ajudar com essa questão, mas existem muitas calculadoras manuais e automatizadas on-line para ajudar a obter um tamanho de amostra recomendado.

6. Como você obtém feedback do cliente para cada um dos testes A/B? Entrevistas? Formulários de feedback?

Esse é o papel principal de um gerente de produto na maioria das empresas, e o feedback sobre o que construir vem de vários lugares. Podem ser entrevistas ou ligações individuais com clientes, ou podem vir de ligações de vendas, feedback de analistas, pesquisas de mercado ou, melhor ainda, dados reais de clientes.

Somos parciais com o último porque é um grande motivo para as pessoas usarem o Amplitude Analytics. Com nosso produto de análise, você pode ver como os usuários se movem em todo o seu produto, com quais recursos eles estão interagindo, suas taxas de conversão em vários estágios de uso do produto etc. Você pode encontrar lugares onde os usuários estão se desinteressando, desistindo ou ficando confusos . Você saberá com quais usuários isso está acontecendo, para que possa enviar pesquisas direcionadas ou acionar feedback no aplicativo quando chegarem a esse ponto de atrito.

Você pode identificar rapidamente algumas maneiras de tornar essa parte da experiência mais simples e implementá-las. Coloque a nova experiência por trás de um sinalizador de recurso e experimente para ver se isso aumenta o engajamento que você espera corrigir. Se isso acontecer, divulgue para todos. Se isso não acontecer, descarte-o sem nenhum dano e tente algo novo.

7. A execução de experimentos com um grupo de usuários atuais afeta a realidade dos dados?

Ele absolutamente pode, tanto positivamente quanto negativamente. Em alguns casos, você pode lançar uma mudança que pareça chocante para seus usuários, e eles se recusarão a se envolver com ela simplesmente porque é algo novo. Em outros casos, você lançará uma mudança que parecerá um “novo objeto brilhante”. Mais pessoas se envolverão com isso, mas o efeito pode ser de curta duração.

Em ambos os casos, você ainda obterá informações valiosas. Se algo é chocante porque é novo, pode ser bom ver como introduzir suavemente novos recursos aos usuários para que eles não se sintam tão surpresos. Se você suspeitar do problema do “novo objeto brilhante”, considere executar seus experimentos por mais tempo para ver como o tamanho do efeito se normaliza à medida que as pessoas se acostumam com o novo recurso.

Com uma ferramenta como Amplitude, você também pode explorar mais de perto a coorte de usuários no experimento por meio da análise de coorte. Eles estão usando repetidamente o novo recurso ou se envolveram com ele apenas uma vez porque era um “novo objeto brilhante?”

8. A experimentação existe há algum tempo no mundo do marketing, com coisas como alterar imagens da página de destino, cores de botões ou texto do anúncio. O que está impedindo as equipes de produto de adotar a experimentação?

A resposta mais simples é que eles são apenas diferentes, principalmente em como as alterações são feitas na experiência (cópia da página de destino versus funcionalidade em um produto). O impacto geral de uma mudança pode ter uma ameaça maior (real ou percebida) no produto. Se você tomar uma decisão errada sobre uma mudança no produto, mesmo que seja um experimento, corre o risco de perder completamente um usuário ou cliente. Se você tomar uma decisão ruim sobre o texto do anúncio, não terá tantos leads de entrada quanto esperava.

Mas em um ambiente de alto risco e alta recompensa, como um produto em produção, é melhor perder alguns usuários devido a decisões ruins sobre recursos implementados por meio de um experimento do que perder a maioria de seus usuários para um recurso ruim lançado para todos . É comum superestimarmos nossa capacidade e ao mesmo tempo sermos altamente avessos ao risco. A experimentação tem inerentemente um significado oculto de “vamos testar algo de que não temos certeza” – e para uma equipe de produto, não ter certeza é assustador.

Confira a repetição do webinar por volta dos 42:00 minutos para uma resposta mais detalhada.

9. Como você lida com problemas quando os experimentos levam muito tempo para serem executados porque você está esperando que os usuários dêem feedback?

É aqui que uma plataforma de experimentação real pode ajudar, porque você não depende dos usuários para dizer se gostaram. Em vez disso, você monitora e mede o comportamento do usuário depois que ele interage com o experimento.

Por exemplo, digamos que você execute um experimento acompanhando um novo fluxo de checkout para sua loja de comércio eletrônico. Se os usuários do novo fluxo de check-out estiverem fazendo check-out mais rápido e concluindo mais transações, você não precisará de feedback verbal ou escrito para saber que o novo fluxo de check-out é melhor. Esse é o poder da experimentação e análise combinados.

10. Como você recomenda formular e formar uma hipótese? Começamos com uma linha de base? Quais devem ser nossos critérios para uma “melhoria”?

Estruturamos nossa hipótese em nosso produto de uma maneira relativamente comum, em que você define uma meta para o experimento expressa como uma métrica de produto que deseja impactar e quanto espera impactá-la. Por exemplo, “acreditamos que a variante A aumentará as taxas de conclusão de checkout em 8% em relação ao controle”. É aqui que uma poderosa ferramenta de análise como Amplitude entra em ação para garantir que você tenha essa linha de base histórica sobre o desempenho da métrica. Se você não sabe como estava antes, não poderá saber se está se saindo melhor ou pior com a nova experiência.

Em termos de como deve ser a melhoria, isso depende muito do contexto do seu negócio. Algumas empresas precisarão ver um aumento de 10 a 15% em uma métrica para obter um resultado comercial significativo, como maior receita, engajamento ou retenção. Para outras empresas – geralmente maiores com produtos altamente otimizados e muitos usuários – um aumento de 1% é suficiente para que tenham grandes resultados de negócios.

11. Você pode recomendar algumas ferramentas de experimentação de primeira classe com as quais as empresas podem começar hoje?

Isso será um pouco egoísta porque vendemos a melhor plataforma de experimentação da categoria, Amplitude Experiment, que é sem dúvida a melhor do mercado para experimentações de produtos. Nosso produto fornece tudo o que você precisa em uma plataforma tudo-em-um, onde você pode planejar, configurar, monitorar e analisar experimentos de produtos em um só lugar. Também temos um sistema de gerenciamento de recursos totalmente maduro para fornecer esses experimentos e rastreá-los automaticamente para você.

Junte isso à nossa plataforma de análise para rastreamento robusto de métricas e insights profundos sobre o comportamento do cliente fora dos experimentos, e você saberá como transformar esses insights em ações que afetam os resultados reais dos negócios.

12. Você pode dar exemplos de experimentos não baseados em IU?

Muitas pessoas estão familiarizadas com experimentos focados em otimização de conversão no mundo do marketing. Parecem alterar texto, imagens ou cores para ver quais os usuários preferem. Você também pode fazer tudo isso com Amplitude, mas nos concentramos principalmente em fazer alterações na experiência do produto – pense em fluxos de checkout, integração de usuários, alterações de navegação, estruturas de páginas de aplicativos, opções de configuração e muito mais. Qualquer coisa que tenha a ver com a forma como seus usuários interagem com seu produto para realizar seu trabalho, você pode impactar com a experimentação.

13. Como gerentes de produto, às vezes construímos um sexto sentido ou um pressentimento sobre uma mudança no produto. Devemos nos permitir seguir nossa intuição mesmo diante de dados que dizem o contrário?

Dados são apenas isso – dados. Há coisas que os dados não sabem sobre sua empresa que podem distorcer o peso que você coloca no que ela diz. Pode haver coisas sobre a direção da estratégia de sua empresa ou como o mercado está mudando como um todo que os dados de experimentação no momento não podem lhe dizer.

Normalmente, porém, nossos sentimentos instintivos como gerentes de produto vêm de alguma coisa, mas podemos não ser capazes de verbalizar o que é isso. Use a experimentação e os dados para a tomada de decisões de uma forma que faça mais sentido para você naquele momento. Às vezes, isso pode significar se apoiar totalmente nos resultados e decidir com base nisso, ou pode significar seguir uma direção ligeiramente diferente porque você tem evidências convincentes em outros lugares que os dados não podem lhe dizer.

14. Qual é uma armadilha comum depois de iniciar seu primeiro experimento que poderia enviar todo o programa em uma espiral descendente?

Em muitos casos, quando a experimentação se torna parte integrante da cultura de uma empresa, muitos experimentos falharão. Dito de outra forma, os resultados dos experimentos lhe dirão que a mudança do produto não terá o impulso que você esperava ver – ou, em alguns casos, prejudicaria o produto se fosse totalmente implementado.

Se o primeiro experimento que você executa for um desses experimentos e você não tiver uma grande vitória para comemorar, isso pode parecer muito desmotivador para as equipes que fizeram o trabalho, lançaram o código e, em seguida, verem os dados que dizem para não avançar com o lançamento. É uma das razões pelas quais Elena apontou que um passo crítico para construir essa cultura é “aprender a aprender”. Isso significa que você está adquirindo conhecimento e insights valiosos sobre seus usuários, mesmo com experimentos “fracassados”.

Se você tivesse que escolher entre saber quais de seus recursos prejudicariam seu produto e quais seus clientes adorariam, é melhor saber sobre o primeiro. Essa é uma grande mudança de mentalidade e é desconfortável para muitos. Reconhecer e até mesmo lutar por um experimento “fracassado” pode ser saudável e útil para não ter essa espiral descendente.

15. Quem deve ser o dono da estratégia de crescimento liderado pelo produto em uma empresa? Deve ser a equipe de produto? Ou a equipe de marketing de crescimento? Ou ambos?

O crescimento é o trabalho de todos em uma empresa, e vários fatores podem tornar o crescimento liderado pelo produto bem-sucedido. Parte disso é otimização de conversão e fazer com que mais usuários passem de gratuito para pago ou de reconhecimento para teste. Outras partes garantem que você tenha um produto rockstar sem o qual as pessoas não podem viver. Em última análise, trata-se de alinhar as metas e entender como, como uma força combinada, você está afetando a retenção, aquisição e monetização para um crescimento mais forte.

Cobrimos isso no início do webinar – confira os primeiros 10 minutos.

16. Existe uma gravação deste webinar?

Absolutamente! Se você perdeu ou deseja compartilhar o webinar com seus colegas, assista ao replay.