Pergunte ao analista: evitando viés no design da pesquisa

Coletar dados de pessoas reais é uma arte e uma ciência.

Qualquer pesquisador lhe dirá que seus insights são tão bons quanto as perguntas que você faz. Ou, em outras palavras, “junk in, junk out”.

Parte da obtenção de dados de boa qualidade depende de saber como os diferentes aspectos do design da pesquisa influenciam a experiência do respondente. Uma das mais fundamentais delas, independentemente de qualquer campo de pesquisa social em que você esteja trabalhando, é evitar preconceitos .

Mas o que queremos dizer quando falamos de preconceito ? O dicionário Oxford define viés como “ Distorção sistemática de resultados ou descobertas do verdadeiro estado das coisas, ou qualquer uma das várias variedades de processos que levam à distorção sistemática ”.

A palavra-chave aqui é distorção .

O viés acontece quando distorcemos a verdade última que estamos procurando por causa de falhas em nosso projeto de pesquisa.

Há muitas razões pelas quais os participantes podem ser influenciados a responder em uma direção ou outra. Pesquisadores de mercado experientes viram como isso se parece na prática – bem como seus efeitos nas descobertas e, em última análise, nos resultados de seus clientes.

Quando as empresas gastam milhares de dólares (ou mais) em pesquisa, elas precisam saber se os resultados que estão obtendo são confiáveis: eles geralmente orientam muitas decisões grandes e caras.

A boa notícia é que há muito que os pesquisadores podem fazer para detectar e mitigar os efeitos do viés.

Projetando contra viés de amostragem

Antes de colocar a caneta no papel e redigir perguntas, o planejamento cuidadoso da pesquisa começa com planos em torno da amostragem. Recrutar uma amostra que seja representativa da população mais ampla sobre a qual você gostaria de tirar conclusões é crucial, caso contrário, os insights são aplicáveis ​​apenas ao grupo individual de pessoas pesquisadas.

Quando se trata de amostragem, há muito espaço para viés.

Nos primeiros dias, a prática padrão de pesquisa de mercado era entrevistar os entrevistados pessoalmente ou por telefone. Isso significava ir de porta em porta para encontrar participantes dispostos, chamar nomes de uma lista telefônica ou, como às vezes era o caso, entrevistar pessoas no mundo.

Enquanto as duas primeiras opções oferecem aos pesquisadores mais controle, a última é muito vulnerável ao viés de amostragem.

Digamos, por exemplo, que você queira pesquisar os hábitos de compra do consumidor na loja. Uma maneira fácil de fazer isso pode ser pedir às pessoas que estão em um shopping para participar de sua pesquisa.

Embora possamos presumir que esses entrevistados sejam, de alguma forma, “compradores”, não há como dizer se este estudo reflete amplamente a população de “compradores” no local que estamos tentando entender.

Há uma tonelada de coisas que influenciam quem são nossos participantes do shopping e seus comportamentos distintos. Por exemplo:

• Estaremos recrutando participantes em um dia de semana (quando muitos adultos estão no trabalho) ou em um fim de semana?
• Estamos pesquisando perto de um feriado, quando muitas pessoas que normalmente não vão aos shoppings estão fazendo compras?
• Qual é a composição do shopping – são principalmente lojas premium que atraem clientes mais ricos e abastados?
• É difícil chegar – o que significa que apenas aqueles com acesso a seus próprios carros podem fazer compras lá?
• E quanto a todos os compradores que se recusam a participar?

Eles são muito diferentes daqueles que estão dispostos e distorcerão os resultados devido ao viés de não resposta.

Neste estudo hipotético, não há como generalizar nossas descobertas de participantes dispostos de shoppings para uma população maior de compradores.

Cotas e representação

Uma vez que a maioria das pesquisas com consumidores mudou para o online, os efeitos do viés de amostragem são menos dramáticos como no exemplo anterior. Mas ainda há considerações importantes para evitar essa armadilha.

É crucial trabalhar com fornecedores de painel respeitáveis ​​e experientes que lançam uma ampla rede sobre como e onde recrutam entrevistados online.

Definir cotas para indicadores demográficos – como idade, sexo, raça ou etnia, renda e educação – também é importante para evitar preconceitos. A chave é garantir que sua amostra analise a população mais ampla que você está estudando.

Mesmo com cotas, os dados devem ser ponderados – o que significa que a amostra da pesquisa é “corrigida” matematicamente para espelhar com mais precisão a distribuição demográfica da população em questão.

Preenchendo o respondente

Além da amostragem, há elementos-chave de viés para tentar evitar no design do questionário.

Um deles é chamado de priming. De acordo com a Marketing Society, isso acontece quando “nossos cérebros fazem conexões inconscientes com nossa memória, de modo que a exposição a um prime aumenta a acessibilidade das informações já existentes na memória”.

Essencialmente, os entrevistados em sua pesquisa já tinham uma memória armazenada, mas você aumentou a lembrança deles. Aqui está um exemplo:

Digamos que você esteja escrevendo uma pesquisa para entender as percepções do consumidor sobre um anúncio.

Primeiro, você faz perguntas sobre a marca que criou o anúncio, menciona a campanha em que o anúncio foi apresentado e descreve os produtos ou serviços que a marca oferece.

Quando você finalmente mostra o anúncio aos entrevistados, é mais provável que eles digam que o reconhecem e reagiriam de forma mais positiva do que se você os deixasse responder “friamente” – sem nenhuma informação sobre a marca, seus produtos ou suas campanhas.

Como o exemplo mostra, o priming pode desempenhar um grande papel no aumento das descobertas.

Ao tentar medir coisas como reconhecimento de marca, afinidade de marca ou lembrança de anúncio, é especialmente importante manter esse tipo de viés em mente.

Liderar o entrevistado

Liderar, outra forma de criar viés, é exatamente o que parece – estruturar pesquisas ou perguntas para “levar” as pessoas a responder de uma determinada maneira.

As perguntas podem liderar de muitas formas, seja ligando várias ideias que tornam uma afirmação condicional, fazendo suposições de informações anteriores ou sendo coercitivas em tom.

Veja, por exemplo, duas perguntas:

Quão grande você acha que a crise do plástico é para nossos oceanos?

1. Grande problema
2. Grande problema
3. Não é um grande problema
4. Não um problema de todos

Isso está levando a uma série de razões. Em primeiro lugar, sua redação pressupõe que os entrevistados pensam que o plástico nos oceanos é, até certo ponto, um problema. Em segundo lugar, catastrofiza o tópico ao se referir à poluição oceânica como uma “crise”. Terceiro, cria um senso de responsabilidade pessoal para o entrevistado usando a palavra “nosso”. Reduzir o viés nesta questão pode ser assim:

Você acha que a poluição plástica nos oceanos é…

1. Um grande problema
2. Um grande problema
3. Não é um grande problema
4. Não um problema de todos

Ordem e randomização

Quando se trata de design de perguntas, a randomização é a melhor amiga de um pesquisador.

Ele ajuda a combater os efeitos de priming e lead, mantendo a ordem das seções, perguntas ou opções mudando cada vez que alguém responde a uma pesquisa.

Para as opções listadas em uma pergunta, a randomização é uma prática padrão quando uma ordem fixa não é necessária (ou seja, para intervalos de tempo, uma escala de concordância). Isso atenua o efeito do viés de ordem, em que as pessoas estão mais inclinadas a selecionar opções no início e no final das listas, em vez do meio.

Manter as listas curtas, para evitar que as opções intermediárias se percam demais na mistura, também ajuda.

Quando se trata de escalas Likert, como concordância, satisfação ou probabilidade, muitos pesquisadores optam por ordená-las do mais negativo ao mais positivo.

Pode parecer antinatural, mas funciona contra o efeito de duplo golpe do viés de ordem trabalhando em cima do viés de aquiescência – a tendência das pessoas de responder de forma agradável.

Desejabilidade social e o efeito do entrevistador

O viés de aquiescência é um exemplo de como o condicionamento social afeta a pesquisa, pois é a aversão das pessoas a ser indelicado ou desagradável que o cria.

O condicionamento social desempenha um grande papel na distorção da pesquisa em geral. Muitas vezes, o efeito é tão forte que as pessoas responderão de forma a fazer com que seu comportamento pareça “melhor” ou mais “aceitável” em vez do que é verdadeiro – apesar de uma pesquisa ser confidencial e anônima. Isso é chamado de viés de desejabilidade social.

Um dos exemplos mais citados (e estudados) desse viés é perguntar aos entrevistados sobre seu consumo de álcool, que muitas pessoas tendem a minimizar em pesquisas.

Em outros casos, os participantes podem relatar em excesso comportamentos socialmente “bons” – como reciclagem, votação ou doação para instituições de caridade.

Embora o viés de desejabilidade social possa ocorrer em qualquer modo de pesquisa, há um risco adicional quando um pesquisador está diretamente envolvido na coleta de dados, como entrevistas pessoais, entrevistas por telefone ou grupos focais.

Chamado de “efeito entrevistador”, esse tipo de viés acontece quando a interação de um participante com um pesquisador influencia suas respostas. O histórico de um entrevistador – como idade ou sexo – pode afetar o quanto os participantes se sentem à vontade para responder honestamente a certas perguntas que fazem.

As pistas verbais e não verbais que o entrevistador pode revelar, apesar de suas melhores intenções de permanecer neutro, também podem ter uma grande influência.

A cultura importa

Um ponto-chave a ser entendido com esses tipos de preconceitos é que, como acontece com qualquer coisa socialmente construída, em última análise, é a cultura que os molda.

A cultura dita as expectativas e normas em torno do que é “apropriado”, “aceitável” e “educado” em uma sociedade. Portanto, podemos esperar que o viés de aquiescência, a conveniência social e o efeito do entrevistador variem um pouco dependendo de onde a pesquisa está sendo feita.

Um dos exemplos mais comuns é a preferência por expressar um forte acordo em sociedades coletivistas, como Índia ou China, versus sociedades mais individualistas, como os EUA

Em culturas altamente coletivistas, os estilos de resposta são mais moderados – com os participantes escolhendo os pontos médios das escalas em vez de concordar ou discordar fortemente das afirmações.

Nos EUA, o oposto é verdadeiro; respondentes tendem a mostrar maior concordância ou discordância. Em países como Índia e Brasil, o efeito é ainda mais pronunciado.

Embora não haja como controlar o viés cultural ao fazer pesquisas globais, é importante estar ciente disso e levá-lo em consideração na análise.