Como os vieses cognitivos podem impactar a análise de dados?

Primeiramente, quero registrar meus agradecimentos a Julliane Alberigi e Gabriela Bassa por contribuições sobre este artigo, discussão e idéias. Esse artigo é o resultado do nosso trabalho em equipe. Agradeço também ao Fernando Paiva por todas as críticas e sugestões.

No QuintoAndar temos o desafio de promover uma experiência única ao alugar ou comprar um imóvel. Para tanto, estamos sempre em busca de entender a fundo a jornada do usuário, suas necessidades e dores encontradas ao longo do processo e analisar dados nos ajuda muito nisso. Todavia, quais dados podemos analisar? Basta olhar para as métricas? Ou elas podem não ser suficientes para responder e mapear problemas mais profundos?

Discutindo esses pontos com algumas pessoas emergiu a reflexão sobre como poderíamos aliar os conhecimentos obtidos nas pesquisas qualitativas desenvolvidas pelos times de Design e Produto, com as análises realizadas pelo time de Data Analytics. Tínhamos o objetivo de aprofundar ainda mais o conhecimento sobre os usuários, e compartilhavamos a crença que dados qualitativos e quantitativos devem ser tratados com o mesmo cuidado e são complementares no processo de tomada de decisão.

Pensamos algumas das ações para promover essa idéia e identificamos a oportunidade de difundir mais conhecimento sobre boas práticas de aplicação dos métodos de pesquisa, para assim conseguirmos obter melhores insights das investigações realizadas.

Ao falarmos sobre boas práticas nos surgiu um assunto muito interessante: Vieses cognitivos. Como os vieses cognitivos podem afetar a qualidade dos dados e das análises, e como podemos evitá-los?

Mas afinal, o que são vieses cognitivos?

Para obter um conhecimento válido dos fenômenos, aplicamos o método científico para garantir que as nossas conclusões estão pautadas em uma compreensão objetiva dos efeitos observados. Obviamente, a forma como empregamos o método científico como analistas de dados (qualitativos ou quantitativos) não segue os rigores estritos dos cientistas. Porém, precisamos ser criteriosos para conseguir obter os melhores resultados que irão pautar as decisões do negócio.

Vieses cognitivos são como atalhos que nosso cérebro toma para facilitar o processamento de informações e tomadas de decisão. Todavia, nesses atalhos ocorrem simplificações que podem levar a erros de julgamento, distorcendo a nossa compreensão dos fatos.

Existe uma lista bem grande de vieses classificados em tipos, alguns são descritos como casos particulares dos tipos mais gerais. Tudo isso, torna bem complicado ser exaustivo sobre o assunto em um artigo. Além do mais, para realmente discutir o assunto poderíamos ter de mobilizar conceitos de lógica, psicologia e até epistemologia, o que não vem ao caso.

Assim, vamos listar aqui os vieses mais comuns e frequentes pela nossa experiência. A intenção é definir de maneira prática cada um deles, oferecendo exemplos de como eles podem ser identificados e recomendações de como evitá-los.

Viés de Indução

Vieses de indução ocorre quando estimulamos, de forma indireta ou deliberada, a resposta já na formulação da pergunta. Por exemplo, ao perguntar “Qual é a cor do cavalo branco de Napoleão?”, nos induz a responder Branco, mas e se o cavalo fosse Marrom ou Preto?

Em pesquisas de mercado são famosos os testes cegos, frequentemente utilizados para produtos alimentícios. Usualmente, é são apresentadas duas amostras de um produto para o entrevistado, em recipientes neutros e iguais, e a pessoa deve dizer sobre algumas medidas que estão investigadas sobre o produto (como critérios de doçura, consistência e leveza, por exemplo).

Neste caso, estão sendo controlados os vieses de indução da marca, embalagem e apresentação do produto, até mesmo a ordem em que o entrevistado prova cada amostra deve ser observada. Caso contrário, o entrevistado poderia ser induzido a responder com base em fatores externos, distorcendo o resultado daquilo que queremos medir.

Para análise de dados quantitativos, o viés de indução pode estar presente na formulação das hipóteses a serem testadas, premissas assumidas ou ainda na forma como as métricas e indicadores são calculados.

Para evitar a indução na análise de dados quantitativos, recomenda-se entender bem o que está sendo medido e como. Ao selecionar uma métrica para testar uma hipótese, deve-se observar qual é a janela de tempo que ela precisa para apresentar variação, bem como a sua sensibilidade a variação para o efeito a ser observado e se ela é robusta, ou seja, apresenta um comportamento é consistente ao longo do tempo.

Já na análise de dados qualitativos o viés de indução pode ocorrer quando incluímos algum juízo de valor ou restringimos a resposta do entrevistado. Usar adjetivos (como fácil ou difícil, bonito ou feio), dar exemplos que estimulem uma resposta ou ainda fazer perguntas binárias (cuja resposta é sim ou não). Desta forma, na levantamento de dados qualitativos vale sempre dar espaço para que o entrevistado sinta-se a vontade para dizer o que acha e explorar sem avaliar as respostas que são oferecidas.

Viés de Confirmação

Muitas vezes nos deparamos com a seguinte situação: temos um argumento para defender, mas como embasá-lo? Essa é uma prática argumentativa trivial, mas pode levar a erros graves na análise de dados. A tendência que temos de pegar esse atalho, procurando (apenas) informações que comprovem um argumento ou hipótese pessoal chamamos de viés de confirmação.

O viés de confirmação se apresenta quando selecionamos (conscientemente ou não) dados, informações que corroboram o argumento inicial ou mesmo interpretamos informações ambíguas favorecendo aquilo que tentamos afirmar. Trata-se de um atalho que busca a confirmação de crenças pessoais por meio de dados, o que pode ocorrer porque superestimamos nossas crenças.

Na análise de dados quantitativos o viés de confirmação pode ocorrer quando não respeitamos todas as etapas analíticas, não observamos os contrafactuais (informações que podem refutar a nossas hipóteses) ou não observamos com atenção o devido processo de formulação e teste de hipóteses antes de chegarmos a uma conclusão.

Os dados qualitativos isso pode se dar quando se descontextualiza a fala do entrevistado, desconsiderando a história do entrevistado, suas experiências prévias, contradições e o segmento de análise do qual ele faz parte. Outro viés de confirmação pode decorrer da ordem das entrevistas, ou seja, tomamos nos apegamos interpretação ou evidências de uma parte das entrevistas e passamos a procurar essas mesmas evidências nas demais.

Além disso, para evitar o viés de confirmação recomenda-se explicitar bem os critérios e premissas assumidos para análise e distanciar-se do problema antes de concluir a análise. A segunda dica é bem simples, mas faz diferença: muitas vezes ficamos tão submersos em uma investigação que somos incapazes de imaginar outras perspectivas de análise que não aquela que havíamos imaginado antes.

Viés de Seleção

Ao selecionarmos uma amostra, um conjunto de observações para análise, temos de garantir que ela representa a realidade em toda sua pluralidade. Para tanto, temos de entender quais são as diferentes clivagens que precisamos observar e como elas podem interferir nos resultados do estudo.Caso a amostra seja enviesada no momento da seleção, será impossível fazer inferências para toda a população a partir dela.

Um exemplo comum no dia a dia é nos depararmos com algum questionário enviado por um colega ou compartilhado em uma rede social pedindo respostas. Sinto muito em dizer, mas este é um exercício inútil e qualquer conclusão obtida dali poderia (se muito) dizer sobre a amostra, e jamais ser extrapolado para o universo estudado. Ainda sim, na maior parte da vezes essa coleta de dados estaria enviesada porque representaria apenas o grupo imediato das pessoas que temos contato, implicando que a inserção social da pessoa que solicita as respostas (em termos culturais e demográficos) já indica um viés.

Sabendo agora que você não pode e não deve chamar seus amigos e colegas para responder às suas pesquisas. Como evitar o viés de seleção?

O primeiro passo é entender qual o tamanho da amostra que podemos cobrir e a partir de quais segmentações desejamos observar os resultados (por exemplo, sexo, idade, renda familiar). Assim, vamos entender se temos como cobrir com número suficiente de casos, as diferentes estratificações da amostra.

Para selecionar bem as estratificações devemos observar, devemos entender quais variáveis do o fenômeno que queremos observar podem influenciar no comportamento da amostra. Se desejamos estudar hipertensão na população, temos de considerar que esse fenômeno por variar em conjunto com a idade do indivíduo. Temos de garantir que a amostra seja capaz de cobrir a pluralidade do universo a ser estudado.

No levantamento de dados qualitativos devemos tomar ainda mais cuidado com a seleção dos entrevistados. De maneira alguma devemos utilizar nossas relações ou rede pessoal para recrutar entrevistados, ou pior ainda, as pessoas que trabalham conosco desenvolvendo o mesmo produto. Além dos vieses mais óbvios que isso pode provocar (relacionamento, universo de conhecimento compartilhado, etc) existem ainda vieses sociais mais amplos como escolaridade, renda, origem social. Logo, lembre-se sempre da máxima: “Você não é o seu usuário”.

Estudos mais complexos e perfis específicos podem demandar ajudar de serviços de recrutamento profissional. Não hesite em pedir ajuda para esses profissionais para definir a amostra, a dificuldade de acessar alguns grupos pode até mesmo impossibilitar o estudo.

Viés de Sobrevivência

Se você chegou até aqui pode estar com dúvidas a respeito de como esses diferentes vieses cognitivos se diferenciam. Um viés de confirmação, poderia ser entendido como um viés de indução, ou vice e versa? Ou ainda um viés de seleção?

De alguma maneira, as diferentes classificações de viés podem estar conectadas, seja para implicação direta entre eles ou ainda por um viés reforçar o outro. Em alguns casos, eles se pode dizer que alguns são casos particulares de outros.

É o caso do viés de sobrevivência, um tipo particular de viés de seleção. Ele consiste em concluir baseados apenas em casos particulares, desconsiderando todos os demais. Muitas vezes esse atalho nos leva a generalizar a partir de um único caso, ou mesmo porque “todas as pessoas que eu conheço” fazem isso ou aquilo. Logo, o viés de sobrevivência poder embasar a conclusões em um conjunto particular e subjetivo de evidências, sem tomar uma amostra sistemática e confrontar essas informações com a realidade.

Um exemplo famoso do viés de sobrevivência advém da 2ª Guerra Mundial. Ao avaliar os aviões que retornam a base após ataques conclui-se que eles tinham mais avarias nas partes mais danificadas, e que portanto essas seriam as partes mais frágeis dos aviões e precisavam ser reforçadas. Todavia, ao desconsiderar da análise os aviões que não voltaram a base, entende-se que a amostra estava enviesada.

O estatístico Abraham Wald ao realizar a análise levou em consideração o viés de sobrevivência e concluiu que os aviões as áreas mais robustas dos aviões eram justamente as partes mais danificadas dos aviões que sofriam as avarias e ainda sim conseguem retornar a base.

Desta forma, ao analisar dados quantitativos e qualitativos devemos entender quais são os outliers que podem viesar amostra, entender se os dados cobrem todo o universo e observar a origem dos dados, bem como as comparações que realizamos entre segmentos (grupos) de análise.

Conclusão

Afinal é importante discutir como os vieses cognitivos podem impactar na qualidade de seus dados, pois consequentemente eles podem levar a decisões equivocadas. Além de considerá-los e controlá-los ao longo do processo de análise, devemos prestar atenção especial ao momento de coleta ou produção destes dados.