A Verdade Oculta das Pesquisas de Satisfação

A manipulação está mais perto do que você imagina

Você acredita nisso? Estava em uma loja de departamento em um shopping de Belo Horizonte e vi um colaborador no totem de pesquisa dando nota máxima para cada cliente que saía. Um motorista de aplicativo já me ofereceu um bombom para eu dar 5 estrelas e mostrar a ele no final da corrida. Um atendente de uma fintech me pediu uma avaliação de 5 estrelas, mesmo sem resolver meu problema. E não para por aí.

Executivos frequentemente inflacionam seus resultados, tudo em nome do "bom e velho marketing de enganação". Infelizmente, essas práticas são comuns e fazem parte do dia a dia de empresas que você jamais imaginaria.

Este fenômeno levanta dúvidas sobre a veracidade dos dados apresentados pelas empresas. Neste artigo, vamos explorar a teoria por trás das pesquisas e a análise de dados, destacando a importância de aplicar essas ferramentas de forma ética e precisa.

Um pouco de teoria

Enquanto a ciência é a busca sistematizada de fatos para se adquirir conhecimento, a pesquisa é uma ferramenta que auxilia a ciência a entender esses fatos através da coleta e o tratamento de dados.

Normalmente utilizada para se comprovar algo, uma pesquisa é dividida por:

• Tipo;

• Método;

• Técnicas de coleta;

• Análise de dados.

Método Quantitativo x Qualitativo

O método quantitativo, quantifica os dados para responder o "problema de pesquisa". Os dados são coletados via questionários contendo hipóteses formuladas e são utilizadas quando você quer validá-las estatisticamente.

Exemplos: NPS, CSAT, CES e etc.

Já o método qualitativo, explora informações mais subjetivas e com mais profundidade. Ele é conduzido de forma exploratória, onde o entrevistado é estimulado a opinar livremente.

Este método é indicado quando seu objetivo seja incluir uma contextualização mais profunda das respostas.

Exemplo: Pesquisas de desligamento, validação de um produto, conceito ou campanha.

População e Amostragem

Como citei anteriormente, as pesquisas do tipo NPS, CSAT e CES, utilizam o método quantitativo, e por isso, precisamos falar um pouco sobre estatística.

Estatística é a parte da ciência responsável pela coleta, tratamento e interpretação de dados da amostra de uma população. Como na grande maioria das vezes é impossível estudarmos toda a população, estudamos uma amostra.

População é qualquer conjunto, não necessariamente de pessoas, que constituem todo o universo de informações.

Amostra corresponde a um grupo representativo da população, objeto do estudo.

Existem várias formas de definir a amostra de uma população. Elas são divididas em dois grupos, probabilístico e não probabilístico. Cada grupo possuem vários tipos.

Normalmente utilizamos amostras por acessibilidade ou conveniência do grupo não probabilístico, para estudarmos os resultados das pesquisas aplicadas à clientes e consumidores.

IMPORTANTE: Se você não conseguir uma amostragem representativa, sua pesquisa não terá validação estatística e não refletirá a visão geral da população. Apenas amostras probabilísticas são aceitas para validação científica, por isso, é importante analisar o contexto dos negócios para a interpretação dos dados.

#ficaadica: Como dependemos da parceria dos nossos Clientes e Consumidores para responderem as pesquisas, o tamanho da amostra será mais importante do que o grupo ou tipo.

Margem de erro

É uma porcentagem que indica o nível de correspondência dos resultados da pesquisa com as opiniões da população total. Quanto menor a margem de erro, mais perto você está de ter a resposta exata com um grau de confiança específico.

Grau de confiança da amostra

É uma porcentagem que revela o quanto você pode estar confiante de que a população selecionaria uma resposta dentro de um determinado intervalo. Por exemplo, um nível de confiança de 95% significa que você pode ter 95% de certeza de que os resultados estão entre os números x e y.

#ficaadica: Você pode utilizar uma calculadora de amostra para facilitar.

Tudo isso na prática

Vamos imaginar o seguinte cenário:

• Total de chamados atendidos pelo time de suporte: 612

• Total de chamados resolvidos: 400

• Total de chamados elegíveis para o CSAT ser aplicado: 400 (População)

• Taxa de resposta: 20% (Amostra)

• CSAT: 90%

Logo, você conclui que 90% dos clientes que tiveram seus chamados resolvidos estão satisfeitos, certo? ERRADO!

Para que você possa validar estatisticamente essa análise com uma margem de erro de 5% e um grau de confiança de 95%, você precisará de uma taxa de resposta de 49,25%. Neste cenário, o seu CSAT pode ser maior ou menor não é mesmo?

Isso não quer dizer que o resultado do CSAT com 20% de taxa de resposta não seja útil. Você pode utilizá-lo como termômetro da sua operação.

Hora de refletir

Antes de realizar qualquer tipo de pesquisa com seus clientes e/ou consumidores, sugiro uma reflexão através das perguntas a seguir:

1. Qual é o objetivo da pesquisa?

2. Quais são os times e/ou stakeholders que serão impactados por essa pesquisa?

3. Os times e os stakeholders impactados se comprometeram a fazer algo efetivo com os resultados obtidos?

4. O tipo de pesquisa está coerente com o objetivo da pesquisa?

5. É o melhor momento para aplicar a pesquisa?

6. A pesquisa possui algum tipo de viés?

Se para qualquer uma das perguntas acima, você respondeu, sim, não, talvez, não sei, ou ainda não está muito claro, não aplique a pesquisa. Preocupe-se em gerar valor para os seus clientes ao invés de gerar "métricas de vaidade".