Cuidado com os valores-p

Uma das principais ferramentas estatísticas, amplamente empregadas em várias disciplinas científicas, são os chamados ‘testes de significância de hipótese de nulidade‘ (NHST, do inglês “Null Hypothesis Significance Testing“). Este tipo de testes fornece ao final dos procedimentos os famosos valores-p a partir dos quais são julgados os resultados dos experimentos. Normalmente isso é feito ao se adotar um limite arbitrário para significância geralmente o de 0.05 que significa basicamente que – partindo do princípio que a hipótese de nulidade está correta, isto é, que não existem efeitos reais e as diferenças são apenas devidas a flutuações ao acaso dos grupos comparados em questão – existiria uma chance de 5% de se conseguir um resultado como o obtido ou um ainda mais extremo. De uma certa maneira este valor nos dá de uma forma meio tortuosa a chance que os nossos dados tenham ocorrido pelo acaso. Assim, quanto menores os valores-p mais confiança teríamos que as diferenças observadas não são meras variações aleatórias, ainda que a possibilidade de outras fontes de erro estarem por trás dos resultados dependerão para serem excluídas da qualidade dos controles experimentais e empíricos utilizados e da precisão das medidas e da condução dos estudos.

Dois pesquisadores, E. J. Masicampoa & Daniel R. Lalande, resolveram testar como se distribuíam os valores-p relatados na literatura científica da área de psicologia e qual era o impacto na publicação dos dados. Os autores examinaram um grande subconjunto de artigos científicos provenientes de três grandes e conceituadas revistas do campo: The Journal of Experimental Psychology: General; Journal of Personality and Social Psychology e Psychological Science que incluiam um total de 3.627 valores-p relatados em 36 edições das revistas examinadas e que variavam entre 0,01 a 0,10.

Esses valores foram contados em intervalos de diferentes tamanhos (ex: 0,01, 0,005, 0,0025 ou 0,00125) para evitar certos tipos de tendenciosidades e ao serem plotados formaram um curva exponencial, como pode ser vista na figura abaixo retirada do artigo. As distribuições dos valores-p foram semelhantes nas diferentes revistas e a dispersão dos pontos em relação a curva obtida era relativamente pequena, com uma exceção bem clara. E esse foi o ponto realmente interessante do trabalho, pois existia uma excesso de valores-p que eram muito mais comuns imediatamente abaixo do limite de 0,05 do que seria esperado pelo resto dos dados.

Os pesquisadores enfatizam que esta prevalência dos valores-p imediatamente abaixo do ponto de corte arbitrário de significância foi observada em todos os três periódicos e sugerem que ele pode ser causado por viés de publicação e por certa manipulação de dados por parte do pesquisadores que ao obterem valores-p logo acima do limite de corte de 0,05 podem aumentar as observações até que se chegue ao valor-p desejado, mudar as medidas de desfecho ou simplesmente descartar dados para que se ‘adequarem’ ao ponto de corte. Este trabalho alerta para não se colocar muita confiança demais em valores-p de modo geral e especialmente os de significância marginal (0,05), ignorando outras medidas importantes como os tamanhos dos efeitos ou a estimação de certos valores através de intervalos de confiança.

É sempre bom lembrar que não existem técnicas e métodos sacrossantos na investigação científica, o que nos obriga a mantermo-nos sempre vigilantes e críticos, constantemente avaliando e buscando novas formas de apresentar e analisar os dados, identificando e reduzindo eventuais vieses e minimizando outras formas de erros e de distorção.

Para saber mais detalhes veja, além do próprio artigo publicado do Quarterly journal of experimental psychology , os posts de Christian Jarrett e PZ Myers, respectivamente, os blogs Research Digest e Pharyngula.

__________________________________________________________

Referências:

  • Masicampo EJ, Lalande DR. A peculiar prevalence of p values just below .05. Q J Exp Psychol (Hove). 2012 Aug 2. [Epub ahead of print] PubMed PMID: 22853650.

About rodveras

I'm a biologist and science writer who loves philosophy and sciences.
This entry was posted in Ciência, Ciências cognitivas, Uncategorized. Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s