Por que é tão difícil reproduzir certos estudos?

Embora exista um certo consenso indicando que a falha da maioria das tentativas de replicar resultados de estudos experimentais possa ser atribuída a vários problemas metodológicos (incluindo aí baixo poder estatístico, ênfase na publicação apenas de resultados positivos e surpreendentes etc), essa não parece ser a história toda. Nem toda falha de replicação é igual a outra. Muitos trabalhos em áreas como a psicologia social podem ser bastante sensíveis ao contexto particular no qual foram realizados. Portanto, estudos que falham em replicar os resultados de outros estudos podem, simplesmente, serem devidos ao fato de coisas diferentes estarem sendo testadas nos dois estudos.

Bavel e seu grupo realizaram um estudo envolvendo as  tentativas de replicação conduzidas pelo ‘Reproducibility Project’; um grande consórcio que teve por objetivo reproduzir 100 grandes estudos de psicologia social, mas que consegui replicar os resultado de apenas 39% deles. A equipe de Bavel pediu que indivíduos, que não sabiam o resultado das tentativas de replicação, classificassem esses estudos, a partir de seus abstracts, em relação a sensibilidade ao contexto sociocultural de cada estudo. Mesmo depois que os autores ajustaram estatisticamente os dados para compensar para outros fatores (poder estatístico, tamanho do efeito etc), ainda assim, eles observaram que havia uma associação entre a chance de replicação dos estudos e sua sensibilidade ao contexto. Isso quer dizer que estudos classificados como mais sensíveis ao contexto normalmente são aqueles cujos resultados originais não foram reproduzidos nos estudos do reproducibility project. Portanto, nem toda falha de replicação de um estudo é equivalente.

A solução para isso, segundo o próprio Bavel, é, além de corrigir os problemas metodológicos mais óbvios já mencionados, mais diálogo e colaboração entre os autores dos estudos originais e aqueles interessados em reproduzi-los. Compartilhar os detalhes sobre o contexto que cercou o estudo e discutir como re-delineá-los – para que possam compensar eventuais mudanças no contexto sociocultural de cada época e lugar – pode ser essencial. Neste caso, mesmo se os resultados continuarem negativos, eles serão muito mais informativos.


Referências:

  1. van Bavel, Jay  ‘Why Do So Many Studies Fail to Replicate?’ Gray Matter/New Yor Times May 27, 2016.
  2. van Bavel JJ, Mende-Siedlecki P, Brady WJ, Reinero DA. Contextual sensitivity in scientific reproducibility. Proc Natl Acad Sci U S A. 2016 May 23. pii: 201521897. doi: 10.1073/pnas.1521897113
  3. Aarts, Alexander A et al. “Reproducibility Project: Psychology.” Open Science Framework, 28 Apr. 2016. Web.

About rodveras

I'm a biologist and science writer who loves philosophy and sciences.
This entry was posted in Uncategorized. Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s