Medindo a qualidade científica?

Segue uma apresentação do farmacologista e bioestatístico britânico David Colquhoun, que escreve no blog DC’s Improbable Science sobre pseudociência, medicina alternativa, pesquisa clínica e biomédica etc. Nela, o cientista discute os problemas da utilização de métricas de qualidade baseadas na contagem de citações, como os índices de impacto e o fator H, muito em voga na avaliação da qualidade de revistas acadêmicas e pesquisadores. Infelizmente, de acordo com Colquhoun, essas diferentes ‘métricas’ não medem o que se supõe que deveriam medir. Segundo ele, não haveria, por exemplo, nem ao menos correlação entre o impacto do periódico e o número de citações de artigos publicados neles.

O problema é que muitas instituições não só definem o financiamento à pesquisa, mas também as próprias carreiras dos pesquisadores e professores, quase que exclusivamente com base em métricas desse tipo – muitas vezes acolhidas e utilizadas por administradores sem conhecimento técnico das disciplinas e das áreas de pesquisa avaliadas. Lembrando que esses indicadores nem ao menos medem a qualidade dos trabalhos propriamente ditos, já que eles não levam em conta a adequação e o rigor dos métodos empregados, nem a clareza da pergunta que está sendo investigada, ou a exatidão e precisão com que o estudo foi conduzido; também não medindo sua relevância científica ou a inventividade e criatividade envolvida em sua promoção. Pior, tais métricas não respeitam as diferenças de tempo e recursos para o amadurecimento de ideias, protocolos, abordagens etc, que, obviamente, podem variar muito de área para área e de problema para problema.

Esse tipo de ênfase exagerada em indicadores de produtividade e ‘qualidade’ (a maioria deles muito duvidosos) pode ser um dos fatores que está ajudando a criar (ou pelo menos a manter) a cultura de publicações apressadas e de baixa qualidade, onde muitas vezes são utilizados métodos inadequados, amostragens pequenas demais, protocolos e testes estatísticos definidos a posteriori e em que a coleta de dados foi feita de maneira descuidada, podendo, por sua vez, implicar na crise de replicabilidade que muitas áreas da pesquisa científica têm vivenciado.

Advertisements

About rodveras

I'm a biologist and science writer who loves philosophy and sciences.
This entry was posted in Uncategorized. Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s