O quão confiáveis são os métodos forenses?

Se você é fã de seriados como ‘CSI’ ou ‘NCIS’, onde agentes da polícia (ou das forças armadas) alternam-se entre suas algemas e revolveres e seus guarda-pós e microscópios, talvez, você tenha adquirido uma visão um tanto distorcida da investigação forense. Isso não seria tão problemático se essa visão não se refletisse sobre os juízes, promotores e júris, enviesando sua percepção das limitações das técnicas forenses e contribuindo para a perpetuação de injustiças e da ignorância científica.

Segue um episódio do Last Week with John Oliver onde os problemas das ciências forenses e de vários de seus métodos são discutidos.

Esse tipo de fenômeno, em que os resultados (mesmo ciência especulativa e até de má qualidade) são aceitos, sem muitos questionamentos, quando, convenientemente, vão ao encontro de nossos preconceitos, está tanto na gênese do cientificismo como das pseudociências.

As ciências estão entre as empreitadas intelectuais humanas mais impressionantes. Sem dúvida, são admiráveis e socialmente indispensáveis, mas, ainda assim, são atividades levadas à cabo por seres humanos. Por isso são falíveis e sempre incompletas. Em seu melhor, personificam algumas das maiores virtudes epistêmicas, sociais e éticas que os seres humanos são capazes de exibir. Nessas circunstâncias, elas mostram como sua organização comunitária e a aplicação de uma gama enorme de princípios, métodos, protocolos, ferramentas, instrumentos, heurísticas de coleta, análise, crítica e compartilhamento de evidências empíricas e de inferência e teste de ideias, hipóteses, modelos e teorias podem produzir conhecimento genuíno e imprescindível. Porém, como empreitadas sociais – que dependem do financiamento do resto da sociedade (e cujos indivíduos participantes podem sofrer pressões de toda sorte, que vão desde de seus pares até de outras partes interessadas da sociedade) – é preciso que tenhamos consciência de suas limitações, especialmente caso queiramos aprimorá-las, mantendo uma postura crítica, colaborativa e intelectualmente honesta. Reconhecer as limitações de cada abordagem, procedimento ou ciência particular é essencial e a única forma de garantir a integridade científica é mantermo-nos sempre vigilantes e muito bem informados.

É por causa disso que é preciso que os métodos utilizados na investigação criminal sejam rigorosamente validados e que suas limitações e incertezas (uma vez considerados realmente consistentes e úteis por meio de uma avaliação independente) sejam sempre apresentadas e explicadas para os júris, promotores, advogados de defesa e juízes. É também essencial que os investigadores mantenham-se independentes da promotoria, evitando a contaminação de interesses e o viés de confirmação e, possivelmente, seria importante a adoção de protocolos duplo-cegos e outras salvaguardas para garantir que o processo seja realmente isento e justo.


Para saber mais sobre o assunto e sobre as limitações e incertezas associadas a vários dos métodos forenses:

Inoccentproject


Sobre ciência:

  • Chalmers, Alan F. What Is This Thing Called Science? 4th Edition Hackett Publishing Company September, 2013. 304 pp.

  • Haack, Susan Defending Science – Within Reason: Between Scientism and Cynicism Prometheus Books, 2007. 411 pp.

 

 

Advertisements
Posted in Uncategorized | Leave a comment

Medindo a qualidade científica?

Segue uma apresentação do farmacologista e bioestatístico britânico David Colquhoun, que escreve no blog DC’s Improbable Science sobre pseudociência, medicina alternativa, pesquisa clínica e biomédica etc. Nela, o cientista discute os problemas da utilização de métricas de qualidade baseadas na contagem de citações, como os índices de impacto e o fator H, muito em voga na avaliação da qualidade de revistas acadêmicas e pesquisadores. Infelizmente, de acordo com Colquhoun, essas diferentes ‘métricas’ não medem o que se supõe que deveriam medir. Segundo ele, não haveria, por exemplo, nem ao menos correlação entre o impacto do periódico e o número de citações de artigos publicados neles.

O problema é que muitas instituições não só definem o financiamento à pesquisa, mas também as próprias carreiras dos pesquisadores e professores, quase que exclusivamente com base em métricas desse tipo – muitas vezes acolhidas e utilizadas por administradores sem conhecimento técnico das disciplinas e das áreas de pesquisa avaliadas. Lembrando que esses indicadores nem ao menos medem a qualidade dos trabalhos propriamente ditos, já que eles não levam em conta a adequação e o rigor dos métodos empregados, nem a clareza da pergunta que está sendo investigada, ou a exatidão e precisão com que o estudo foi conduzido; também não medindo sua relevância científica ou a inventividade e criatividade envolvida em sua promoção. Pior, tais métricas não respeitam as diferenças de tempo e recursos para o amadurecimento de ideias, protocolos, abordagens etc, que, obviamente, podem variar muito de área para área e de problema para problema.

Esse tipo de ênfase exagerada em indicadores de produtividade e ‘qualidade’ (a maioria deles muito duvidosos) pode ser um dos fatores que está ajudando a criar (ou pelo menos a manter) a cultura de publicações apressadas e de baixa qualidade, onde muitas vezes são utilizados métodos inadequados, amostragens pequenas demais, protocolos e testes estatísticos definidos a posteriori e em que a coleta de dados foi feita de maneira descuidada, podendo, por sua vez, implicar na crise de replicabilidade que muitas áreas da pesquisa científica têm vivenciado.

Posted in Uncategorized | Leave a comment

Vampirologia

Palestra de Debora Hyde sobre os relatos históricos sobre vampiros e o tipo de possíveis causas e situações – como doenças, anomalias do sono, práticas culturais, desconhecimento sobre os processos naturais de decomposição, mecanismos psicológicos etc – que levaram a essa crença e deram origem a estes relatos. Hyde é editora-chefe da revista The [UK] Skeptic e tem investigado há mais de 20 anos alegações de atividades paranormais, mitos, lendas, folclore e superstições. 

Para pessoas, como eu, que interessam-se pelo tema, uma ótima sugestão é o livro de Mark Collins Jenkins, “Vampire Forensics”.

——————

Para saber mais:

Posted in Uncategorized | Leave a comment

A motoserra de Occam e as experiências-de-quase-morte

 

O neurocientista britânico Jason Braithwaite é um dos pesquisadores envolvidos com o estudo de experiências subjetivas comumente associadas a fenômenos paranormais ou mesmo tidas como sobrenaturais. A diferença é que ele junto com vários outros neurocientistas e cientistas cognitivos (como Chris French, Richard Wiseman, Olaf Blanke etc) – procura compreender tais braithwaite-jasonexperiências dentro de uma perspectiva científica convencional e filosoficamente naturalista.

Em 2008 ele havia escrito um ótimo artigo  (‘Towards a Cognitive Neuroscience of the Dying Brain‘) sobre as ‘experiências-de-quase-morte’ (cuja sigla em inglês é NDE) e as ‘experiências-fora-do-corpo’ (OBE) que são, algumas vezes, relatadas por pessoas que sofreram paradas cardíacas e estiveram perto de morrer, mas não só. Nesse artigo, Braithwaite explica o que sabemos sobre o assunto e explicita as limitações da perspectiva não-naturalista, algumas vezes, chamadas de ‘sobrevivencialista’.

As pessoas que advogam a hipótese sobrevivencialista – e que, portanto, adotam uma perspectiva sobrenaturalista para a consciência – defendem que tais fenômenos mostrariam que a consciência pode subsistir quando o cérebro não está ativo e, portanto, segundo eles, provariam a existência de algo como a alma, ou seja, eles propõem que tais experiências seriam evidências que a consciência/mente não é um entidade ou propriedade cujas causas são físicas. Essa visão vai contra a perspectiva científica moderna, ou seja, a de que a consciência e tudo que associamos a ela (nosso senso de identidade pessoal e corporal, nossas memórias, emoções, personalidade etc) é uma propriedade emergente de atividade dinâmica integrada de redes de neurônios ativos em nossos cérebros e que sem isso ela não pode existir.

Porém, como Braithwaite salienta, existe toda sorte de problemas com a visão sobrenaturalista e boa parte das conclusões de seus defensores baseiam-se em um abandono prematuro das explicações naturalistas (inclusive a partir de críticas errôneas sobre a hipótese da desinibição cortical) e com base na distorção das evidencias que sustentam a visão científica mais disseminada. No artigo, publicado na revista The Skeptic, o pesquisador britânico aponta erros fundamentais que os defensores da hipótese sobrevivencialista cometem reiteradamente, a começar por sua interpretação do que ocorre durante as paradas cardiorrespiratórias e, principalmente, sobre o que EEGs (eletroencefalogramas) e monitores de consciência, ligados a pacientes em UTIs ou centros JonesCoverSmallcirúrgicos, realmente mostram.

Agora, em um novo artigo também publicado na revista The Skeptic, Braithwaite e Hayley Dewe (aluna de doutorado de Braithwaite, que investiga os correlatos neurocognitivos de experiências alucinatórias envolvendo o corpo, como as OBEs) continuam a pontuar os dewe-hayley2014problemas com a interpretação das evidencias clínicas e instrumentais, frequentemente, empregadas pelos sobrevivencialistas para endossar sua posição.

A ideia geral apresentada por Dewe e Braithwaite é que, além de anedotas eventuais, não existem boas evidencias que qualquer NDEs e OBEs se deem exatamente quando o cérebro não estaria funcionando. Como os relatos são feitos depois que os pacientes já se recuperaram e podem falar, não há como estabelecer que tais experiências se deram durante a parada cardiorrespiratória e nem quando o EEG estava isoelétrico. Pior do que isso. Mesmo os EEGs isoelétricos – as famosas ‘flat lines’ – não mostram que o cérebro está completamente sem atividade elétrica. Os registros isoelétricos mostram apenas que o cérebro encontra-se sem atividade coerente nas regiões mais externas do córtex. Então, embora um EEG isoelétrico persistente e que não se altera com estimulação dolorosa em indivíduos que não respiram sozinhos possa indicar a morte cerebral, um registro isoelétrico temporário não é prova de um cérebro morto.

De fato, existem algumas evidencias que atividade elétrica cortical coerente mais profunda e mesmo não-cortical aconteça quando EEGs isoelétricos são registrados. Na realidade, temos alguns indícios que alguns desses tipos de atividade podem estar relacionadas com experiência consciente anômala e até formação de memória. Porém, mesmo que esse não seja o caso, boa parte das evidencias nos levam a crer que as experiências subjetivas acontecem e portanto as memórias destes eventos são formadas ou logo antes ou logo depois do período de EEG isoelétrico, como os estudos com o modelo de síncope deixam claro, uma vez que são nesses períodos que as experiências alucinatórias tendem a ocorrer; a despeito das tentativas dos sobrevivencialistas de desqualificarem tal modelo comparativo, deixando de lado as várias similaridades com as NDEs.

Evidências recentes obtidas a partir de estudos em roedores e com pacientes em UTIs também sustentam que, logo após a parada cardíaca, existe um surto de atividade elétrica cerebral coerente que é muito parecida a normalmente atribuída a consciência visual em indivíduos acordados. Então, embora ainda restem muitas questões em aberto e não estejamos perto de uma explicação realmente robusta de como o cérebro ativo produz nossas experiências subjetivas conscientes normais ou anômalas, as evidencias não sustentam a visão sobrevivencialista/sobrenaturalista. Para saber mais sobre o assunto veja as postagens: ‘Ateísmo, Naturalismo e Sobrenaturalismo, ‘Não adianta espernear, não existe uma neurociência não-materialista.‘, ‘Religião, espiritualismo e ciência: Uma relação complicada‘, ‘A Neurologia das Experiências de Quase Morte‘,’ Os últimos suspiros elétricos de um cérebro moribundo.‘, Alucinações vestíbulo-motoras e experiência-fora-do-corpo, Paralisia do sono: Uma perspectiva neurocientífica).

——————————

Referências:

 

Posted in Uncategorized | Leave a comment

Por que é tão difícil reproduzir certos estudos?

Embora exista um certo consenso indicando que a falha da maioria das tentativas de replicar resultados de estudos experimentais possa ser atribuída a vários problemas metodológicos (incluindo aí baixo poder estatístico, ênfase na publicação apenas de resultados positivos e surpreendentes etc), essa não parece ser a história toda. Nem toda falha de replicação é igual a outra. Muitos trabalhos em áreas como a psicologia social podem ser bastante sensíveis ao contexto particular no qual foram realizados. Portanto, estudos que falham em replicar os resultados de outros estudos podem, simplesmente, serem devidos ao fato de coisas diferentes estarem sendo testadas nos dois estudos.

Bavel e seu grupo realizaram um estudo envolvendo as  tentativas de replicação conduzidas pelo ‘Reproducibility Project’; um grande consórcio que teve por objetivo reproduzir 100 grandes estudos de psicologia social, mas que consegui replicar os resultado de apenas 39% deles. A equipe de Bavel pediu que indivíduos, que não sabiam o resultado das tentativas de replicação, classificassem esses estudos, a partir de seus abstracts, em relação a sensibilidade ao contexto sociocultural de cada estudo. Mesmo depois que os autores ajustaram estatisticamente os dados para compensar para outros fatores (poder estatístico, tamanho do efeito etc), ainda assim, eles observaram que havia uma associação entre a chance de replicação dos estudos e sua sensibilidade ao contexto. Isso quer dizer que estudos classificados como mais sensíveis ao contexto normalmente são aqueles cujos resultados originais não foram reproduzidos nos estudos do reproducibility project. Portanto, nem toda falha de replicação de um estudo é equivalente.

A solução para isso, segundo o próprio Bavel, é, além de corrigir os problemas metodológicos mais óbvios já mencionados, mais diálogo e colaboração entre os autores dos estudos originais e aqueles interessados em reproduzi-los. Compartilhar os detalhes sobre o contexto que cercou o estudo e discutir como re-delineá-los – para que possam compensar eventuais mudanças no contexto sociocultural de cada época e lugar – pode ser essencial. Neste caso, mesmo se os resultados continuarem negativos, eles serão muito mais informativos.


Referências:

  1. van Bavel, Jay  ‘Why Do So Many Studies Fail to Replicate?’ Gray Matter/New Yor Times May 27, 2016.
  2. van Bavel JJ, Mende-Siedlecki P, Brady WJ, Reinero DA. Contextual sensitivity in scientific reproducibility. Proc Natl Acad Sci U S A. 2016 May 23. pii: 201521897. doi: 10.1073/pnas.1521897113
  3. Aarts, Alexander A et al. “Reproducibility Project: Psychology.” Open Science Framework, 28 Apr. 2016. Web.
Posted in Uncategorized | Leave a comment

Estudos científicos e a cobertura da mídia

No vídeo compartilhado neste post, o excelente John Oliver (do ‘Last Week Tonight with John Oliver‘, da HBO) discute a maneira como a mídia reporta os ‘estudos científicos’. Qualquer cientista ou mesmo qualquer um que tenha uma formação científica e/ou trabalhe com divulgação científica sabe do que Oliver está falando.

Costumeiramente, vemos um espetáculo que vai desde a simples cobertura superficial e sensacionalista de certos estudos até a completa adulteração de resultados e das conclusões dos estudos científicos que estão sendo divulgados nas reportagens. Não há qualquer espaço para a cautela que deve caracterizar a pesquisa científica e que, por conseguinte, também deveria refletir-se em sua cobertura. Um dos problemas, para começar, é que muitos estudos apresentados pela grande mídia sofrem de sérias limitações metodológicas, são cercados de incertezas e a sua própria publicação pode não ser representativa, tanto por causa de fatores como o viés de publicação (a tendência de autores e periódicos darem preferência a resultados com achados positivos, ou seja, onde a hipótese de nulidade tenha sido rejeitada) como pelo simples fato de muitos estudos terem baixa qualidade metodológica, o que os faz nem ao menos merecerem tanto alarde e ganharem notoriedade. Essas questões normalmente são deixadas de lado pelo jornalistas e qualquer, eventual ,nuance contida nestes estudos acaba sendo completamente obscurecida, distorcendo nossa percepção do conhecimento científico.

De modo geral, não parece existir muita preocupação em contextualizar os resultados de novos estudos. Nem em termos de sua relevância social (e, eventual, aplicabilidade prática, o que seria de se esperar em algo feito pela imprensa ao abordar um tema técnico para um público mais geral e leigo), nem em termos do resto da literatura científica sobre o tema em questão. Estudos científicos não existem em um limbo. É só através da apreciação e avaliação crítica  de toda a literatura disponível é que podemos tirar quaisquer conclusões mais sólidas, isto é, quando podemos. Essa parte importante da pesquisa científica é perdida completamente na cobertura de ciência, pelo menos naquela tipicamente feita pela grande mídia.

Grande parte disso é realmente culpa dos veículos de comunicação e dos jornalistas que  trabalham neles – muitos dos quais não têm formação, tempo e nem interesse em uma cobertura mais acurada, precisa e realmente crítica. O que, por sinal, é bem diferente do negacionismo e da propagação de teorias conspiratórias, algo que muitos veículos de imprensa não têm qualquer pudor em fazer. Porém, não podemos nos esquecer que muita distorção e vários exageros que vemos por aí originam-se nas próprias universidades, centros e institutos de pesquisa, principalmente, através de releases de imprensa.

Os próprios cientistas infelizmente podem contribuir com este estado de coisas, principalmente, quando inflam a relevância de suas conclusões, simplificam demais seus resultados e minimizam as limitações dos métodos empregados por eles ao relatarem seus trabalhos aos jornalistas e profissionais de relações públicas. Algumas vezes esses releases são feitos antes de os resultados terem sido devidamente publicados em periódicos especializados revisado por pares. Muitas vezes esse tipo de coisa não acontece por má fé, mas porque a posição do pesquisador na instituição  e o financiamento de seu trabalho podem depender muito de sua notoriedade e projeção. Sem falar que, muitas vezes, os cientistas têm realmente dificuldades de explicar uma realidade complexa e cheia de incerteza aos jornalistas, sem que isso pareça chato ou irrelevante.

Essa  forma descuidada e sensacionalista de apresentar resultados científicos (e os próprios cientistas) à sociedade acaba gerando uma percepção enganosa do que é a pesquisa científica e de como a comunidade científica se organiza para levá-la a cabo. Embora a ciência seja realmente muito mais bagunçada do que muitos de nós gostamos de admitir, esse tipo de cobertura pode dar uma impressão muito pior do que ela realmente. Na maioria das matérias, os meios de comunicação não costumam enfatizar a necessidade da constante vigilância e a postura crítica que os próprios cientistas adotam em relação aos novos estudos. Também raramente é explicado que existem estudos (e argumentos) de diferentes qualidades e que não é o simples fato de algo ter sido dito por um cientistas que o torna correto. É por isso que os estudos científicos devem ser apreciados e analisados de maneira cuidadosa e de maneira comparativa aos demais estudos realizados sobre o assunto, além de serem sempre avaliados tendo em vista princípios científicos mais bem estabelecidos. Quando os meios de comunicação não chamam a atenção do publico à importância da avaliação coletiva e temporalmente estendida, realizada pela comunidade científica e tão importante às ciências, a mídia contribui para dar a impressão que os cientistas estão sempre contradizendo uns aos outros.

Esse tipo de cobertura é um prato cheio para os negacionistas e pseudocientistas de plantão.  Infelizmente, para a população geral, por causa desse e de outros fatores, esses picaretas são indistinguíveis de suas contrapartidas sérias, os reais cientistas. Pior ainda: A forma como a mídia divulga os resultados de estudos científicos também contribui para o clima geral de pressão sobre os cientistas. Como o financiamento de boa parte da pesquisa é público, ele também depende da percepção pública e, portanto, da cobertura da mídia. Isso pode provocar distorções na distribuição desse financiamento e tornar os cientistas ainda mais ávidos por chegar a novas descobertas. Desta maneira, são exigidos resultados sempre novos, inusitados e impactantes, Do tipo que podem facilmente virarem manchetes, fechando o circulo vicioso e colocando os cientistas em uma posição ainda mais complicada. Nesses casos pode parecer uma saída mais fácil para muitos pesquisadores apressar a publicação de resultados ainda incipientes, usar amostras menores do que o que se realmente deveria ser usado, escolher desfechos menos importantes, mas mais rápidos e fáceis de medir; ‘escolher seletivamente’ os dados mais convenientes, apenas para conseguir certos resultados, ou seja, ‘pescar’, ‘bisbilhotar’ ou ‘dragar’ os dados, ‘hackeam-os’ em busca de valores-p significativos (‘cherry-picking’, ‘data fishing’, ‘data snooping’, ‘data dredging’ e ‘p-hacking’).

Tudo isso, infelizmente, acaba subvertendo a essência do processo de investigação científica, diminuindo a qualidade da ciência praticada e, assim, minando a confiabilidade nas conclusões que podemos chegar através deste processo.

—————————–

Posted in Uncategorized | Leave a comment

A história de uma péssima alternativa

Segue um pequeno vídeo muito revelador. Ele conta um pouco da hype envolvendo a ‘medicina alternativa e complementar‘ que ocorreu nos anos 90. Esta mesma euforia levou ao estrelato gente como Deepak Chopra e outros gurus pseudocientíficos. Nesta atmosfera, a grande cobertura da mídia dedicada a este tópico em conjunto com o lobbie político acabou permitindo a criação do NCCAM, um centro de pesquisa ligado ao National Institute of Health, nos EUA, mesmo contrariando as recomendações da comunidade científica, que via (e vê) boa parte desta indústria como puro e simples charlatanismo. Isso fez com que o estudo destas terapias alternativas começasse a receber verbas federais, mesmo  estas práticas não sendo nada plausíveis e muito menos seu estudo prioritário.

O subsequente fracasso dos estudos em validar essas abordagens (utilizando-se de métodos de pesquisa e estratégias cientificas mais rigorosas) só piorou a situação. Além disso, o simples fato de um centro de pesquisas, com verbas do governo dos EUA, ter sido criado foi suficiente para a dar a falsa sensação de que tais abordagens fossem realmente respaldadas cientificamente, mesmo isso não sendo, nem de perto, verdade.  Para saber um pouco mais sobre o assunto dê uma olhada no meu outro post “Alternativas ao que, exatamente?“.

Talvez a parte mais assustadora do documentário seja assistir ao senador Tom Harkin – após os vários e sistemáticos fracassos dos estudos clínicos patrocinados pelo centro fornecerem evidências positivas – jogando a culpa na condução dos estudos pelo próprio instituto, simplesmente, porque, segundo ele, ao invés de testar criticamente as terapias, o NCCAM* deveria ‘validá-las’ (ou seja, aprová-las, confirmando o que eles já ‘sabiam’) porque era isso que a população (e ele, claro) gostariam. O nível de desconexão com a realidade e de wishfull thinking é simplesmente assustador. Harkin coloca o carro na frente dos bois, estando completamente alheio ao principal objetivo de efetuarmos este tipo de avaliações científicas  – exatamente, descobrir se as práticas, terapias e abordagens em questão funcionam ou não, fazendo isso através de estudos bem delineados e cuidadosamente conduzidos, de maneira rigorosa e justa.

————————————

*Aliás, este é um dos méritos do NCCAM. Apesar de sua criação ter acontecido por pressões lobísticas desavergonhadas – e até contra o consenso da época da comunidade científica, sem esquecer as tentativas de cercear e até minar as atividades de pesquisadores mais sérios que lá trabalhavam -, mesmo assim, o centro financiou muitos trabalhos clínicos de alta qualidade que, sem surpresa, confirmaram as expectativas originais, já que haviam evidências mais rigorosas que deixavam claro que algumas das terapias não funcionavam e muitas outras eram tão implausíveis (violando princípios científicos muito bem estabelecidos) que não mereceriam nem o gasto com testes mais rigorosos.

———————-

Referências:

  • Bausell RB. Snake Oil Science: The Truth About Complementary and Alternative Medicine. 1st ed. Oxford University Press; 2007.
  • Goldacre, B. Ciência Picareta Civilização Brasileira 1a ed, 2013. 378 p;
  • Singh S, Ernst E. Trick or treatment? : Alternative medicine on trial. Bantam Press; 2008.
Posted in Uncategorized | Leave a comment