Plantas, wi-fi, projeto de ciência e mau delineamento experimental.

Recentemente dei de cara com uma postagem do Facebook sobre um pequeno projeto de feira-de-ciências, realizado em 2013, em uma escola na Dinamarca. Os resultados do projeto, que durou 13 dias, foram anunciados em vários sites como tendo fornecido evidências para um efeito inibidor do crescimento de planta. Este efeito seria devido a efeitos não térmicos da radiação eletromagnética, na faixa das micro-ondas, produzida por roteadores Wi-Fi. Este é mais um exemplo de notícia que alimenta a histeria, comumente alardeada pela imprensa, envolvendo os supostos efeitos biológicos negativos dos campos eletromagnéticos (principalmente no câncer), que são emitidos por torres de telefonia, pelos próprios telefones celulares e, agora, roteadores de internet. A reportagem que menciona o projeto de feira-de-ciências pode ser vista aqui.

cress-collageA primeira questão com a qual me deparei é que, a não ser em situações muito particulares, estes tipos de experimentos não servem para chegarmos a qualquer tipo de conclusão sobre um assunto como este. Estes tipos de experimentos, normalmente, têm objetivos bem modestos e servem, principalmente, para dar um gostinho do que é fazer ciência para as crianças e adolescentes envolvidos nestes projetos. Geralmente são projetos bem simples que usam tempos de observação curtos e delineamentos experimentais muito simples, não passando por análises mais detalhadas, não havendo nem ao menos garantias de terem sido conduzidos de maneira realmente rigorosa. As reportagens sobre o projeto não trazem muitas informações relevantes, mas, pelo pouco que é dito, dá para perceber os vários problemas do experimento e, procurando um pouco mais, achamos ainda mais motivos para nos mantermos bem desconfiados esses resultados.

Gostaria de deixar claro que minha crítica não é às meninas que realizaram o projeto e muito menos ao tema por elas escolhido. Estes tipos de problemas de delineamento e condução de experimentos não são muito sérios em um projeto de feira-de-ciências, mas são inaceitáveis caso queiramos julgar os méritos de suas conclusões e usar esses resultados como evidências para uma avaliação mais precisa e pormenorizada de uma alegação tão sensacional como a que está em questão.

O que fica bem claro, desde o começo, é que o experimento não foi conduzido em condições de ‘cegamento’ dos participantes. Esse simples fato já impede de tomarmos os resultados sem uns dois pés atrás. Não estamos discutindo uma questão neutra, mas uma que tem gerado grande comoção social e uma certa paranoia. O problema básico é que a falta de cegamento introduz uma série de vieses no tratamento dos dois grupos (controle e tratamento) e na forma como as medidas são feitas, já que os participantes sabem quem é quem e o que esperar, podendo (consciente ou inconscientemente) medir ou manipular as medidas de maneira diferente em cada um dos grupos. Precisamos lembrar que, de acordo com a matéria do site, as alunas autoras do trabalho haviam pensado no experimento após relatarem dificuldades de concentração após dormirem com os seus celulares ligados, próximas as suas cabeças.

Nas postagens dos sites não são dados quaisquer detalhes metodológicos mais substanciais. A princípio não sabermos, por exemplo, quais os testes estatísticos (se é que foram usados) ou mesmo quantas medidas de desfecho foram empregadas, se elas foram definidas a priori ou a posteriori, se algumas foram descartadas ou não, se houve controle para a possibilidade de resultados espúrios por causa de várias coisas sendo testadas ao mesmo tempo etc. Pelo pouco que pude ‘adivinhar’ olhando o trabalho em dinamarquês (infelizmente, uma língua que não leio. Veja aqui para o PDF completo com as fotos) não há qualquer menção as questões que levantei, sugerindo que a avaliação é puramente qualitativa mesmo tendo sido tomadas algumas medidas quantitativas, como os gráficos parecem indicar.

A discussão do trabalho também é bem genérica e bastante seletiva, sendo principalmente feita a partir de citações de um relatório da ONU (cuja classificação do risco das micro-ondas dos celulares em 2B foi bastante controversa, especialmente porque foi baseada em vários estudos epidemiológicos e experimentais em animais com resultados amplamente negativos, ou seja que não davam suporte a alegação) e a partir de trabalhos de pesquisadores bastante criticados pela baixa qualidade metodológica dos resultados, principalmente no tocante ao suposto mecanismo de ação deste tipo de radiação em tecidos biológicos. O principal problema é que, como essas radiações não são radiações ionizantes,  não é nada claro como elas poderiam ter efeitos biológicos mais pronunciados e relevantes, especialmente porque a potência dessas emissões é muito menor do que a de muitos outros processos biológicos e fatores ambientais aos quais os seres vivos estão expostos. Por isso, diga-se de passagem, caso houvesse algum efeito deste tipo ele deveria atuar por mecanismos nada triviais, implausíveis na perspectiva do que sabemos sobre a física dos campos eletromagnéticos e de biofísica, como mostraram pesquisadores como Robert K. Adair [veja também este artigo de Bernard Leikind] citadas ao final do post. Embora essas objeções não tornem impossíveis tais efeitos, eles levantam problemas sérios e os tornam implausíveis, devendo portanto serem sempre levadas em conta ao analisarmos dados ambíguos e não replicáveis. Em resumo, como não existem mecanismos biológicos minimamente bem estabelecidos que justifiquem maiores, preocupações devemos ter muito cuidado e evitar alimentarmos este tipo de preocupação exagerada com este suposto tipo de ligação. Principalmente, porque a imensa maioria dos estudos maiores e mais robustos, apesar das suas limitações, não apoiam a ideia de um risco crescente de tumores e outros tipos de câncer em virtude do uso de aparelhos celulares (o roteadores de wifi) e exposição aos campos eletromagnéticos emitidos por estes aparelhos e pelos sistemas de telefonia celular. Então, embora novos estudos rigorosos sejam sempre bem vindos – especialmente, devido a limitação temporal, de acompanhamento e notificação dos casos dos estudos que dispomos até o momento – não há motivos para histeria e o medo. A divulgação de histórias como esta, sem um mínimo de crítica e contextualização apropriada, não ajuda em nada ao esclarecimento da população.

Voltando ao experimento das alunas Dinamarquesas, como existem várias citações em inglês, a discussão é a parte que dá para compreender melhor. Nela, a única menção a viés, é no contexto das fontes financiadoras e não da metodologia. Além do mais, pelo que dá para entender também não foram medidas as intensidades, distância da fonte e flutuações das emissões dos roteadores. O próprio suposto controle para o efeito do calor não parece adequado, pois, aparentemente, foi feito simplesmente com base na regulação por termostato. Porém, caso isso queira dizer que foi através do termostato da sala, isso é irrelevante pois é o feito da vizinhança imediata que importa.

Então, por uma simples inspeção superficial, fica claro que existem vários problemas no estudo, muitas fontes de viés que podem gerar toda sorte de artefatos, não parecendo ter havido nenhum cuidado mais sério em controlá-los, o que faz sentido em um experimento escolar que tem mais a função de despertar a curiosidade do que responder a questões sérias. Portanto, qualquer conclusão só pode ser obtida após a condução de estudos muito mais controlados, bem delineados e rigorosamente conduzidos, que depois precisariam ser repetidos por grupos independentes. De fato, caso esse fosse um estudo realmente bem delineado e houvesse real interesse de testar a realidade do fenômeno, estabelecendo uma ligação mais direta com a radiação dos roteadores, outros tipos de controles deveriam ter sido empregados. Por exemplo, como os campos eletromagnéticos tendem a enfraquecer com o quadrado da distância, um efeito de dose em relação a distância poderia ser explorado posicionando-se as plantas a diferentes distâncias dos roteadores. Caso encontrassem esse efeito, os resultados seriam bem mais confiáveis, ainda que precisassem ser replicados e outros controles adicionados.

Esses problemas trazidos à tona por uma análise superficial desse tipo já deveriam ser suficientes para inspirar ceticismo na imprensa. Contudo, outras pessoas analisaram mais profundamente o trabalho e com base nessas observações (de quem olhou o estudo com atenção e conhece a língua, no caso o jornalista científico Gunnar Tjomlid), citadas por Pepjin van Erp, o estudo, de cara, já mostra vários outros problemas sérios:

  1. Os grupos tratamento (‘radiação WiFi’) e controle (sem ‘radiação WiFi’) diferiam em mais do que a presença dos roteadores. Nas figuras do relatório dá para ver que os notebooks ficavam também bem pertinho das placas com as plantas. As máquinas podem ter tido um efeito sobre o fluxo de ar e na temperatura nas imediações diretas das placas, o que pode ter afetado a germinação das plantas de um modo independente da presença dos campos eletromagnéticos dos roteadores.

  2. Ao falar com a professora, Tjomlid descobriu que haviam sido feitos dois experimentos. No primeiro deles os roteadores enviavam apenas o SSID e no segundo experimento os laptops permanecerem conectando-se uns com os outros (testando o ‘ping‘) o tempo todo. Porém, este segundo experimento não mostrou a ‘enorme’ diferença na germinação entre os dois grupos. Infelizmente, apenas o primeiro experimento foi apresentado e mencionado no relatório final, em um caso de seletividade, indicativo claro de viés de publicação – ou seja, os autores decidiram não comunicar resultados negativos. Descarte injustificado de dados é prática inaceitável em estudos sérios.

  3. As fotos ilustrando os experimentos são enganosas, já que mostram plantas adultas não irradiadas ‘saudáveis’ nas placas e quase sem nenhuma semente germinada nas placas ‘irradiadas’. Porém, nos gráficos percebe-se que a maioria das medidas quantitativas revelou resultados bem menos dramáticos: O grupo controle apresentou 332 sementes germinadas contra 252 no grupo WiFi.

  4. As meninas pararam o experimento no 13o. dia, mas fizeram isso não porque este era um momento pré-definido, mas porque nesse dia o grupo controle havia atingido a altura máxima. Isso pode gerar outro artefato, já que devido a uma diferença de temperatura, alguns poucos dias a mais poderiam fazer que as plantas no grupo tratamento (WiFI) atingissem o tamanho máximo também. A parada por conveniência é outro indicador de mal delineamento experimental e sugere tendenciosidade para um tipo de resultado.

Como já havia dito, o que realmente faltou, e que também foi comentado por Pipjin e Tjomlid, foi o cegamento na coleta dos dados e avaliação dos resultados. Isso poderia ter sido feito de

Acima um dos gráficos do estudo das alunas Dinamarquesas.

Acima um dos gráficos do estudo das alunas Dinamarquesas.

maneira relativamente simples, com a colocação de roteadores em ambas as salas, mas com apenas os de uma delas ligado constantemente, sem que as alunas soubessem qual e sem que a pessoa, que sabia em qual sala eles estavam ligados, soubesse como estavam as plantas. Caso as medidas fossem feitas sempre com os roteadores desligados em períodos curtos do dia, e os roteadores e o arranjo experimental ficassem normalmente fora do alcance da turma, seria até fácil garantir a condição de cegamento. Seria mais complicado, mas as meninas aprenderiam um dos mais importantes delineamentos experimentais que existe,  o protocolo duplo-cego.

De novo quero enfatizar que as meninas não tem nenhuma culpa, mas a escola tem, além da própria mídia. Os professores que orientaram o trabalho deveriam, desde sempre, ter apontado as limitações do estudo, deixado bem claro a importância de realizar os controles adequados, e, principalmente, explicar que elas deveriam conduzir os experimentos e análises de maneira cega. Teria sido fundamental também que as professoras e professores ajudassem as meninas a fazerem uma revisão da literatura científica minimamente abrangente, calcada não nas expectativas e vieses pessoais dos participantes, mas na qualidade metodológica dos estudos. A escolha muito seletiva e tendenciosa de trabalhos para citar (o que alguns chamam de ‘cherry picking‘) é sempre um problema, contaminando mesmo alguns tipos de estudos acadêmicos, infelizmente. Buscar apenas os trabalhos com resultados que confirmam as expectativas é um exemplo de viés de confirmação e é uma prática que deve ser combatida, especialmente se esses trabalhos sofrem de sérias limitações metodológicas.

Essas observações, em conjunto com o fato das autoras comentarem somente o problema do viés dos estudos patrocinados por grupos de telefonia (deixando de lado o viés dos estudos patrocinados por grupos de ativistas anti-celulares e, principalmente, o problema da qualidade metodológica), aumentam a suspeita de que as conclusões já estavam predeterminadas e os experimentos foram conduzidos de maneira a obter resultados consistentes com elas. O descarte de um conjunto inteiro de experimentos com resultados inconsistentes com a aparente expectativa das alunas só reforça essa interpretação.

É sempre frustrante observar como a mídia é despreparada para lidar com este tipo de situação. Também é muito desencorajador perceber como alguns professores parecem desperdiçar ótimas oportunidades de ensino, o que poderia ser alcançado enfatizando não só o lado positivo da execução de um trabalho experimental, mas também apontando as limitações e a impossibilidade de chegarmos a qualquer conclusão mais robusta a partir de certos tipos de trabalhos.

———————————————–

Referências recomendadas:

  • Adair RK. Vibrational resonances in biological systems at microwave frequencies. Biophys J. 2002 Mar;82(3):1147-52. PubMed PMID: 11867434

  • Adair RK. Effects of very weak magnetic fields on radical pair reformation. Bioelectromagnetics. 1999;20(4):255-63. PubMed PMID: 10230939.

  • Weaver JC, Vaughan TE, Adair RK, Astumian RD. Theoretical limits on the  threshold for the response of long cells to weak extremely low frequency electric  fields due to ionic and molecular flux rectification. Biophys J. 1998  Nov;75(5):2251-4. PubMed PMID: 9788920.

  • Adair RK. A physical analysis of the ion parametric resonance model. Bioelectromagnetics. 1998;19(3):181-91. PubMed PMID: 9554696.

  • Adair RK. Extremely low frequency electromagnetic fields do not interact directly with DNA. Bioelectromagnetics. 1998;19(2):136-8. PubMed PMID: 9492173.

  • Astumian RD, Adair RK, Weaver JC. Stochastic resonance at the single-cell level. Nature. 1997 Aug 14;388(6643):632-3. PubMed PMID: 9262395.

  • Astumian RD, Weaver JC, Adair RK. Rectification and signal averaging of weak electric fields by biological cells. Proc Natl Acad Sci U S A. 1995 Apr 25;92(9):3740-3. PubMed PMID: 7731976.

  • Adair RK. Biological responses to weak 60-Hz electric and magnetic fields mus t vary as the square of the field strength. Proc Natl Acad Sci U S A. 1994 Sep  27;91(20):9422-5. PubMed PMID: 7937782.

  • Adair RK. Constraints of thermal noise on the effects of weak 60-Hz magnetic fields acting on biological magnetite. Proc Natl Acad Sci U S A. 1994 Apr  12;91(8):2925-9. PubMed PMID: 8159681.

  • Adair RK. EMF research. Science. 1992 Dec 18;258(5090):1868-9, 1960.

  • Adair RK. Reply to “Comment on ‘Constraints on biological effects of weak extremely-low-frequency electromagnetic fields’ “. Phys Rev A. 1992 Aug  15;46(4):2185-2187. PubMed PMID: 9908364.

  • Adair RK. Criticism of Lednev’s mechanism for the influence of weak magnetic field on biological systems. Bioelectromagnetics. 1992;13(3):231-5. PubMed PMID: 1590822.

  • Adair RK. Biological effects on the cellular level of electric field pulses. Health Phys. 1991 Sep;61(3):395-9. PubMed PMID: 1669366.

About rodveras

I'm a biologist and science writer who loves philosophy and sciences.
This entry was posted in Ciência, esquisitices, Pseudociências. Bookmark the permalink.

4 Responses to Plantas, wi-fi, projeto de ciência e mau delineamento experimental.

  1. naylor ferreira de oliveira says:

    Olá, sou professor de física e gostaria de fazer um trabalho de iniciação científica com meus alunos sobre esse tema, vc teria algumas sugestões para melhorarmos o experimento?

    • rodveras says:

      Oi, Naylor. Que bom que você está interessado em realizar um experimento deste tipo com seus alunos. Os links e referências do próprio post discutem várias das questões metodológicas; eu mesmo dei algumas dicas nele. Porém, existem algumas coisas que acho mais importantes e que devem vir em primeiro lugar [Lembrando que não sou estatístico e nem especialista em delineamento experimental]:

      1) As condições dos dois grupos (ou seja locais, temperatura, luminosidade, umidade etc) devem ser o mais parecidas possível. O ideal é que fossem idênticas e qualquer medida delas deve ser efetuada nos locais efetivos onde os experimentos estão sendo realizados. Confiar em um termostato da sala ou algo assim, não é bom o suficiente, já que, em experimentos como esses, os efeitos dependem de proximidade. Para tornar o teste mais ‘justo’ ainda, os ‘tratamentos’ (controle = ‘wifi desligado’ e tratamento = ‘wifi ligado’) devem ser alocados de maneira aleatória. Isto quer dizer que caso resolvam realizar o experimento com germinação de plantas, elas devem ter todas a mesma origem, devendo ser divididas em dois grupos, nas mesmas quantidades, arranjo e disposição, etc; mas, principalmente, o grupo que será o controle e o grupo que será o tratamento, após essa preparação inicial, deverão ser estabelecidos ao acaso. Isso faz com que eventuais diferenças iniciais dos grupos ou dois locais não sejam usadas para a escolha de sua alocação, garantindo, em futuras replicações caso utilizem o mesmo protocolo e sistema de alocação, que as chances de sucesso ou fracasso sejam as mesmas e não que algum viés seja escamoteado para dentro dos experimentos, permitindo o teste estatístico das eventuais diferenças.
      2) Os experimentos devem ser conduzidos de maneira ‘cega’. Isto é, os indivíduos que coletam os dados de cada grupo, que deverão tabulá-los e analisá-los não devem saber se os dados são do grupo controle (‘wifi desligada’) ou do grupo tratamento (‘wifi ligada’). Isso normalmente demanda que alguns indivíduos ajustem os dispositivos de wifi e outros coletem os dados e que os membros de cada grupo não troquem informações uns com os outros, até o final do teste. Assim, o grupo que ajustou os dispositivos (ligado ou desligado) não sabe dos dados que estão sendo coletados e o que coleta os dados não sabe se os dados que estão coletando são de um ou de outro grupo. Como implementar e prevenir a quebra de protocolo é algo a ser debatido.
      3) Deve ser escolhida uma medida bem simples de mensuração que deve ser pré-definida, ou seja, escolhida antes que os experimentos comecem, bem como o tipo de teste estatístico que será utilizado, que, por sua vez, deve ser adequado para o tipo de comparação e tamanho amostral usado. Isso é feito para evitar manipulações post hoc, ou seja, forçações de barra após o fato, como ‘data dredging’, ‘data snooping’ etc. Existe uma tendência a confirmar as nossas expectativas e às vezes as pessoas são tentadas a usarem vários testes estatísticos e várias medidas diferentes até encontrarem o que elas esperariam. Em caso de estudos exploratórios preliminares, isso pode ser legitimo. Claro, desde que isso seja expressamente explicitado e que estes dados não sejam usados para tirar conclusões mais definitivas sobre a questão. Porém, em geral, este tipo de atitude deve ser desencorajada.
      4) Deve-se também decidir a duração total do experimento de antemão, de preferência baseando-se no conhecimento de quanto tempo normalmente demoraríamos para obter os resultados em situações normais -por exemplo, quanto tempo demora certo numero de plantas germinar em uma dada condição, ou algo assim. Isso evita a tentação de continuarmos a coletar dados até obtermos os dados que ‘queremos’ ou paremos assim que os obtenhamos. É portanto mais uma forma de controlar para manipulações conscientes ou inconscientes.
      5) Escolher uma fonte de wifi mais simples do que um computador (um sobre a qual vcs tenham bastante controle), dispondo-a de maneira idêntica nos dois grupos (mesma distância, altura etc) e retirando (ou mascarando) todas as pistas que possam identificar se ela está emitindo ou não radiação eletromagnética na frequência de interesse. O ideal é que as duas fontes (controle e tratamento) estivessem ligadas na tomada, piscando luzinhas e esquentando na mesma medida, para evitar que os alunos que coletam os dados adivinhem e (consciente ou inconscientemente) alterem os dados (por adoção de diferentes critérios de arredondamento, mais ou menos atenção nas medidas etc). A única diferença que deveria existir entre os dois grupos deveria ser que uma está emitindo radiação eletromagnética em uma dada frequência e intensidade e o outro não. Isso é outra coisa que seria legal a turma discutir e você, sem dúvida, pode desenvolver muito melhor do que eu.

      Dito tudo isso, é bom deixar claro que este protocolo experimental ainda contem algumas limitações sérias. Para começar, não haveria como quantificar as ‘doses’ de radiação envolvidas, que mesmo com o wifi ligado por tempos definidos deveria variar ao longo do tempo, por vários motivos. Isso por si só torna qualquer conclusão mais robusta problemática. Além disso, como poderíamos controlar para outras fontes de radiação eletromagnética na mesma faixa, como celulares, roteadores na sala vizinha etc? Os locais deveriam ser distantes destas fontes e isolados destas outras influências, mas isso certamente será complicado de implementar. Em uma situação ideal deveríamos ser capazes de escudar as unidades experimentais destas influências, usando algum tipo de gaiola de Faraday ou algo assim, como você sabe melhor do que eu. Na prática imagino que isso vai ficar complicado. Se controlar luminosidade, calor, umidade, etc já vai dar trabalho, imagine controlar para dosagem e outras fontes de radiação eletromagnética na faixa de de ondas de rádio que podem estar nas imediações, especialmente quando não tiver ninguém olhando. A alocação aleatória ajuda a diluir este tipo de problemas ao longo de vários experimentos, mas para experimentos isolados estes fatores sempre poderão estar em jogo, embora possamos esperar que eles sejam mínimos, mas sem mensurá-los, como saber ao certo?

      Talvez vocês pudessem conduzir um experimento piloto prévio. Ele serviria como uma forma de explorar estas possibilidades, pelo menos em relação a diferenças estáveis entre os dois locais escolhidos para os dois grupos. Se os professores de biologia já tiverem um modelo experimental deste estilo que eles conheçam bem, talvez devessem usá-lo. Assim teriam com o que comparar e saberiam bem o que esperar, ajudando a definir melhor as medidas, o tempo de duração do experimento e a controlar fatores intervenientes. Além disso poderiam servir para coletar dados de variabilidade amostras para usarem na avaliação estatística e na definição do tamanho de amostra e o poder do teste a ser usado. Este tipo de experimento poderia também revelar algum fator discrepante entre as duas localidades, não relacionado com o experimento, e que, caso não descoberto, poderia levar a uma conclusão equivocada.

      Chamo atenção para estas coisas porque deve ficar claro que mesmo resultados positivos ou negativos, nestes casos, poderiam ser espúrios, causados por outros fatores outros, que não meras flutuações amostrais ou reais diferenças diretas associadas a radiação emitida pelas fontes de wifi usadas no experimento. Por isso devemos sempre ter cuidado com a interpretação dos resultados, dando ênfase às limitações de cada experimento (tanto em termos do seu delineamento como da sua execução) e chamar a atenção para a necessidade de replicação experimental e refinamento de cada protocolo. Só na medida que os resultados vão se acumulando e que as possíveis falhas, vieses e limitações dos experimentos vão sendo corrigidos e superados é que podemos ter mais confiança nos resultados.
      Creio que apenas discutir essas questões e tentar, junto com a turma, descobrir como resolver estes problemas, e assim criar um protocolo apropriado, já será algo fantástico. Implementá-lo seria a cereja do bolo, mas pode dar bastante trabalho. Pelo menos se quiser que as coisas sejam feitas de maneira rigorosa e que os resultados sejam realmente confiáveis. Mas mesmo se as coisas derem errado e saírem do controle, acredito que muito possa ser aprendido, examinando-se os problemas que foram surgindo e as dificuldades de implementação. Exercitar esta postura crítica é essencial. Foi isso que me deixou mais frustrado com o experimento feito pelas crianças e que me fez blogar sobre o assunto. Os erros e problemas dos experimentos e as interpretações são o de menos. A percepção por parte delas que o que elas fizeram produziu conclusões confiáveis é que foi o maior problema para mim. Problema que foi amplificado pela divulgação nada crítica dos resultados, por parte da imprensa.

      Bom, desejo toda sorte na sua empreitada e adoraria saber dos resultados.

      Grande abraço,

      Rodrigo

      • naylor ferreira de oliveira says:

        Olá, não recebi uma notificação de sua resposta e só agora, procurando aleatoriamente, pude ver. Estamos construindo duas estufas para melhor controle dos parâmetros citados por você. Mesmo sem ver sua resposta seguimos as sugestões presentes no post. Pretendemos publicar nosso estudo no snef, independentemente do resultado, pois o foco será no ensino/aprendizagem e não nos efeitos da radiação propriamente dito. Gostaria de um contato seu para te manter informado e trocarmos mais ideias.

      • rodveras says:

        Fico contente que você e seus alunos tenham decidido ir em frente.

        Grande abraço,

        Rodrigo

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s