Segundo o Editorial (external link), a importância da avaliação em ciência motivou uma assembleia internacional organizada pela Fundação Alexander von Humboldt (external link) sediada na Alemanha, que concede bolsas de estudo a pesquisadores e acadêmicos do mundo todo para desenvolver seus projetos em instituições alemãs, além de prêmios e oportunidades para professores visitantes. O seminário Beyond Bibliometrics: Identifying the Best (external link) discutiu as métricas existentes atualmente para aferir qualidade e produtividade científica, seus usos e limitações.

Atualmente, a avaliação da pesquisa é largamente baseada em contabilizar publicações e citações, levando em conta o Fator de Impacto (FI) dos periódicos onde se publica, além de seus derivativos, como o índice-h. É sabido que estas métricas têm sido duramente criticadas por várias razões, especialmente quando se refere a jovens pesquisadores em início de carreira, com poucas publicações em sua trajetória. O uso do FI nestes casos, e também para pesquisadores em qualquer estágio de suas carreiras, é altamente desaconselhável, por incluir inúmeros vieses e não permitir a comparação entre diferentes disciplinas.

A Declaração de São Francisco sobre Avaliação da Pesquisa (DORA (external link)) de Dezembro de 2012, uma iniciativa dos cientistas da American Society for Cell Biology (external link), tem por objetivo limitar a utilização do FI para avaliação de pesquisa científica. A Declaração, que vem recebendo amplo apoio, recomenda que o FI não deva ser utilizado em avaliações relativas a financiamento, promoções na carreira e contratações de acadêmicos. O documento foi assinado por mais de 150 proeminentes cientistas e 75 organizações acadêmicas, entre elas a American Association for the Advancement of Science (external link).

Métricas baseadas em mídias sociais, como Altmetric, contam downloads, visualizações de páginas Web, compartilhamentos, tweets e posts em blogs e redes sociais, podendo representar uma possível solução. Entretanto, McNutt as considera de pouca utilidade, com base em um estudo conduzido pelo publisher da Science e de outros periódicos de renome.

A autora, entretanto, faz uma proposta inovadora, considerando que tem havido muita ênfase em medidas bibliométricas, que distorcem o processo ou não permitem distinguir entre candidatos qualificados. Ao invés, jovens cientistas poderiam ser avaliados quanto à sua disponibilidade de assumir riscos, habilidade em trabalhar em conjunto com equipes diversificadas, resolver problemas complexos de forma criativa e seu comportamento ético tanto na experimentação quanto na publicação dos resultados. Além disso, diz o editorial, seria interessante conduzir um estudo retrospectivo com a projeção das carreiras dos jovens pesquisadores após um processo seletivo de emprego, concurso ou concessão de prêmios e distinções, para aferir se as escolhas foram acertadas.

A autora conclui, afirmando que “é tempo de remediar o falho sistema de avaliação de jovens pesquisadores. Afinal, está em jogo uma empreitada de um trilhão de dólares.”

Links de interesse

McNutt M. The measure of research merit. Science 2014; 346(6214):1155. DOI: 10.1126/science.aaa3796. Available from: http://www.sciencemag.org/content/346/6214/1155.summary (external link)

San Francisco Declaration on Research Assessment (external link)(DORA)

Altmetric (external link)

Resultados do Seminário (external link) “Beyond Bibliometrics: Identifying the Best”