Segundo o Editorial, a importância da avaliação em ciência motivou uma assembleia internacional organizada pela Fundação Alexander von Humboldt sediada na Alemanha, que concede bolsas de estudo a pesquisadores e acadêmicos do mundo todo para desenvolver seus projetos em instituições alemãs, além de prêmios e oportunidades para professores visitantes. O seminário Beyond Bibliometrics: Identifying the Best discutiu as métricas existentes atualmente para aferir qualidade e produtividade científica, seus usos e limitações.
Atualmente, a avaliação da pesquisa é largamente baseada em contabilizar publicações e citações, levando em conta o Fator de Impacto (FI) dos periódicos onde se publica, além de seus derivativos, como o índice-h. É sabido que estas métricas têm sido duramente criticadas por várias razões, especialmente quando se refere a jovens pesquisadores em início de carreira, com poucas publicações em sua trajetória. O uso do FI nestes casos, e também para pesquisadores em qualquer estágio de suas carreiras, é altamente desaconselhável, por incluir inúmeros vieses e não permitir a comparação entre diferentes disciplinas.
A Declaração de São Francisco sobre Avaliação da Pesquisa (DORA) de Dezembro de 2012, uma iniciativa dos cientistas da American Society for Cell Biology, tem por objetivo limitar a utilização do FI para avaliação de pesquisa científica. A Declaração, que vem recebendo amplo apoio, recomenda que o FI não deva ser utilizado em avaliações relativas a financiamento, promoções na carreira e contratações de acadêmicos. O documento foi assinado por mais de 150 proeminentes cientistas e 75 organizações acadêmicas, entre elas a American Association for the Advancement of Science.
Métricas baseadas em mídias sociais, como Altmetric, contam downloads, visualizações de páginas Web, compartilhamentos, tweets e posts em blogs e redes sociais, podendo representar uma possível solução. Entretanto, McNutt as considera de pouca utilidade, com base em um estudo conduzido pelo publisher da Science e de outros periódicos de renome.
A autora, entretanto, faz uma proposta inovadora, considerando que tem havido muita ênfase em medidas bibliométricas, que distorcem o processo ou não permitem distinguir entre candidatos qualificados. Ao invés, jovens cientistas poderiam ser avaliados quanto à sua disponibilidade de assumir riscos, habilidade em trabalhar em conjunto com equipes diversificadas, resolver problemas complexos de forma criativa e seu comportamento ético tanto na experimentação quanto na publicação dos resultados. Além disso, diz o editorial, seria interessante conduzir um estudo retrospectivo com a projeção das carreiras dos jovens pesquisadores após um processo seletivo de emprego, concurso ou concessão de prêmios e distinções, para aferir se as escolhas foram acertadas.
A autora conclui, afirmando que “é tempo de remediar o falho sistema de avaliação de jovens pesquisadores. Afinal, está em jogo uma empreitada de um trilhão de dólares.”
Links de interesse
McNutt M. The measure of research merit. Science 2014; 346(6214):1155. DOI: 10.1126/science.aaa3796. Available from: http://www.sciencemag.org/content/346/6214/1155.summary
San Francisco Declaration on Research Assessment(DORA)
Altmetric
Resultados do Seminário “Beyond Bibliometrics: Identifying the Best”