Existem muitos critérios para mensurar sucesso, mas a falta de consenso sobre como sucesso pode ser avaliado e medido, entretanto, significa que frequentemente pesquisadores se encontram em meio a informação conflitante ou confusa, levando-os a diferentes direções na decisão de quais canais de comunicação científica devem adotar.
Como pesquisadores publicam e porquê
Pesquisadores publicam resultados de pesquisa de várias maneiras: através de publicação formal em livros e em periódicos científicos, através de conferências e seus anais e, mais recentemente, incluindo ferramentas baseadas na Web. A escolha do tipo de publicação é determinada por vários motivos além do simples desejo de reportar suas descobertas. Estas motivações incluem o desejo não apenas de maximizar a disseminação, mas também registrar a autoria do trabalho e ganhar a admiração dos pares e as recompensas decorrentes deste fato. Na decisão de quando, onde e como comunicar seu
trabalho, pesquisadores podem ter que decidir entre a disseminação rápida ou uma publicação mais demorada em um periódico de prestígio. Requerimentos de agências de fomento, determinações institucionais, pressão por parte de co-autores ou colaboradores são menos influentes. Tais escolhas são complexas, pois os pesquisadores sabem que publicações servem não apenas como meio de comunicação. Eles podem ser monitorados ou medidos como indicadores de qualidade ou impacto. Mas a percepção de que seu trabalho está sendo monitorado e avaliado, em particular pelo RAE (Exercício de Avaliação em Pesquisa, Research Assessment Exercise¹), tem considerável influência sobre como o pesquisador publica seus resultados.
Ranking de artigos
Artigos em periódicos acadêmicos são facilmente ranqueados usando uma série de métricas sofisticadas disponíveis.
As únicas exceções para a dominância do artigo em periódico são as monografias e volumes editados na área de Humanas e produções baseadas em práticas nas Artes. Ainda na área de Humanas, artigos de periódicos são o tipo de publicação mais frequente. Apesar de livros continuarem a ser bem valorizados, incluindo em submissões ao RAE, existem crescentes preocupações sobre o declínio dos livros atribuído a diminuição das verbas de bibliotecas, relutância dos publishers e alguma pressão por parte do RAE.
Agências de fomento e responsáveis pela definição de políticas devem esclarecer suas políticas com relação a publicações. Em particular, se pretendem encorajar pesquisadores a publicar e disseminar seus resultados de outras formas que não a publicação em periódicos de prestígio, devem salientar como estes veículos serão avaliados na análise da produção científica.
Diversidade de disciplinas
As motivações que levam pesquisadores a publicar em diferentes formatos – particularmente em periódicos científicos – diferem significativamente de acordo com as disciplinas. Pesquisadores na área de ciências estão mais propensos a encarar publicações em periódico científico como um meio “natural” de comunicação com a desejada audiência, enquanto que seus colegas em Engenharia, Ciências Humanas e Ciências Sociais encaram este fato principalmente como requerimento externo para avaliação da pesquisa e avanço da carreira.
Em ciências da computação, por exemplo, a velocidade da mudança implica que conferências são particularmente importantes e estas adquirem maior prestígio do que artigos em periódicos. Velocidade de desenvolvimento pode também ser um fator na adoção de acesso aberto. Repositórios tiveram menos sucesso em humanidades e ciências sociais do que em Ciências e Engenharia.
Pesquisadores em áreas como estudos sobre câncer, enfermagem, psicologia, educação e política enfatizam a importância da comunicação e engajamento com praticantes e responsáveis pela definição de políticas. Tensões entre a efetiva disseminação e o prestígio ligados a publicação em periódicos de alto impacto parecem menos críticos em física e ciências da vida.
Colaboração e coautoria
A persuasão de financiadores por mais colaboração institucional, nacional e interdisciplinar é refletida pelo número crescente de publicações com múltiplos autores. Múltipla autoria é a norma em ciências e engenharia, mas é menos comum em humanidades. O aumento da multiautoria tem sido acompanhado por dificuldades sobre temas incluindo responsabilidade pela condução e validade da pesquisa, a inclusão e exclusão de autores, a ordem na inclusão dos autores na publicação e algumas queixas sobre abuso de autoridade de pesquisadores seniors em ter seu nome incluído nos trabalhos de seus subordinados.
Há diferenças importantes na prática de atribuir e listar autores. Listar por ordem de contribuição é prática comum exceto em humanidades, onde a ordem alfabética é a norma; em ciências da vida, o pesquisador mais importante geralmente é listado por último.
É importante que todos os envolvidos em avaliar pesquisa – seja através de índices bibliométricos ou através de revisão por pares – estejam bem informados a respeito das diferentes convenções e de seu significado. Financiadores, sociedades científicas e publishers devem considerar a redação de guias de boas práticas neste sentido.
O que pesquisadores citam e porquê
Referenciar o trabalho de outros é parte integral do processo de comunicar resultados de pesquisa. Pesquisadores citam trabalhos prévios para estabelecer seu conhecimento do contexto e prover evidencias para embasar sua hipótese. Entretanto, a crescente ênfase a dados de citação como forma de avaliar pesquisa científica torna ainda mais importante a compreensão de como os pesquisadores decidem o que citar.
Citações são claramente influenciadas por normas de acordo com as disciplinas. Pesquisadores de ciências sociais e humanidades citam mais fontes em média, principalmente porque escrevem mais e citam fontes primárias bem como trabalhos de seus pares. Também citam relatórios, sites da Internet e trabalhos que estão em desacordo com o seu. Cientistas estão mais concentrados em artigos de periódicos. Poucos pesquisadores receberam treinamento além daquele de seu orientador, durante o doutorado; a prática de citação é aprendida com o uso ao longo do tempo.
O acesso a referências online aumentou a velocidade do processo de localização, leitura e decisão do que citar. Um terço dos pesquisadores em ciências da vida – até um maior percentual dos mais jovens – afirma que fácil acesso exerce uma maior influência na escolha do que citar. Jovens pesquisadores estão mais propensos a serem influenciados pela autoridade ou familiaridade com um autor, pelo prestígio de um periódico ou pela facilidade de acesso a uma referência. Outra influência crescente é o limite que alguns periódicos de alto prestígio impõem ao número de referências a ser incluídas no artigo. Se tais limitações continuam a aumentar, um dos efeitos poderá ser a diminuição da utilidade de dados de citação para finalidades bibliométricas e de avaliação, mesmo se estas práticas parecem bastante sólidas no momento.
Avaliação da pesquisa e sua influência
A influencia do Exercício de Avaliação de Pesquisa (RAE) no comportamento de pesquisadores deve ser analisada no contexto amplo de suas expectativas sobre como vêem a avaliação por parte de agências de fomento e instituições e seu impacto. O RAE constitui uma grande preocupação para os pesquisadores, mais do que outra forma de avaliação. Existem diferenças significativas, entretanto, entre o que pesquisadores publicam e consideram importantes e o que é submetido ao RAE.
As percepções e compreensão dos requerimentos do RAE são mediadas via universidades, que desenvolvem suas próprias estratégias para maximizar a performance na análise pelo RAE. Uma visão geral é que RAE é um jogo que os pesquisadores devem jogar, o que pode restringir a autonomia intelectual. Cerca de um quarto dos pesquisadores acredita que importantes resultados não foram submetidos ao último RAE e muitos mais estão preocupados com as pressões sentidas para publicar em periódicos de alto prestígio.
Pesquisadores também estão preocupados com as relações entre os prazos para a pesquisa e para o RAE. Muitos acreditam que o período para os resultados de pesquisa ser reconhecidos são maiores do que a duração do ciclo normal do RAE: fala-se em períodos de 10 ou mais anos. A proposta de que o impacto da pesquisa além da comunidade acadêmica deve ser um atributo no RAE pode ajudar a esclarecer as mensagens mistas que pesquisadores acham que estão recebendo sobre os objetivos que devem perseguir e as relativas prioridades eles devem dar a critérios para sucesso tais como qualidade acadêmica, velocidade de disseminação, engajamento com audiências não acadêmicas e impacto socioeconômico ampliado. Mas os prazos para pesquisa, reconhecimento e impacto diferem muito entre disciplinas e tipos de pesquisa. Prazos de pesquisa devem ser cuidadosamente considerados em todo tipo de avaliação de performance.
O presente estudo foi conduzido sob um clima de amplo debate quanto ao formato da Estrutura de Excelência em Pesquisa (Research Excellence Framework, REF
) e o papel que a bibliometria possa ter. Tem havido espaço considerável para especulação e equívoco. Muitos pesquisadores afirmam que qualquer movimento em favor de dar maior peso a análise de citação afetará seu comportamento: eles pretendem publicar mais, submeter seu trabalho mais frequentemente a periódicos alto impacto e tornarão suas publicações acesso aberto. Também afetará sua maneira de citar. Muitos estão preocupados com os diferentes padrões de citação dentro e através de disciplinas. Apenas uma pequena minoria afirmou que citará o trabalho de seus rivais menos frequentemente, enquanto que 40% dos pesquisadores afirmaram que citará o trabalho de seus colaboradores mais vezes. Possíveis mudanças na forma de citação devem ser cuidadosamente monitoradas na medida em que o REF se desenvolve.Texto elaborado com base no relatório Communicating Knowledge
, 2009___
(1) O exercício de Avaliação em pesquisa (The Research Assessment Exercise, RAE) é realizado em conjunto pelo Conselho de Fomento para Educação Superior da Inglaterra, (Higher Education Funding Council for England, HEFCE
), o Conselho de Fomento Escocês (Scottish Funding Council, SFC), o Conselho de Fomento para Educação Superior de Gales (Higher Education Funding Council for Wales, HEFCW) e o Departamento para Emprego e Aprendizado do Norte da Irlanda (Department for Employment and Learning, Northern Ireland, DEL).O objetivo primário do RAE 2008 é produzir perfis de qualidade para cada submissão de atividade de pesquisa realizada por instituições. Os quatro fundos de fomento de educação superior pretendem usar os perfis de qualidade para determinar suas doações para pesquisa para as instituições que financiam para o biênio 2009-2010. Qualquer instituição de educação superior no Reino Unido que é elegível para receber fomento destas entidades é elegível para participar.
