Os dados são governados cada vez mais para governar a ciência. Avaliações de pesquisas já realizadas sob medida e pelos pares estão agora dependentes de rotina e métricas confiáveis. O problema é que a avaliação agora é liderada pelos dados ao invés de julgamento. Métricas têm proliferado: geralmente bem intencionadas, nem sempre bem informadas, frequentemente mal aplicadas. Corremos o risco de danificar o sistema com as ferramentas desenhadas para melhorá-lo, já que a avaliação é cada vez mais executada por organizações sem conhecimento ou conselhos sobre boas práticas e interpretação.
***
O primeiro parágrafo do texto “Bibliometrics: The Leiden Manifesto for research metrics” traz 10 princípios para guiar a avaliação da pesquisa científica. São eles:
1. A avaliação quantitativa deve apoiar a avaliação qualitativa de peritos
2. Medir o desempenho contra as missões da instituição, grupo ou pesquisador
3. Proteja a excelência na pesquisa localmente relevante
4. Mantenha a coleta de dados e os processo analíticos abertos, transparentes e simples
5. Permita que os avaliados verifiquem e analisem os dados
6. Descreva a variação pelo campo de publicação e as práticas de citação
7. Fundamente a avaliação de pesquisadores individuais em um julgamento qualitativo de seu portfólio
8. Evite concretude descabida e falsa precisão
9. Reconheça os efeitos sistêmicos da avaliação e dos indicadores
10. Examine os indicadores regularmente e atualize-os