As recentes propostas apresentadas pelo MCES para um novo modelo de financiamento das unidades de investigação têm originado uma necessária discussão, mas desde já limitada abruptamente pelo curtíssimo período de consulta anunciado.

São várias as questões em causa, mas detenho-me aqui apenas na importância dada às publicações nas revistas científicas indexadas nas bases de dados do ISI, de um modo totalmente dogmático. Comentários recentes nas páginas do Público alertam para a artificialidade do critério de 100 artigos definido para uma das medidas. Mas convém alertar também para o facto de que as implicações da utilização desta base de dados vão para além desta medida específica. Elas afectam directamente o financiamento de base das instituições ou a elegibilidade dos doutorados, sem mostrar qualquer adaptação ao contexto português.

O desconhecimento existente em Portugal sobre estes indicadores bibliométricos é elevado, e a sua utilização tem sido até aqui reduzida, nomeadamente pelas próprias estruturas do Ministério, como aliás esta proposta revela.

Enquanto indicadores directamente relacionados com uma das principais actividades dos investigadores, a publicação científica, estes são no entanto um importante instrumento de conhecimento das comunidades científicas que deveriam ser explorados, mas não unicamente com o factor de contabilizar mas sim de conhecer. Permitem analisar tendências temporais de publicação, impacto dos diferentes trabalhos, padrões de colaboração, cartografar domínios de investigação, entre outros parâmetros.

Mas a sua sensibilidade às metodologias utilizadas e à existência de informação errada fazem com que a sua utilização enquanto instrumento de avaliação não seja aconselhada a não ser em contextos muito específicos. Com a ressalva de algumas regras de ouro. Nomeadamente, serem utilizados a um nível de agregação superior ao do cientista individual, de modo a diminuir o impacto de algumas das suas limitações. Serem utilizados apenas no contexto de domínios científicos ou áreas de investigação próprios, e não em comparações entre estes. Serem utilizados como indicadores complementares a outros indicadores, sendo tratados de modo qualitativo por quem devidamente habilitado. Estas três pequenas regras são todas elas quebradas no âmbito do modelo presentemente proposto.

Dirão que o que está em causa, em termos de uma maior exigência de qualidade e impacto da investigação nacional, não se compadece com estes detalhes. Mas é também o respeito pelo trabalho desenvolvido pelos investigadores nacionais, e pelo trabalho dos painéis de avaliação (cujo papel é desconsiderado nesta proposta, podendo as suas avaliações não ter praticamente nada a ver com os financiamentos finais atribuídos), que exige um mesmo nível de qualidade nos padrões que lhes são impostos.

No início dos anos 80 a utilização destes indicadores na avaliação de grandes instalações na área da astronomia e da física das partículas (avaliações distintas, convém dizer, em áreas onde especificamente se considerou justificar a sua utilização) por John Irvine e Ben Martin foi muito contestada. O caso ficou célebre. A metodologia, de ‘indicadores parciais convergentes’ também. Juntava múltiplas fontes, incluindo informação dos peritos daqueles domínios científicos, e um trabalho de extremo cuidado. Mas os resultados foram aceites porque os diversos indicadores, cujas limitações foram devidamente enunciadas e exploradas, levavam às mesmas conclusões. Acima de tudo foram exercícios de auto-conhecimento das instituições que os encomendavam.

Mas a aparente simplicidade destes indicadores é demasiado tentadora para gestores de ciência na crescente ânsia por contabilizar resultados. A sua utilização de modo acrítico na presente proposta, enquanto factores de cálculo, de exclusão, ou de selecção, sem qualquer consideração específica nomeadamente do contexto nacional ou das áreas científicas, mostra precisamente o risco que decorre das suas eventuais utilizações.

Não cabendo aqui ilustrar de forma aprofundada as principais limitações daí decorrentes, refiro apenas alguns aspectos: a variação entre áreas científicas em padrões e ritmos de publicação, em particular no que se refere às ciências sociais e humanas, mas não só; a existência de revistas de maior qualidade não-indexadas face a outras que o são; em domínios científicos emergentes a menor qualidade da cobertura, devido à sua novidade; a preferência por revistas de língua inglesa, em particular dos EUA (a título de exemplo há muito que não está indexada nenhuma revista portuguesa, estando a língua portuguesa representada através de revistas brasileiras), o que é de particular importância nas ciências sociais e humanidades, onde a relevância local dos objectos de investigação torna importante a sua disseminação também a nível local, mas é também relevante no que se refere por exemplo ao trabalho científico oriundo do Japão, ou à cooperação Norte-Sul e transferência de saberes que lhe está associada; o peso de determinadas agendas de investigação, mainstream, e nem sempre o de agendas inovadoras ou de maior relevância nacional.

A utilização destes dados para o desenvolvimento de estudos cuidados e aprofundados sobre as dinâmicas da comunidade científica será útil, mas não a sua utilização com estes objectivos, de forma acrítica. Não só é uma medida cega, como é também uma forma de cercear a capacidade da comunidade científica de encontrar novos rumos. Por estas e outras razões, a estes dados deveria estar aposto "UTILIZAR COM CUIDADO".