"Reformar a avaliação acadêmica é um grande desafio na América Latina"
Transcrição da coluna de Karina Batthyány
Em InfoCLACSO – 20 de setembro de 2023
Os princípios e valores da ciência aberta buscam desenvolver práticas alternativas que aprimorem os processos de pesquisa, tanto individuais quanto colaborativos. Visam também melhorar a disseminação dos resultados da pesquisa e sua reprodutibilidade, a fim de acelerar a produção e o uso de novos conhecimentos pela sociedade. Em outras palavras, buscam garantir que esse conhecimento, resultante da pesquisa, possa ser rapidamente adotado pela sociedade.
Chegamos a um ponto em que existem recomendações, diretrizes e regulamentações em vários níveis para promover e implementar práticas de ciência aberta. Portanto, diferentes caminhos estão surgindo para a colaboração científica, que se baseia em princípios como a abertura ao crescente potencial de envolvimento de diversos cidadãos na produção e disseminação do conhecimento. Isso, por sua vez, representa desafios significativos para os sistemas de avaliação.
Em última análise, estamos falando de ciência aberta, da ideia de conhecimento como um bem público e de como esses dois elementos se articulam dentro dos sistemas de avaliação científica. Uma das principais críticas às práticas de avaliação dominantes aponta para o uso incorreto e generalizado de indicadores quantitativos baseados principalmente nos fatores de impacto de periódicos científicos e nos principais circuitos de publicação (que muitas vezes estão intimamente ligados a interesses comerciais).
É assim que o desempenho acadêmico e científico é avaliado. Para nós, que nos dedicamos à pesquisa, pouco importa o quanto tenhamos realizado em diferentes áreas se não atendermos a esses requisitos quantitativos para publicação e indexação nesses periódicos.
De fato, uma prática cada vez mais disseminada está ocorrendo e queremos mudá-la. Precisamos nos afastar desses rankings padronizados produzidos por fornecedores, principalmente comerciais, e da análise de dados. Além disso, existe uma forte correlação entre a publicação em periódicos de alto impacto e a ascensão nos rankings de universidades e centros de produção de conhecimento.
É necessária uma avaliação quantitativa para avaliar o conhecimento, mas esta deve também apoiar a avaliação qualitativa. Ou seja, a avaliação do conhecimento, das pessoas e dos sistemas que o produzem deve ser qualitativa, conduzida por especialistas e em conformidade com diferentes parâmetros e missões institucionais.
Não faz sentido avaliar uma pessoa com base em sua carreira científica, acadêmica e de pesquisa sem relacioná-la ou alinhá-la ao contexto de produção de conhecimento, tanto ao contexto nacional quanto à missão institucional do local onde essa pessoa exerce suas atividades.
Na CLACSO, queremos debater esses temas no seminário “Presente e Futuro da Avaliação Acadêmica e da Ciência Aberta: Debates e Perspectivas do Peru”. Desde 2019, temos promovido a transformação dos sistemas de avaliação acadêmica vigentes em nossa região, alinhando-os aos princípios e valores do acesso aberto e da ciência aberta, que vêm sendo fortemente promovidos regionalmente. Naquele ano, criamos o Fórum Latino-Americano de Avaliação Científica (FOLEC), uma decisão da Diretoria Executiva da CLACSO, que rapidamente se disseminou por toda a região, reunindo cada vez mais organizações e agências nacionais de ciência e tecnologia que agora o compõem e debatem esses temas em conjunto.
Já realizamos três seminários internacionais: o primeiro em 2019, na Cidade do México, organizado em conjunto pela CLACSO e pelo Conselho Nacional de Ciências Humanas, Tecnológicas e Tecnológicas (CONACYT) do México, onde a FOLEC foi criada. O segundo, em 2021, em Buenos Aires, em paralelo com o Fórum Latino-Americano e Caribenho de Ciência Aberta (CILAC). E o terceiro, em nossa Nona Conferência da CLACSO, em 2022, novamente no México. Esses três seminários facilitaram a mobilização e a obtenção de consenso entre diversos atores e organizações internacionais, regionais e governamentais, representando o principal debate sobre o tema em nossa região atualmente.
A FOLEC também produziu uma série de documentos, mas seu foco principal é propor alternativas a esses indicadores de avaliação dominantes. Gostaria de destacar uma dessas propostas: a Declaração de Princípios para uma Nova Avaliação Acadêmica e Científica da Ciência Socialmente Relevante na América Latina e no Caribe.
A Declaração foi aprovada pela Assembleia Geral Ordinária da CLACSO no México em 2022. Ela estabelece 14 princípios, propõe uma avaliação evolutiva, participativa e transparente, que efetivamente garante uma ciência com relevância social, na qual a ciência aberta, a avaliação qualitativa e princípios que valorizam o trabalho em equipe e a participação ativa da comunidade acadêmica na definição dos processos e indicadores são prezados.
Reformar a avaliação acadêmica é um desafio significativo. Precisamos tomar medidas decisivas rumo a essa transformação, impulsionadas pela nossa região da América Latina e do Caribe. Na CLACSO, já estamos participando dessa discussão, trocando ideias com o Sul Global sobre essas propostas.
E, finalmente, o trabalho diário da CLACSO em seus diferentes temas está, de fato, no centro do nosso trabalho, porque é com esse tipo de produção de conhecimento e avaliação acadêmica que podemos garantir a produção de conhecimento com relevância social, articulado com organizações e movimentos sociais e com impacto no campo das políticas públicas.
– Por que a avaliação acadêmica se torna mais complexa devido à falta de impacto social da pesquisa?
– Por dois motivos: primeiro, porque publicar nesses periódicos de alto impacto exige necessariamente passar pelo circuito comercial da publicação científica. Em outras palavras, se você observar esses periódicos de alto impacto, a maioria deles não é de acesso aberto, pois cobra pela leitura ou publicação.
A segunda questão reside na definição dos temas. Para que o conhecimento tenha relevância social, os temas não podem ser definidos por acordos internacionais ou pelo que aparenta ser a corrente dominante na produção de conhecimento. Além disso, a possibilidade de definir agendas de pesquisa em conjunto com organizações e movimentos sociais muitas vezes não é considerada um indicador positivo da geração de conhecimento e do impacto dessa pesquisa.
– Pode haver um cientista social trabalhando em um tema de enorme impacto na comunidade onde realiza sua pesquisa, mas ele precisa de dinheiro para apresentar e publicar seu trabalho em um periódico científico; e, quando publicado nesse periódico, é preciso pagar uma assinatura para ler o conteúdo. Portanto, existe uma questão complexa de relevância social…
Se alguém trabalha em um tema relevante para o contexto nacional ou para uma comunidade local específica, é improvável que esses temas sejam incluídos nas prioridades de pesquisa e publicação desses circuitos de publicação científica. Assim, a pesquisa pode ter um impacto significativo local ou mesmo nacionalmente, mas, quando chegar a hora de ser avaliada por uma universidade ou outra organização de renome, receberá uma classificação muito baixa porque não atendeu a certos requisitos de publicação em determinados periódicos.
Gostaríamos de enfatizar que a natureza singular das nossas ciências também exige indicadores adaptados aos temas abordados nas ciências sociais e humanas. Em última análise, essa é a discussão que temos promovido desde 2019 e que será retomada em Lima, no Peru, durante o nosso seminário. Iremos revisitar e chegar a um consenso sobre o propósito da avaliação e seus instrumentos. Além disso, devemos compreender que não estamos falando apenas de procedimentos técnicos, mas também de decisões que se enquadram no âmbito da ciência e das políticas acadêmicas.
– Como você vê os Estados Unidos no que diz respeito à ciência aberta e ao (re)pensamento da avaliação acadêmica?
– Fizemos progressos enormes, porque é um tema que agora está na agenda. Nesse sentido, a FOLEC contribuiu muito para dar visibilidade a essa discussão, considerando que a nossa América é muito heterogênea, diversa e difícil de padronizar.
Por exemplo, a publicação de livros, que por vezes havia perdido seu valor absoluto devido à tirania das revistas científicas, foi revalorizada. Nesse sentido, hoje começamos a observar a revalorização dos livros como mecanismos de disseminação do conhecimento, de apropriação desse conhecimento científico pelas sociedades.
Acredito que estamos testemunhando um grande avanço. Frequentemente me encontro do outro lado da mesa, trabalhando como avaliador em sistemas nacionais, tanto no Uruguai quanto em outros países, e devo dizer que essa transformação é notável. Na CLACSO, temos enfatizado repetidamente a importância dos livros, e hoje estamos no caminho de sua (re)valorização. Não podemos nos esquecer dos interesses comerciais e da indústria por trás das publicações científicas.
Caso deseje receber mais informações sobre os programas de treinamento da CLACSO:
[widget id=”custom_html-57″]
para nossas listas de e-mail.
