Pesquisa analisou importância dos rankings globais na academia contemporânea
Leila Kiyomura, do Jornal da USP
“Enquanto o ensino superior torna-se cada vez mais universalizado e um fator determinante em desenvolvimento tanto humano quanto tecnológico, a necessidade de avaliar e comparar capacidades tornou-se um aspecto-chave da academia no século 21. O debate público sobre as universidades cristalizou-se no tema dos rankings.”
O estudante pesquisou o contexto dos três maiores rankings globais: o Times Higher Education (THE), publicado pelo jornal inglês com o mesmo nome, o Quacquarelli Symonds — que atuavam juntos, porém agora apresentam os resultados separadamente — e o Shangai Jiao Tong, que, segundo Axel-Berg, é o fruto inesperado de um programa de reforma do governo chinês, destacando-se como o primeiro ranking global, fundado em 2003. “Essas empresas geram lucros a partir da sua publicação. Todo ranking é formado a partir de uma ideologia e representa algum interesse”, afirma.
O pesquisador questiona a eficiência das avaliações dos rankings. “Primeiro, há problemas conceituais. Rankings sempre reduzem a universidade dinâmica e multifacetada em uma única dimensão, perdendo vários aspectos-chave, como inclusão social e extensão à comunidade”, observa. “Depois, é impossível construir uma métrica que avalie todas as disciplinas de forma justa. Por exemplo, como é possível avaliar os cursos de Engenharia e Filosofia com os mesmos parâmetros? Esse efeito redutivo, combinado com os efeitos externos e públicos dos rankings, significa que, hoje, exerce um papel de disciplinador na anarquia criativa do mundo científico. Prioriza sempre um modelo só de instituição e favorece certas disciplinas sobre as outras.”
Mutação
Segundo o pesquisador, os rankings são medidas de avaliação em mutação permanente. “Por isso, seus resultados devem ser interpretados levando em conta as mudanças nos critérios de avaliação e seu impacto na classificação das universidades. No caso da USP, a instituição caiu drasticamente no Times Higher Education em 2015, mas, no Quacquarelli Symonds, que está no mesmo patamar do THE, não houve queda e sua 143ª posição é muito mais alta do que naquele outro ranking”, compara. “Já no Shangai Jiao Tong, desde 2004 a USP permanece no grupo das 101-150 melhores universidades e, no ranking da National Taiwan University, encontra-se na 58ª posição.”
Esses rankings apresentam resultados diversos porque cada um deles, segundo Axel-Berg, requer atenção específica na maneira como os dados são apresentados para garantir os melhores resultados. “Quando a mesma universidade sobe em alguns rankings e desce em outros, isso significa que estão sendo adotadas metodologias distintas ou os processos de coleta de dados não são os mais adequados à tarefa.”
Para o professor Jacques Marcovitch, embora tenha caído no Times Higher Education em 2015, “a USP melhorou o seu desempenho na mesma aferição no que se refere às métricas de ensino e pesquisa”. Ele explica: “De fato, essas métricas se comparam favoravelmente com a maioria das primeiras cem instituições colocadas no ranking e melhor do que a maioria do grupo localizado entre as 100-200. É difícil a interpretação desses dados, uma vez que são compostos de cinco métricas para o ensino e três métricas para a pesquisa. A grande maioria dessas métricas decorre da reputação da instituição, refletindo, assim, o prestígio conquistado junto a instituições congêneres de ensino superior, e da excelência do seu ensino, especialmente em pós-graduação.”
O professor lembra que o volume de recursos obtidos na Fapesp e a alta produtividade em pesquisa também estão fortalecendo o reconhecimento do desempenho da Universidade. “De acordo com a pesquisa do pós-graduando Justin Axel-Berg, a queda havida nas citações em periódicos científicos pode ter sido uma das causas, tendo em vista o grande esforço para mudar de um modelo de alta produtividade para um que prioriza o impacto das publicações.”
A escassez de produção científica de alto impacto acadêmico, segundo Marcovitch, continua a ser o maior desafio que a comunidade científica brasileira enfrenta. Porém, esses resultados não devem ser interpretados superficialmente. “Essa queda no período de um ano é improvável em uma instituição do tamanho da USP e, portanto, sugere uma alteração na metodologia e não nos resultados”, argumenta. “Uma grande mudança foi a normalização das taxas de citações por país, algo que, sem dúvida, afetou a avaliação da USP e de várias outras universidades em países emergentes. Se a metodologia de um experimento muda durante o estudo, esta prejudica a validade dos resultados. Talvez seja incorreto dizer que houve uma queda em desempenho. Seria mais apropriado considerar que os requisitos exigidos da Universidade mudaram e a instituição não foi suficientemente proativa para antecipá-los.”
A dissertação de mestrado de Justin Hugo Axel-Berg, orientada pelo professor Jacques Marcovitch e apresentada ao Instituto de Relações Internacionais (IRI) da USP, está disponível na Biblioteca Digital de Teses e Dissertações da USP (www.teses.usp.br).
Foto: Wikimedia Commons
Agência USP de Notícias