Nesse blog, vou tratar do valor relativo de publicações científicas do Qualis, para fins de avaliação dos programas de pós-graduação. Como participei de várias avaliações e elaboração de Qualis de Engenharias I, farei a análise para essa grande área. A principal referência para a análise será o Documento de Área das Engenharias I, 2017 (DOCENG1).
No DOCENG1 há dois critérios que valoram as publicações: o Critério 3, Corpo Discente, Teses e Dissertações, tem peso 35% na avaliação global; o Critério 4, Produção Intelectual, também tem peso 35% no global. As publicações analisadas são os artigos científicos classificados nos estratos Qualis A1, A2, B1, B2, B3, B4, B5, Livros e Capítulos de Livros. O estrato C Qualis significa que se trata de periódico não científico.
O Subcritério 3.1, que tem peso 50% do Critério 3, é avaliado por dois indicadores objetivos, o QTD com peso 70%, e o QTM com peso 30%. Equações a seguir.
 |
No Critério 4, Subcritério 4.1, com peso 50% do Critério 4, há três
indicadores: PDQ1 (80%), PDQ2 (10%), e PDQ3 (10%). As equações dos indicadores
são:
 DP = número de docentes permanentes no Programa, L = Livro, CP= capítulos de livros. A Matriz de Valoração Relativa de Publicações (MVRP)
Para permitir uma visão de conjunto, formulamos a Matriz de
Valoração Relativa de Publicações (MVRP). A MVRP foi construída com o conceito
de Valor Adicionado por Unidade de Publicação. Estimamos, para cada tipo de
publicação, qual o valor agregado pela mesma nos indicadores do Documento de
Área. Construímos quatro matrizes: uma para o Critério 3, uma para Critério 4, e
duas para a avaliação global, uma antes da saturação e outra pós saturação por
artigos em anais
Para os critérios 3 e 4, as cinco equações dos indicadores são condensadas em duas equações, uma para cada critério. Para cada equação, colocamos um tipo de publicação e avaliamos quanto essa publicação agrega ao indicador do critério. Daí, construímos duas MVRPs. Para a avaliação global formulamos uma planilha Excel. A dedução da equação única é possível, porém seria muito complexa. MVRP do Critério 3 Discentes, Teses e Dissertações
Deve ser observado que no Critério 3, o DOCENG1 não faz referências a valores de saturação. Assim, tem-se a equação do Valor Agregado pela Publicação no Critério 3 (VAPC3), que permite estimar o valor agregado por um tipo de publicação para o referido critério.
Nesse critério, a MVRP é formada pelos coeficientes da equação e por seus inversos.
MVRP do Critério 3 - Discentes, Teses e Dissertações
A matriz pode ser lida da seguinte maneira. Para saber quantos artigos em Anais devemos publicar para valer um artigo A1 no Critério 3, procuramos o cruzamento da coluna Anais com a linha A1 e achamos 2,33. Isto é, para o Critério 3, publicar, em média, 2,33 artigos em anais, equivale a um artigo A1. Para a valoração relativa de B3 e Anais, encontramos que são necessários 2,14 B3 para valer um artigo em anais. Em outras palavras, um artigo B3 vale menos da metade de um aartigo em anais.
Observe-se que o critério se refere a discentes, assim, as publicações devem ter um discente como um dos autores. Observe também que nesse critério, e também no Critério 4, os artigos B4 e B5 não agregam qualquer valor aos indicadores. Isto é, um periódico B4, ou B5, é equivalente a um periódico não científico (C).
MVRP do Critério 4
No Critério 4, o indicador PQD3 é saturado no valor três. Isto é, as publicações em anais. Isto é, só são valoradas até o máximo de 12 publicações por docente no quadriênio. Se um Programa tem 10 docentes permanentes, os artigos em anais só têm valor até a 120ª publicação no quadriênio. As publicações B3, B4 e B5 não pontuam. As publicações de livros e capítulos são inseridas neste critério.
Após a saturação, a publicação em anais deixa de ser valorada. Temos a equação do VAPC4 que permite estimar o valor agregado por um tipo de publicação. Após a saturação, o termo referente a anais é excluído da equação. Da equação é possível construir a matriz.
A matriz é formada pelos coeficientes da equação e por seus inversos.
MVRP do Critério 4 – Produção Intelectual
Obs: Matriz apresentada refere-se a antes da saturação dos anais. Após a saturação, a linha e a coluna Anais não devem ser consideradas. A publicação em anais passa a não agregar qualquer valor e junta-se aos estratos B4, B5 e C.
No Critério 4, há uma queda substancial no valor relativo dos anais comparativamente ao Critério 3. Oito artigos em anais valem um artigo A1. No Critério 3 eram 2,33.Um artigo em anais equivale a um livro. Os capítulos de livros são relativamente de pouco valor. Após a saturação, os anais não são contabilizados.
MVRP da avaliação Global.
A matriz exata da avaliação global, a rigor, só pode ser calculada após a avaliação final quando os limites de classes (Muito, Bom, Regular, etc.) são calculados. Todavia, como os critérios têm suas ponderações para a avaliação global, é possível construir um indicador com os pesos estabelecidos no documento de área. A matriz deve ser vista como indicador a priori.
Ressalte-se também que o valor relativo de publicações que não entraram nos dois critérios depende dos denominadores DR e Teses + 0,4 Dissertações. Para a matriz apresentada utilizamos DP = 16, Teses + 0,4 Dissertações = 51,2.
Para a avaliação global, não se criou uma equação. Os denominadores dos critérios 3 e 4 são diferentes, e a equação única ficaria muito longa. Assim, desenvolvemos uma planilha Excel para avaliar a matriz. Construímos duas matrizes: uma antes da saturação dos anais no Critério 4, outra após a saturação.
MVRP da avaliação Global, antes da saturação dos anais no critério C4.
MVRP da avaliação Global, depois da saturação dos anais no critério C4.
Observe-se que, em ambos os casos, a publicação em anais é bem mais valorizada do que uma publicação B3. Explica-se, embora os anais tenham saturação no Critério 4, como o B3 não é contabilizado no Critério 3, o que é equivalente a saturação em zero publicações. Logicamente, bem mais restritiva do que em saturação em 12 artigos por docente no quadriênio.
Reflexões finais
A pós-graduação brasileira, em termos de produção científica, teve grandes avanços nas últimas décadas. A avaliação CAPES certamente contribuiu para essa melhoria. Para a avaliação, para nortear os programas, em sugerir veículos de publicações para docentes e discentes, consideramos que alguns atributos são de grande importância: a transparência, a estabilidade e a impessoalidade. A transparência é obtida por meio das publicações dos documentos de área. A estabilidade vem da robustez de critérios, por exemplo, dos critérios Qualis e de indicadores objetivos da avaliação. A impessoalidade vem da adoção, ao máximo possível, de critérios da comunidade externa, como, por exemplo, os fatores de impacto JCR, SJR e também o índice h5 do Google Acadêmico (Os dois últimos cobrem uma gama bem maior de periódicos). Quanto mais ancorados em indicadores da comunidade científica, mais impessoal e robusto serão os critérios de avaliação. Nesses casos, mais orientados estarão os programas para fins de evolução e de planejamento.
Agora, vou colocar minha análise. Trata-se de uma posição pessoal. Pelas avaliações anteriores, eu tinha a sensação que os artigos em periódicos, em todos os estratos, seriam mais valorizados do que artigos em congressos.Porém, isto não acontece na avaliação 2017. Um artigo B3 vale bem menos do que um artigo em anais. Para fins de indicadores dos programas acadêmicos, uma publicação B4 ou B5 é vista como publicação não científica. Equivalente ao estrato C. Observe-se que os artigos B4 e B5 somente são contabilizados e referenciados nos critérios do mestrado profissional.
As MVRPs apresentadas proporcionam outras análises. Não vou fazê-las agora. Acima de tudo, considero que a MVRP, como metodologia, é instrumento para os programas de pós-graduação e formuladores terem uma visão de síntese da valoração das publicações. da visão do todo. Ver o todo, é um grande desafio.
Finalmente, devemos entender que o Qualis é um instrumento de avaliação formulado a posteriori. Assim, somente, no final de 2016 (último ano do quadriênio), sabemos a classificação do artigo publicado. Isso dificulta o planejamento dos programas. A estabilidade possível vem dos fatores de impacto. Estes não sofrem mudanças bruscas. Então, quanto mais periódicos avaliados com fatores de impacto, mais estável o sistema. Nesse aspecto, o SJR leva grande vantagem sobre o JCR.
Fora disso, infelizmente. é possível submetermos um artigo em um periódico B2, e no momento da avaliação, o artigo ser classificado como B4, que no caso dos atuais critérios significa, valer tanto quanto um artigo não científico, isto é, valer nada. Porém, o problema da estabilidade de critérios somente será resolvido com o tempo, com o aumento da base de periódico com fatores de impacto, e, ainda, case a estabilidade seja considerada relevante pelos formuladores dos critérios.
Documentos consultados:
http://www.capes.gov.br/images/Artigo_dez_coisas_sobre_o_qualis.pdf
|
