Publique — e divulgue — ou pereça
A entrada de índices bibliométricos na grande área de Linguística e Literatura
Esta é primeira parte de uma discussão densa sobre divulgação e comunicação científicas. É sempre bom reforçar: o campo de comentários é nosso. Saiba mais sobre a seção “Universidade” do Blog Ser Linguagem clicando aqui.
Contextualizando
O primeiro capítulo do livro Produção textual na universidade, das professoras Desirée Motta-Roth e Gabriela Hendges, se chama “Publique ou pereça”. Nele, as pesquisadoras conduzem o leitor pela percepção de que no Brasil, assim como nos Estados Unidos, a “produtividade intelectual é medida pela produtividade na publicação” (p. 13), um sistema de avaliação que, enquanto é encarado naturalmente por áreas mais laboratoriais da ciência, é alvo de muitas críticas de áreas mais humanas e sociais. O que não é esquecido pelas autoras: “para mudar o sistema, é preciso conhecê-lo e participar dele” (p. 13). A escolha pelo título “Publique ou pereça” certamente não é à toa. O termo é comum na academia científica e menos metafórico do que deixa os ingênuos pensarem.
No Brasil, onde ciência e tecnologia ainda dependem diretamente do Estado para financiamento, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES, ligada ao Ministério da Educação) e o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq, ligado ao Ministério da Ciência, Tecnologia, Inovações e Comunicações) são as principais agências federais de incentivo à pesquisa acadêmica. Juntas, elas são responsáveis pela oferta de recursos fundamentais, como apoio a eventos e bolsas de produtividade, de doutorado, de mestrado, de iniciação científica, de iniciação à docência e afins. A CAPES também exerce, além do fomento, um papel regulador, credenciando ou descredenciando programas e cursos de pós-graduação stricto sensu (mestrado profissional, mestrado acadêmico e doutorado) e avaliando periódicos científicos, por exemplo.
Uma vez reconhecidos e aprovados pela CAPES, os cursos de pós-graduação são avaliados continuamente e recebem um “conceito CAPES” que pode variar de 1 a 7. Atualmente, esse processo acontece a cada quatro anos (avaliações quadrienais) e buscam verificar se os cursos alcançaram as metas propostas pela agência e pelo próprio programa, em aspectos como produtividade de professores e estudantes, estrutura curricular, infraestrutura de pesquisa e outros. “Notas 1 e 2 são consideradas insuficientes e provocam o descredenciamento do curso; nota 3 corresponde a desempenho médio, que apresenta padrões mínimos de qualidade; 4 e 5 significam um desempenho entre bom e muito bom; 6 e 7 indicam desempenho equivalente a padrões internacionais de excelência”, explica a CAPES. Essa avaliação não é feita de modo generalizado, pois cada grande área do conhecimento possui uma comissão CAPES própria, formada por consultores acadêmicos cuja atuação em pesquisa e ensino de pós-graduação é reconhecida.
São esses comitês que não só estabelecem os critérios de avaliação dos cursos de pós-graduação, mas, também, qualificam periódicos, anais, jornais e revistas de suas áreas com o famigerado Qualis CAPES. Essa qualificação surgiu por necessidade das avaliações dos cursos de pós-graduação, uma vez que produtividade é um dos aspectos mais sensíveis do processo. Dessa forma, a qualidade da produção de professores e estudantes de pós-graduação é avaliada indiretamente, por meio dos veículos escolhidos para a publicação dessas produções. O Qualis, assim como o Conceito CAPES, varia de estratos que indicam “insuficiência” àqueles que indicam “excelência”. A escala abrange A1 e A2 (excelência internacional), B1, B2 (excelência nacional), B3, B4, B5 (relevância média) e C (o conceito mais baixo, com peso zero em qualquer avaliação).
“O número de artigos publicados nos programas, em cada período de avaliação, era bastante expressivo, tornando impraticável qualquer tentativa de avaliar a qualidade de cada um desses produtos do trabalho científico. Diante dessa impossibilidade, a opção adotada foi a classificação dos veículos de divulgação da produção científica, pressupondo-se que a aceitação de um artigo por periódico indexado e com sistema de peer review garantia, de certo modo, a sua qualidade”, explica Rita de Cassia Barradas Barata, diretora de Avaliação da CAPES.
Assim como os cursos de pós-graduação que precisam atender a requisitos para subirem na escala de conceitos, os periódicos científicos também possuem uma série de exigências para subirem na escala de estratos Qualis. O cursos, para conseguirem mais recursos e não serem descredenciados, os periódicos para atraírem mais autores e não deixarem de existir. Os critérios de qualificação Qualis são divulgados pelas comissões de área em documentos específicos e, na área de Linguística e Literatura (antes chamada de Linguística, Letras e Artes), levavam em consideração, até 2015, aspectos como titulação dos autores que a revista publica (daí a exigência de doutorado para publicar em alguns periódicos), interinstitucionalidade (autores de várias instituições e lugares) e indexação (vinculação dos periódicos a indexadores de bases de dados como o Scielo, o Google Acadêmico e outras bases que possuem, cada uma, critérios próprios).
Em 2016, nas “Considerações sobre Qualis Periódicos”, a Coordenação da Área Linguística e Literatura da CAPES anunciou que os critérios de avaliação dos periódicos científicos para o quadriênio que se inicia em 2017 seriam reformulados. Segundo a coordenação, a indexação dos periódicos será um aspecto ainda mais observado e o fator de impacto (índice de citação) de seus textos (artigos, ensaios, resenhas, relatos de experiência e afins) passará a ser considerado na análise Qualis. O intuito é tornar a avaliação mais objetiva e interdisciplinar, além de atender a uma tendência que a própria CAPES quer incutir em todas as áreas: a adoção de algum índice bibliométrico em suas avaliações. Na prática, a medida poderá alterar os hábitos editoriais de algumas revistas e, consequentemente, a maneira com que pesquisadores da área escrevem.
Entendendo o que são índices bibliométricos
Índices bibliométricos, essencialmente, são maneiras de quantificar o impacto de publicações acadêmicas por meio de métricas (é quase como mensurar o alcance de um post no Facebook por meio do número de curtidas). Alguns dos índices mais comuns usam as citações para a medição desse impacto, o que consiste em acreditar que, quanto mais um artigo é citado por outros artigos, mais repercussão e impacto ele representa naquela área de conhecimento. Um dos índices mais conhecidos desse tipo é o Fator de Impacto (FI), cuja “matemática é baseada no número de vezes que os artigos de uma revista publicados nos últimos dois anos é citado em outros artigos”, segundo Abel Packer e Rogerio Meneghini.
O Índice H, criado por Jorge Hirsch (Universidade da Califórnia), é outra medida bibliométrica que tem ganhado destaque nos últimos anos. Já que “somos de humanas”, vou pular da matemática para a conclusão: quanto mais publicamos e quanto mais nossos artigos (reparem que não me refiro a teses e dissertações, mas a artigos) são citados, melhores serão nossos índices bibliométricos e mais interessantes as publicações serão aos periódicos.
Apesar de as mudanças afetarem, primeiramente, os periódicos, é preciso compreender que a medida da CAPES é experimental e parece ser “a implantação” de um hábito comum em outras áreas do conhecimento, em que não só os periódicos são avaliados por meio de seus fatores de impacto, mas também as próprias publicações e seus autores. Além disso, considerando que a medida fará os conselhos editoriais replanejarem seus cronogramas para atender à fórmula dos índices bibliométricos de modo menos arriscado, talvez publicando menos artigos por edição, de uma maneira ou de outra, sentiremos — pesquisadores — reflexos.
Daí retomar o “publique ou pereça” do começo de nossa conversa. Se você está vinculado a um curso de pós-graduação que procura manter ou subir seu conceito (o que descreve a situação de praticamente todos os cursos), certamente você deverá estar sujeito à pressão por publicar com frequência (especialmente se você for professor de pós-graduação, que deve publicar a média mínima de um artigo por semestre para se manter vinculado). Mas não basta apenas a frequência: é preciso publicar em periódicos bem qualificados, uma vez que cada estrato Qualis pontua diferentemente nos relatórios. Desde o ano passado, contudo, além de frequência e Qualis, temos também de repensar a maneira com que interagimos com as publicações de nossos pares, ou seja, temos de ser mais citados à medida que também temos de citar mais, favorecendo um aumento em nossos fatores de impacto.
Essa reconsideração é ainda mais importante para nossa área porque nossa cultura de fundamentação teórica tende a privilegiar livros, dissertações e teses (a referência principal de minha pesquisa de mestrado é um livro de 1990, por exemplo), com base em pesquisas de grupos como o DILETA (Discurso, Identidade e Letramento Acadêmicos). Basta dar uma olhada nas referências bibliográficas de trabalhos de Linguística e Literatura e comparar quantos artigos e quantos livros serão referenciados. Nossos artigos demoram de três a cinco anos, no mínimo, para começarem a ser citados, enquanto índices de impacto levam em conta, geralmente, os dois primeiros anos de uma publicação.
Sem falar que não produzimos tão rapidamente quanto áreas mais laboratoriais, uma vez que nossas pesquisas tendem a ser mais etnográficas, bibliográficas e não positivistas. Por não produzirmos rápido, é natural que os artigos realmente levem mais tempo até serem lidos e considerados em outras discussões. Não é sobre como uma mudança de dosagem mudou o direcionamento da elaboração de uma vacina, é sobre como observar um grupo focal por seis meses propiciou um mergulho nos hábitos desse grupo, ou seja, são ritmos e objetos distintos de pesquisa, todos importantes para um conceito amplo e heterogêneo de ciência.
É importante ressaltar que a Coordenação da Área de Linguística e Literatura na CAPES parece ter levado esses aspectos em conta, mesmo com a adoção de índices bibliométricos na qualificação dos periódicos. Comparando os números exigidos por essa área com os de outras, é possível notar que eles são consideravelmente menores do que os exigidos em Ciência de Alimentos, Odontologia e Medicina I, por exemplo. Ainda por essa comparação, é possível ver: que a área de Educação não adotou índices de impacto, priorizando a indexação dos periódicos (vinculação das revistas em bases de dados como Scielo e Diadorim); que a área de Filosofia adotou o Índice H, mas não informou valor mínimo ou máximo para esse índice; e que a área de Ciências Sociais Aplicadas adotou o Fator de Impacto apenas para o estrato A1 de periódicos.
No fim das contas, voltamos à reformulação que abre esta conversa: “publique — e divulgue — ou pereça”.
Na segunda parte desta discussão, vamos pensar em estratégias para lidar com os tais índices bibliométricos e discutir a importância de compartilharmos os trabalhos que publicamos. Clique aqui para ler “5 dicas para lidar com o dilúvio de informações (acadêmicas)”.
Originally published at serlinguagem.wordpress.com on March 21, 2018.
