Ciência brasileira adere ao ‘padrão salame’ de produção e avaliação científica

Faz tempo que quero escrever algo sobre essa cultura da “ciência salame” e sobre o debate da “quantidade x qualidade” na avaliação da produção científica e da qualidade científica de pesquisadores no Brasil. Não preciso mais … o biólogo Fernando Reinach (colunista do Estadão e um dos pioneiros da biotecnologia no Brasil) já fez isso por mim, com muito mais competência do que eu seria capaz de fazer, devo dizer.

Copio abaixo o artigo publicado por ele na edição de sábado do jornal, que já tem mais de 10 mil compartilhamentos no Facebook, mas que merece ter muito mais ainda.

Abaixo do artigo do Reinach, copio também um artigo publicado em junho do ano passado na revista Trends in Ecology and Evolution, em que os autores discutem a “obsessão da academia com quantidade”. Ele faz parte de um fórum de discussão lançada pela revista em março deste ano para debater o tema “Que tipo de ciência queremos?“, que inclui um comentário de biólogos brasileiros da Universidade Federal de Goiás.

Publicar muita porcaria ou publicar pouca coisa boa? Eis a questão. (não só na ciência, mas no jornalismo também)

Atualização: Outra dica de leitura sobre o assunto é um artigo do Prof. Tomás de Aquino Portes, também da UFG, publicado pelo Jornal da Ciência da SBPC, com o tíulo “Salami Science vs. Ping Pong Science”: http://www.jornaldaciencia.org.br/Detalhe.php?id=91320

Darwin e a prática da ‘Salami Science’

Fernando Reinach / O Estado de S.Paulo

Em 1985, ouvi pela primeira vez no Laboratório de Biologia Molecular a expressão “Salami Science”. Um de nós estava com uma pilha de trabalhos científicos quando Max Perutz se aproximou. Um jovem disse que estava lendo trabalhos de um famoso cientista dos EUA. Perutz olhou a pilha e murmurou: “Salami Science, espero que não chegue aqui”. Mas a praga se espalhou pelo mundo e agora assola a comunidade científica brasileira.

“Salami Science” é a prática de fatiar uma única descoberta, como um salame, para publicá-la no maior número possível de artigos científicos. O cientista aumenta seu currículo e cria a impressão de que é muito produtivo. O leitor é forçado a juntar as fatias para entender o todo. As revistas ficam abarrotadas. E avaliar um cientista fica mais difícil. Apesar disso, a “Salami Science” se espalhou, induzido pela busca obsessiva de um método quantitativo capaz de avaliar a produção acadêmica.

No Laboratório de Biologia Molecular, nossos ídolos eram os cinco prêmios Nobel do prédio. Publicar muitos artigos indicava falta de rigor intelectual. Eles valorizavam a capacidade de criar uma maneira engenhosa para destrinchar um problema importante. Aprendíamos que o objetivo era desvendar os mistérios da natureza. Publicar um artigo era consequência de um trabalho financiado com dinheiro público, servia para comunicar a nova descoberta. O trabalho deveria ser simples, claro e didático. O exemplo a ser seguido eram as duas páginas em que Watson e Crick descreveram a estrutura do DNA. Você se tornaria um cientista de respeito se o esforço de uma vida pudesse ser resumido em uma frase: Ele descobriu… Os três pontinhos teriam de ser uma ou duas palavras: a estrutura do DNA (Watson e Crick), a estrutura das proteínas (Max Perutz), a teoria da Relatividade (Einstein). Sabíamos que poucos chegariam lá, mas o importante era ter certeza de que havíamos gasto a vida atrás de algo importante.

Hoje, nas melhores universidade do Brasil, a conversa entre pós-graduandos e cientistas é outra. A maioria está preocupada com quantos trabalhos publicou no último ano – e onde. Querem saber como serão classificados. “Fulano agora é pesquisador 1B no CNPq. Com 8 trabalhos em revistas de alto impacto no ano passado, não poderia ser diferente.” “O departamento de beltrano foi rebaixado para 4 pela Capes. Também, com poucas teses no ano passado e só duas publicações em revistas de baixo impacto…” Não que os olhos dessas pessoas não brilhem quando discutem suas pesquisas, mas o relato de como alguém emplacou um trabalho na Nature causa mais alvoroço que o de uma nova maneira de abordar um problema dito insolúvel.

Essa mudança de cultura ocorreu porque agora os cientistas e suas instituições são avaliados a partir de fórmulas matemáticas que levam em conta três ingredientes, combinados ao gosto do freguês: número de trabalhos publicados, quantas vezes esses trabalhos foram citados na literatura e qualidade das revistas (medida pela quantidade de citações a trabalhos publicados na revista). Você estranhou a ausência de palavras como qualidade, criatividade e originalidade? Se conversar com um burocrata da ciência, ele tentará te explicar como esses índices englobam de maneira objetiva conceitos tão subjetivos. E não adianta argumentar que Einstein, Crick e Perutz teriam sido excluídos por esses critérios. No fundo, essas pessoas acreditam que cientistas desse calibre não podem surgir no Brasil. O resultado é que em algumas pós-graduações da USP o credenciamento de orientadores depende unicamente do total de trabalhos publicados, em outras o pré-requisito para uma tese ser defendida é que um ou mais trabalhos tenham sido aceitos para publicação.

Não há dúvida de que métodos quantitativos são úteis para avaliar um cientista, mas usá-los de modo exclusivo, abdicando da capacidade subjetiva de identificar pessoas talentosas, criativas ou simplesmente geniais, é caminho seguro para excluir da carreira científica as poucas pessoas que realmente podem fazer descobertas importantes. Essa atitude isenta os responsáveis de tomar e defender decisões. É a covardia intelectual escondida por trás de algoritmos matemáticos.

Mas o que Darwin tem a ver com isso? Foi ele que mostrou que uma das características que facilitam a sobrevivência é a capacidade de se adaptar aos ambientes. E os cientistas são animais como qualquer outro ser humano. Se a regra exige aumentar o número de trabalhos publicados, vou praticar “Salami Science”. É necessário ser muito citado? Sem problema, minhas fatias de salame vão citar umas às outras e vou pedir a amigos que me citem. Em troca, garanto que vou citá-los. As revistas precisam de muitas citações? Basta pedir aos autores que citem artigos da própria revista. E, aos poucos, o objetivo da ciência deixa de ser entender a natureza e passa a ser publicar e ser citado. Se o trabalho é medíocre ou genial, pouco importa. Mas a ciência brasileira vai bem, o número de mestres aumenta, o de trabalhos cresce, assim como as citações. E a cada dia ficamos mais longe de ter cientistas que possam ser descritos em uma única frase: Ele descobriu…

……

Adademia’s obsession with quantity

Joern Fischer¹, Euan G. Ritchie² and Jan Hanspach¹

¹ Faculty of Sustainability, Leuphana University Lueneburg, Scharnhorststrasse 1, 21335 Lueneburg, Germany

² Deakin University, School of Life and Environmental Sciences, 221 Burwood Hwy, Burwood, VIC 3125, Australia

We live in the era of rankings. Universities are being ranked, journals are being ranked, and researchers are being ranked. In this era of rankings, the value of researchers is measured in the number of their papers published, the citations they received, and the volume of grant income earned. Academia today is governed by one simple rule: more is better.

The idea to reward those who are productive seems fine at face value, but that idea has become ideology. Metrics of quantity once were the means to assess the performance of researchers, but now they have become an end in their own right. Ironically, once individuals actively pursue certain indicators of performance, those indicators are no longer useful as independent yardsticks of what they were once meant to measure.

Only a few years ago, a researcher publishing ten papers a year was considered highly productive. Now, leading researchers in ecology and evolution publish 20, 30, or, in some cases, over 40 papers a year, with a tendency for further increases. This volume of papers is attained via large laboratory groups and research consortia, which in turn require massive amounts of funding. Given that successful fundraising is a trusted performance indicator in its own right, funding keeps going to some of the biggest groups, keeping them big or growing them even further. However, a bigger group of researchers does not necessarily produce better science, just more of it. Thus, some research themes of solid (but not necessarily exceptional) quality can dominate the literature, just because they produce many papers. The type of work that ecologists produce is also different compared with just a decade or two ago: papers are shorter; reviews are increasingly quantitative not qualitative; the scope of papers has shifted from local to global; modeling papers are replacing field-based papers; and more papers focus on black-versus-white analyses because there is no journal (or mental) space for nuanced discussions. A recent high-profile example is the polarized debate on whether policy should encourage land sparing or land sharing.

The picture we paint is, of course, stylized. We acknowledge that there are exceptions among the most productive academics, the largest research groups, and the highest impact journals. However, despite exceptions, the overall trend is deeply concerning. Academics are increasingly busy with more papers, more grants, and more emails to keep the machinery going. The modern mantra of quantity is taking a heavy toll on two prerequisites for generating wisdom: creativity and reflection.

Creativity greatly benefits from an environment that is supportive, collaborative, and facilitates trialing new approaches, but suffers from working under excessive pressure. Similarly, reflection is vital for questioning assumptions and learning from experience. The gradual loss of creativity and reflection necessarily will affect our science. Many past landmark papers were full of good ideas, but were speculative and discursive. Would such papers be published today and, if they were, who would read them in depth? Is it possible to obtain and communicate deep insights via ‘twitteresque’ research sound bites?

Beyond the science itself, the quantity mantra is taking a toll on the quality of human interactions and relationships. Supervisors are increasingly too busy to discuss ideas at length with their research students. Academics work long hours, a supposed requirement for success, as if insight, motivation, and wisdom could not also arise from more balanced and family-friendly lives. The stressful environment of academia leads to many talented young people opting out of academia, and can lead to burnout in those who stay.

Along with political and spiritual leaders, academic leaders have a responsibility to help society move towards a better future, where we understand the world better, and use that understanding to live a ‘good life’. However, how can we do this if our professional rat race just mirrors the ills of society at large? Starting with our own university departments (but not stopping there), it is time to take stock of what we are doing. We must recreate spaces for reflection, personal relationships, and depth. More does not equal better.

FONTE: blogs.estadao