Sofisticação da malandragem: pesquisadores estão inserindo mensagens secretas nos artigos

Pesquisadores têm inserido mensagens secretas em seus artigos na tentativa de enganar ferramentas de inteligência artificial (IA) para obter relatórios positivos de revisão por pares. A Nature identificou de forma independente 18 estudos de pré-publicação em ciência da computação contendo essas mensagens ocultas — em que o texto é especificamente elaborado para manipular modelos de linguagem de grande escala (LLMs). Muitos editores proíbem o uso de IA na revisão por pares, mas há evidências de que alguns pesquisadores utilizam LLMs para avaliar manuscritos ou ajudar na redação de relatórios de revisão. Isso cria uma vulnerabilidade que outros agora parecem estar tentando explorar, afirma o metacientista forense James Heathers.

Fonte: aqui 

Revisão automatizada faz sentido

Da newsletter da Zeppelini Publishers:

Frequentemente descrita como a “espinha dorsal” da ciência moderna, a revisão por pares tem como objetivo validar os achados científicos antes de sua publicação. No entanto, o crescimento exponencial da produção científica nas últimas décadas colocou esse modelo sob forte pressão. (...)

Diante desse cenário, ganha força o debate sobre o uso da inteligência artificial como alternativa para acelerar e qualificar o processo de revisão por pares. Mas até que ponto essa automação é possível, ética e eficaz? Qual é o potencial transformador da IA na revisão científica?

A promessa mais imediata da IA é a redução drástica do tempo necessário para triagens e revisões técnicas. Sistemas como o eLife’s SIFT, por exemplo, utilizam IA para verificar conformidade com critérios editoriais, destacando inconsistências e lacunas. Com isso, realizam uma pré-avaliação em menos de dez minutos, um processo que levaria horas para um editor humano.

Outro caso relevante é o da Frontiers Media, que utiliza algoritmos para detectar duplicações, erros estatísticos, citações inadequadas e conflitos de interesse. Em 2021, a empresa reportou que essa abordagem reduziu em até 40% o tempo médio entre submissão e publicação.

Ferramentas antiplágio como Turnitin, iThenticate já são amplamente utilizadas para identificar similaridades textuais, paráfrases indevidas e possíveis plágios. Além disso, sistemas como o StatReviewer avaliam automaticamente a correção de métodos estatísticos usados, apontando erros comuns em testes de hipóteses, regressões e amostragens.

A IA também pode contribuir para identificar fabricação de dados, uma prática difícil de detectar manualmente. O algoritmo ImageTwin, por exemplo, foi desenvolvido para identificar reutilização de imagens em artigos científicos, como figuras de microscopia ou Western blots, aumentando a confiabilidade de pesquisas visuais. (...)

Sistemas de IA são tão imparciais quanto os dados que os alimentam. Se os datasets usados para treinar algoritmos privilegiam publicações em inglês, de revistas ocidentais e de autores consagrados, há risco de perpetuar desigualdades regionais, linguísticas e institucionais. Uma pesquisa da Nature (2022) apontou que algoritmos de ranqueamento automático favoreceram 20% mais artigos de autores dos Estados Unidos e da Europa Ocidental em relação a autores de países em desenvolvimento.

Apesar dos avanços de modelos como o GPT-4 e o Claude, a IA ainda não compreende significado da mesma forma que humanos. Ela pode identificar erros formais, mas não avaliar originalidade, relevância teórica ou impacto social de uma pesquisa. Isso é especialmente crítico em ciências humanas, onde a subjetividade e o contexto são essenciais.

Decisões tomadas por IA devem ser explicáveis e auditáveis. No entanto, muitos sistemas operam como “caixas-pretas”, com critérios complexos e pouco transparentes. Isso levanta as seguintes perguntas: se um algoritmo rejeita um artigo com base em critérios automatizados, quem responde pelo erro? Como o autor pode apelar ou questionar essa decisão?

A ausência de regulamentação clara agrava o problema. Atualmente, não há consenso internacional sobre o papel permitido da IA na avaliação científica, embora iniciativas estejam surgindo, como as diretrizes do Committee on Publication Ethics (COPE). (...)

Dado o cenário, é prudente defender uma automação parcial e supervisionada da revisão por pares, focada nas tarefas mais repetitivas e suscetíveis a erros humanos. Isso inclui triagem técnica inicial (estrutura, metadados, formatos, referências); verificação estatística e de plágio; sugestão de revisores com base em aprendizado de máquina; e resumo automático do conteúdo para editores humanos.

Com isso, os revisores humanos podem se concentrar na análise crítica, teórica e ética do artigo, garantindo um equilíbrio entre agilidade e qualidade. Essa abordagem colaborativa já está sendo adotada em revistas como a PLOS One e IEEE Access, com resultados promissores. (...)

O futuro da revisão por pares deve ser tecnologicamente assistido, mas essencialmente humano. Inteligência artificial pode ser nossa aliada, desde que guiada por inteligência ética e científica. Afinal, a ciência não avança apenas com precisão: ela precisa também de discernimento. 

Parece que é inevitável a IA no processo e as questões levantadas são pertinentes. Imagem aqui

Um pouco da história da revisão por pares nos periódicos e o papel do custo

A Royal Society, uma entidade científica do Reino Unido, tornou públicos cerca de 1.600 relatórios produzidos entre 1949 e 1954, incluindo algumas avaliações de artigos que foram publicados. A entidade teve no Philosophical Transactions o primeiro periódico a implementar a revisão por pares.

Na época, o processo era mais informal, e o estilo de análise dos artigos submetidos para publicação em periódicos, como conhecemos hoje, só foi estabelecido anos depois, na década de 1970. Em alguns dos relatórios, há menções sobre férias e outras atividades pessoais. No entanto, já na década de 1950, a Royal Society começou a solicitar aos revisores que respondessem a um questionário padronizado, que incluía a questão-chave: a Royal Society deveria publicar o texto? Com isso, as respostas tornaram-se mais breves. Um exemplo curioso foi a revisão da química Dorothy Hodgkin (foto), que escreveu menos de 50 palavras após ler e revisar o texto completo sobre a estrutura do DNA, de autoria de Francis Crick e James Watson, em 1953, publicado nos Proceedings of the Royal Society em abril de 1954. Apesar da brevidade, o comentário de Hodgkin foi valioso, ao sugerir eliminar os reflexos das fotografias.

Há outros casos interessantes. Em 1950, um artigo escrito por James Oldroyd foi revisado por Harold Jeffreys, que comentou: “Conhecendo o autor, confio que a análise está correta.” Já em 1900, o físico Bidwell escreveu sobre um artigo de Edridge-Green: “Eu estava preparado para descobrir que seu novo artigo era um lixo; e acabou sendo um lixo de tal natureza que nenhuma pessoa competente poderia ter qualquer outra opinião sobre ele.”

Em 1951, o renomado Alan Turing propôs “novos métodos de modelagem matemática para o campo biológico, incluindo o uso de computadores”. No entanto, a revisão foi negativa, com um dos revisores sugerindo que Turing reescrevesse todo o texto, exceto a parte matemática. O outro parecerista, por sua vez, elogiou o trabalho.

Agora, uma parte que interessa diretamente aos contadores: a revisão por pares surgiu também por uma questão de custo. No final do século XIX, os revisores eram incentivados a avaliar o texto sob a perspectiva do custo crescente da impressão. Assim, a Royal Society passou a questionar se algumas partes dos artigos ou ilustrações não seriam redundantes.