Um estudo que listava os benefícios do ChatGPT no ambiente educacional recebeu uma retratação da revista científica Nature quase um ano após ser publicado.
“O efeito do ChatGPT no desempenho de aprendizagem dos alunos, na percepção da aprendizagem e no pensamento de ordem superior: insights de uma meta-análise” analisava outras pesquisas com foco na Inteligência Artificial para conferir se elas tinham indicadores em comum.
A conclusão dos pesquisadores foi de que a IA era positiva e a publicação do estudo logo causou repercussão, gerando milhares de acessos e dezenas de citações em outras pesquisas científicas.
Apesar de não invalidar totalmente o artigo, a retratação da Nature aparece como um grande “passo atrás” na análise científica. Ela levanta bandeiras vermelhas e aponta que algum erro ou imprecisão não torna mais aquela pesquisa qualificada aos olhos da revista.
Retratação aconteceu após quase um ano
A pesquisa é de coautoria de Jin Wang e Wenxiang Fan, ambos da Universidade Normal de Hangzhou, na China. Ela constava na revista de Comunicações de Humanidades e Ciências Sociais.
Publicado pela Nature em maio de 2025, o artigo ganhou o selo de “retratado” em 22 de abril de 2026. O editor explicou a retratação em um texto publicado na quarta-feira (6).
Antes da retratação acontecer, a repercussão do texto foi grande. Em dezembro de 2025, a revista Forbes mencionou o estudo na lista de “oito pesquisas sobre IA que todo educador deveria ler”.
Até esta quinta-feira (7), o estudo sobre o ChatGPT foi acessado mais de 495 mil vezes e citado em 270 artigos, de acordo com um balanço da própria Nature.
O que dizia a análise
O estudo retratado pela revista funcionava como uma metanálise. Ou seja: ele concentrava uma série de pesquisas (neste caso, 51) de um mesmo tema para analisar se há um consenso entre elas. As pesquisas analisadas aconteceram entre 2022 e 2025 e focavam no ChatGPT no ambiente educacional.
De acordo com a análise retratada, o ChatGPT tem um “impacto positivo significativo” no desempenho acadêmico dos estudantes. Além disso, ela tem “influência moderada” na percepção e no pensamento, principalmente nas áreas de ciência, tecnologia, engenharia e matemática.
O estudo invalidado pela Nature também listava que o bot aumentava a motivação e o engajamento dos usuários. Além disso, a metanálise citava que os alunos podiam “se envolver mais profundamente” com o conteúdo diante da mediação do chat.
A pesquisa fazia, ainda, uma diferenciação do benefício de acordo com a fase acadêmica do usuário.
Para os que estavam na universidade, o maior benefício seria o auxílio na escrita acadêmica e a compreensão de conceitos complexos. No ensino médio, por sua vez, a ajuda seria na “resolução de problemas difíceis e na revisão de conhecimento”.
O que significa uma retratação
Na prática, quando a revista marca um artigo como “retratado”, ela aponta que o estudo em questão não é mais confiável para ela.
A Nature cita como razão geral para retratar um artigo o “comprometimento da integridade do trabalho”. Este comprometimento pode acontecer por erros na condução, na análise ou nos relatos do estudo, assim como por violações éticas.
No caso da pesquisa sobre o ChatGPT, o editor não citou nenhum problema específico. Ele disse, apenas, que teve “preocupações com discrepâncias na metanálise”.
“Essas questões comprometem a confiança que o editor pode depositar na validade da análise e das conclusões daí resultantes”.
Apesar de retratar o artigo, o PDF dele segue público, como previsto pela própria Nature. De acordo com a revista, os autores do artigo não quiseram comentar a retratação.
Críticas feitas antes da retratação
Apesar da atenção que o artigo recebeu, alguns pesquisadores levantaram questionamentos sobre ele pouco após a chancela da Nature. Uma das principais críticas foi de Ikka Tuomi, cientista-chefe da Meaning Processing Ltd.
Tuomi usou as redes sociais para apontar que mais de 30 dos grupos experimentais dos estudos tinham menos de 35 alunos.
O número baixo é, para ele, um sinal de uma “régua baixa” para selecionar as pesquisas. “Eles nem sequer mencionam se os estudos analisados foram revisados por pares (o que, obviamente, não diz muito hoje em dia)”, afirmou, em publicação no LinkedIn em junho de 2025.
Já o professor Ben Williamson, da Universidade de Edimburgo, disse ao site de tecnologia Ars Technica que os métodos, populações e amostras diferentes invalidam o estudo sobre o ChatGPT na Nature.
“Em alguns casos, parece que sintetizaram estudos de qualidade muito baixa ou misturaram resultados de estudos que simplesmente não podem ser comparados com precisão”, disse.
Leia também | Por que adolescentes são tão vulneráveis aos danos causados pelas redes sociais? A neurociência explica
Leia também | Proibir redes sociais para adolescentes resolve todos os problemas? Veja o que diz a neurociência
Leia também | Como a ciência do clima está se perdendo na tradução: domínio do inglês em pesquisas exclui boa parte do mundo
