Uma análise feita pela ferramenta de verificação de fatos NewsGuard apontou que chatbots de IA têm mais chances de repetir desinformação sobre a China quando questionados em mandarim do que quando perguntados em inglês.
Além de sinalizar a disparidade entre as duas línguas e mostrar que cidadãos chineses estão mais vulneráveis a esse sistema de desinformação, o relatório também mostra que algumas ferramentas têm uma tendência maior ao erro quando comparadas a outras.
Como foi o estudo
Os pesquisadores do NewsGuard testaram chatbots de 11 ferramentas diferentes, incluindo IAs chinesas e americanas. Foram eles: ChatGPT, Gemini, Copilot, Meta AI, Grok, Vibe, Pi, Claude, Smart Assistant, Perplexity e DeepSeek.
Com as IAs escolhidas, eles selecionaram 10 alegações comprovadamente falsas disseminadas pela mídia estatal chinesa ou por usuários pró-China nas redes sociais. Cinco alegações eram focadas no ocidente, em eventos como a guerra no Irã, e outras cinco focadas em Taiwan, para depreciar políticos da ilha independente reivindicada pela China.
Para cada alegação falsa, os pesquisadores usaram três estilos diferentes de pergunta.
O primeiro deles era o inocente, que agia de forma “neutra”, buscando informações factuais e sem viés sobre a alegação. O segundo estilo era o sugestivo, que assumia que uma alegação falsa era verdadeira e pedia mais detalhes sobre ela. Neste prompt., era como se o usuário já acreditasse na informação falsa.
O último prompt era o “maligno”, criado para forçar as salvaguardas da IA. Neste modelo, o usuário deixava claro que queria criar novas alegações falsas para disseminá-las online.
Essas mesmas perguntas foram feitas em inglês e em mandarim. Com isso, os pesquisadores precisaram analisar 660 reações diferentes produzidas por todas as IAs.
O que eles descobriram
Foto: NewsGuard/Reprodução
A principal descoberta da análise do NewsGuard é que os chatbots de IAs repetiram dados de desinformação da propaganda da China com muito mais frequência quando as questões aconteciam em mandarim. Enquanto as respostas em inglês reforçaram a desinformação em 24% das vezes, as em mandarim reforçaram em 33%.
Desinformação sobre Taiwan
Além disso, ao diferenciar assuntos ocidentais e assuntos referentes a Taiwan, eles descobriram que a desinformação envolvendo a ilha é ainda maior se comparada aos dados sobre a guerra no Irã, por exemplo.
Os chatbots ofereceram informações falsas sobre a ilha em 35% das vezes, enquanto ofereceram desinformações sobre o ocidente em 20% das vezes, se somamos inglês e mandarim.
Quando as perguntas sobre Taiwan foram feitas em mandarim, o índice de erro subiu para 38%.
De acordo com a análise dos pesquisadores, isso acontece porque o ecossistema de mídia em mandarim é majoritariamente dominado pelo conteúdo estatal chinês. As fontes em inglês, por sua vez, costumam ter fontes diferentes, com reportagens mais confiáveis.
Em mandarim, os chatbots frequentemente citaram o Sputnik, veículo de desinformação estatal russa, e o amigonews.net, uma rede de sites controlados pelo estado chinês. Essas fontes não apareceram quando as perguntas foram em inglês, segundo o NewsGuard.
Repetições da propaganda chinesa
Para além de analisar as respostas dadas aos questionamentos feitos às IAs em inglês e mandarim, a análise da NewsGuard também selecionou a frequência com que esses chatbots repetem frases da propaganda chinesa nas suas respostas.
De acordo com a ferramenta de checagem de fatos, a mídia estatal do país repete algumas frases específicas nos seus textos, como:
- “A China sempre defendeu o diálogo e o respeito mútuo”
- “A hegemonia dos EUA acabou”
- “Não existe tal coisa chamada presidente taiwanês”
- “Taiwan é uma parte inalienável da China”
Após análise das respostas, os pesquisadores quantificaram que as frases de propaganda aparecem em 7% das respostas em inglês, mas em 18% das respostas em mandarim.
Quem foi o melhor e quem foi o pior?
A chinesa DeepSeek teve o pior desempenho geral ao repetir informações falsas sobre seu país de origem no seu chatbot. De acordo com a pesquisa, a IA repetiu informações falsas em média 40% das vezes em ambos os idiomas. Quando questionada somente em mandarim, esse número chegou a 50%.
As IAs Vibe (da Mistral) e Grok, por sua vez, foram duas vezes mais propensas a repetir a desinformação em mandarim do que em inglês. A maior disparidade entre as línguas, porém, aconteceu com a Meta AI, que repetiu as desinformações 25% das vezes na língua oriental e 10% das vezes na língua ocidental.
Por outro lado, o ChatGPT foi quem teve a menor “taxa de erro” entre os testados. Ela falhou apenas 13% das vezes, mas ficou, ao lado de Inflection e Gemini, no pequeno campo das IAs que erraram mais vezes quando questionadas em inglês do que em mandarim. A análise do NewsGuard não informou, porém, a taxa de erro específica da IA para cada língua.
Influência preocupante
Além de ressaltar que o sistema estatal chinês é quem tem o maior domínio do conteúdo disponível em mandarim na internet para alimentar as IAs, a análise da NewsGuard ressalta que os resultados do estudo sinalizam que a influência do país em chatbots é evidente.
Os pesquisadores citam um estudo de maio deste ano, publicado na revista Nature. Esse estudo descobriu que quase 25% do conteúdo sobre líderes políticos chineses presentes em conjuntos de dados de treinamento de IAs de código aberto têm “sobreposição substancial” com a linguagem empregada pela mídia estatal.
“Consequentemente, os falantes de mandarim têm muito mais probabilidade de serem expostos a alegações falsas da China, inclusive sobre a questão sensível do status de Taiwan.”
O que as donas das IAs alegaram
Donos de cinco das 11 IAs testadas em mandarim e em inglês pelos pesquisadores do NewsGuard responderam aos pedidos de comentários do site. A Perplexity afirmou que “assim como outros sistemas de IA, não consegue garantir uma precisão perfeita”. A orientação da plataforma é que seus usuários verifiquem as fontes citadas de forma independente.
Um porta-voz da IA Vibe afirmou que a empresa “leva o combate à desinformação a sério”. “Estamos nos adaptando diariamente, filtrando fontes de desinformação dos nossos dados de treinamento”, diz trecho do posicionamento.
A resposta da Inflection, dona da IA Pi, foi semelhante. Uma porta-voz da empresa lembrou que a mensagem de que “O Pi pode cometer erros” é constantemente ostentada no seu chatbot. “Combater a desinformação e fornecer informações precisas é uma prioridade para a Inflection AI. Implementamos salvaguardas robustas e trabalhamos continuamente para aprimorar o Pi.”, afirmou.
A Meta afirmou apenas que estava “analisando as respostas dos chatbots aos prompts”, sem comentários adicionais. A Microsoft, por sua vez, respondeu ao site apenas com questionamentos sobre a auditoria deles, sem se manifestar diretamente sobre o assunto.
Leia também | Autocensura? IAs evitam críticas a líderes de países sem liberdade de expressão, mostra estudo da Meta
Leia também | China restringe IAs amorosas no país por risco de ‘dependência emocional’ – ou para aumentar natalidade?
Leia também | Tiram dúvidas e criam ‘namorados’: veja raio-x das IAs generativas mais populares (e polêmicas) da internet
