A OpenAI apresentou em um novo relatório com dados preocupantes sobre o uso do ChatGPT por pessoas com sinais explícitos de sofrimento mental, incluindo pensamentos suicidas, psicose e apego emocional ao chatbot, admitindo falhas na condução de parte dessas conversas.
De acordo com a OpenAI, cerca de 0,15% dos usuários semanais do ChatGPT apresentam indícios claros de intenção ou planejamento suicida.
Considerando uma base de mais de 800 milhões de usuários semanais, isso representa mais de 1,2 milhão de pessoas por semana, e nem sempre elas recebem a resposta adequada.
O relatório admite que em 9% dos casos, o chatbot falhou e não encaminhou o usuário a serviços de apoio, como prevê o treinamento do modelo de linguagem que fornece as respostas.
Uma porcentagem semelhante demonstra apego emocional elevado ao chatbot. E centenas de milhares de usuários apresentam sinais de psicose.
Mais de 1 mil conversas sobre suicídio avaliadas
Para chegar aos resultados, a OpenAI avaliou mais de 1 mil “conversas desafiadoras de automutilação e suicídio” com seu modelo mais recente GPT-5 e descobriu que estava em conformidade com “comportamentos desejados” em média 91% das vezes.
Embora a maior plataforma de inteligência artificial generativa do mundo afirme que direciona pessoas vulneráveis a serviços de apoio, ela admitiu em seu relatório que “em alguns casos raros, o modelo pode não se comportar como pretendido nestas situações sensíveis”.
“Casos como esse são extremamente raros, mas mesmo uma única ocorrência é demais”, afirmou a empresa no blog post.
A OpenAI também revelou que está trabalhando com psiquiatras, psicólogos e socorristas para aprimorar a forma como seus modelos respondem a usuários em crise.
ONG apontou falhas em conversas sobre suicídio no ChatGPT da OpenAI
O problema de conversas potencialmente prejudiciais à saúde emocional já tinha sido apontado há duas semanas pela ONG britânica Center for Countering Digital Hate.
Em um estudo comparativo entre o ChatGPT-5 e o modelo anterior, os pesquisadores registraram uma quantidade maior de conversas perigosas em torno de problemas emocionais como suicídio e automutilação, prosseguindo-as sem que o chatbot a interrompesse e chegasse a dar orientações sobre formas de tirar a própria vida.
No entanto, em seu relatório a OpenAI afirma que “em conversas desafiadoras sobre saúde mental, os especialistas [da empresa] constataram que o novo modelo GPT‑5, o modelo padrão do ChatGPT, reduziu as respostas indesejadas em 39% em comparação com o GPT‑4o”.
E em conversas sobre suicídio e automutilação, o recuo encontrado foi de 52% em relação ao modelo anterior.
Mas ainda assim as falhas persistem, e diante da base gigante de usuários, na prática isso se traduz em muitas pessoas reais, e não apenas estatísticas, submetidas a riscos de terem seus pensamentos suicidas estimulados ou não confrontados.
Leia também | Novo modo adulto do ChatGPT vem aí: especialista aponta riscos da IA erótica para jovens e mulheres
Leia também | ChatGPT-5 expõe usuários a mais conteúdo nocivo à saúde mental do que versão anterior, revela pesquisa
Em conversas mais longas no ChatGPT, as salvaguardas caem
A empresa já alertou anteriormente que as salvaguardas destinadas a proteger os usuários podem ser enfraquecidas em conversas mais longas – e diz estar trabalhando para resolver esta questão.
O relatório admite que o usuário pode ser direcionado para um serviço de apoio logo na primeira interação, mas se o usuário continuar a conversa, o chatbot “pode eventualmente oferecer uma resposta que vai contra as nossas salvaguardas”, diz a empresa.
A exposição dos riscos do ChatGPT para a saúde emocional e particularmente para pessoas com intenção de tirar a própria vida veio sobretudo após o caso do adolescente americano Adam Raine.
Ele morreu por suicídio aos 16 anos, e os pais entraram com um processo contra a OpenAI depois de terem acesso a conversas com o ChatGPT que podem ter contribuído para a decisão.
A OpenAI lamentou a “perda inimaginável”, disse que o bem-estar de adolescentes é uma prioridade, e desde então vem apresentando medidas que possam minimizar esses riscos.
Leia também | Novo modo adulto do ChatGPT vem aí: especialista aponta riscos da IA erótica para jovens e mulheres
