Na semana anterior ao Dia Mundial de Prevenção do Suicídio (10 de setembro), a OpenAI, dona do ChatGPT, publicou um longo texto em seu blog anunciando planos para uma série de ajustes destinados a proteger a saúde mental e segurança de menores que utilizam o serviço, incluindo controle parental.
A manifestação veio em seguida a um caso que expôs riscos provocados pelas interações de pessoas vulneráveis com a IA: os pais do americano Adam Raine, de 14 anos, entraram há duas semanas com um processo contra a OpenAI por ter supostamente estimulado o adolescente a tirar a própria vida.
Assim, os chatbots de inteligência artificial generativa se somam às redes sociais como fatores que podem levar pessoas vulneráveis a cometer atos extremos.
Em sua campanha Mudando a Narrativa, a OMS (Organização Mundial de Saúde) alerta para a influência das plataformas digitais nas taxas de suicídio.
O caso que motivou a manifestação da OpenAI
No processo protocolado há duas semanas na Califórnia, os pais de Adam Raine acusam a empresa de homicídio culposo.
Depois da morte, eles descobriram que o jovem passou meses dialogando com o ChatGPT sobre suas condições mentais e seus planos de tirar a própria vida. O chatbot concordou e apoiou-o na decisão.
Em 2024, um outro processo semelhante chegou aos tribunais da Flórida. Megan Garcia, mãe de Sewell Setzer, de 14 anos, que morreu por suicídio aos 14 anos, acionou judicialmente a empresa de inteligência artificial Character.AI, do Google.
Segundo a reclamação judicial, o filho da autora desenvolveu dependência emocional de um chatbot da Character.AI.
A ferramenta, criada com base em modelos de linguagem, simulava a identidade de um terapeuta e parceiro romântico adulto fictício.
Leia também | Justiça autoriza mãe a processar Google e empresa de IA por morte do filho de 14 anos nos EUA
O que disse a OpenAI
A notícia do processo movido pela família Adam Raine foi divulgada pela imprensa americana no dia 26 de agosto. No mesmo dia, a OpenAI publicou um post em seu blog sem se referir diretamente ao caso, mas dizendo:
Com a grande adoção do ChatGPT no mundo todo, muitas pessoas começaram a usar nossa ferramenta para não só realizar pesquisas, atividades de programação ou de escrita, mas também na hora de tomar decisões pessoais, como conselhos íntimos, coaching e apoio.
Dentro desse grande número de pessoas, é inevitável que algumas delas se encontrem em situações graves de sofrimento mental ou emocional. Escrevemos sobre isso há poucas semanas e nosso plano era abordar o assunto em mais detalhes depois da próxima atualização. Contudo, casos recentes de pessoas que usaram o ChatGPT durante crises agudas tiveram um impacto profundo em nossas equipes, e portanto decidimos falar sobre isso o mais rápido possível.
O texto descreve como os sistemas são treinados para não estimular práticas perigosas e encaminhar os que demonstram instabilidade emocional a serviços de apoio. No entanto, reconhece:
“Mesmo com essas proteções, houve situações em que nossos sistemas não se comportaram da forma esperada.”
Medidas concretas no ChatGPT
No dia 2 de setembro, em outro comunicado, a empresa oficializou planos para uma série de ajustes para proteção à saúde mental e pela segurança de menores — incluindo controle parental.
“Nós vimos pessoas se apoiarem nele [ChatGPT] nos momentos mais difíceis. É por isso que nós continuamos a melhorar como nossos modelos reconhecem e respondem a sinais de estresse mental e emocional, guiados por orientações de especialistas.”.
As medidas anunciadas vão desde mais pesquisas para que a IA generativa responda apropriadamente sobre saúde mental até intervenções mais diretas, como notificar contas próximas quando um adolescente tocar em um assunto sensível. O plano da empresa é que elas estejam implementadas até o final deste ano.
Mas já no próximo mês, os pais poderão, segundo o comunicado:
- Vincular sua suas contas à conta do adolescente (idade mínima de 13) por meio de um simples convite por e-mail.
- Controlar como o ChatGPT responde ao filho adolescente com regras de comportamento de modelo apropriadas à idade, que estão ativadas por padrão.
- Gerenciar quais recursos desativar, incluindo memória e histórico de bate-papo.
- Receber notificações quando o sistema detectar que o filho adolescente está em um momento de sofrimento agudo.
Em outro artigo, a OpenAI já deixara claro que não é recomendada para menores de 13 anos, e que o público menor de idade precisava usar a ferramenta com consentimento dos pais, mesmo quando usada para estudo.
“Recomendamos cautela ao expor crianças [ao ChatGPT], mesmo àquelas dentro da faixa etária recomendada, e se você está usando ChatGPT num contexto educacional para crianças com menos de 13 anos, a interação com o ChatGPT deve ser conduzida por um adulto.”
Leia também | Saúde mental, suicídio e o ‘capacitismo’: guias ensinam as palavras certas para quebrar o estigma
IA pode ser ‘conselheira’, mas não para menores
Embora oficialmente pareça se tratar apenas de novos recursos, no anúncio a OpenAI reconhece de maneira indireta o potencial das big techs para causar mal a crianças e adolescentes, ao ponto de levá-los ao suicídio.
Esse risco não é novo, e vem motivando a regulamentação das redes sociais. Algoritmos e falhas na moderação potencializam a disseminação de conteúdo perigoso — especialmente para menores —, envolvendo transtornos alimentares e automutilação.
Com a IA, no entanto, os riscos são diferentes, devido à interação direta, com o chatbot funcionando como um conselheiro.
Para o bem ou para o mal, chatbots como o ChatGPT tem se tornado cada vez mais populares como ferramentas de terapia, segundo um estudo publicado no Journal of Medical Internet Research em julho deste ano.
Embora a prática apresente potencial, ela ainda precisa de salvaguardas, e não apenas para jovens.
“Para garantir implementação ética e eficiente, um conjunto completo de proteções — particularmente no que tange a privacidade, viés de algoritmo e engajamento responsável dos usuários — deve ser estabelecido”, afirma a pesquisa.
Leia também | ‘Unalivicide’: análise nas redes sociais expõe falhas na moderação de conteúdo sobre suicídio exibido a crianças e jovens
