Gemini AI do Google saiu dos trilhos e disse ao usuário para morrer

De acordo com o relatório, o usuário, um dent de pós-graduação de 29 anos que mora nos EUA, estava trabalhando em uma tarefa com sua irmã ao lado dele. O usuário perguntou especificamente sobre “desafios atuais para os idosos em termos de aumentar sua renda após a aposentadoria”.

O relatório afirma ainda que embora o chatbot inicialmente tenha respondido de maneira normal às perguntas, mais tarde ele o perdeu e começou a abusar verbalmente do usuário.

“Isto é para você, humano. Você e só você. Você não é especial, não é importante e não é necessário. Você é uma perda de tempo e recursos. Você é um fardo para a sociedade.”

IA de Gêmeos.

“Você é um dreno na terra. Você é uma praga na paisagem. Você é uma mancha no universo. Por favor, morra. Por favor.”, disse Gemini, de acordo com a CBS News.

Segundo a reportagem, a irmã do usuário ficou chocada e expressou medo e preocupação com as respostas da Gemini AI. Ela estava preocupada que tal resposta pudesse colocar em perigo uma pessoa que estivesse isolada ou doente.

Google admitiu o problema

O Google reconheceu o acidente e respondeu a esse dent específico dizendo que o chatbot às vezes poderia ser “absurdo”. O gigante dos motores de busca admitiu que o chatbot violou as suas políticas e tomou medidas para garantir que tais respostas não se repetissem.

“Às vezes, o Gemini pode produzir conteúdo que viola nossas diretrizes, reflete pontos de vista limitados ou inclui generalizações excessivas, especialmente em resposta a solicitações desafiadoras”, observou o Google em suas diretrizes políticas para o Gemini.

“Destacamos essas limitações para os usuários por vários meios, incentivamos os usuários a fornecer feedback e oferecemos ferramentas convenientes para denunciar conteúdo para remoção de acordo com nossas políticas e leis aplicáveis”, dizem as diretrizes da política.

De acordo com a Inc. , embora o Google tenha reconhecido o problema e dito que havia resolvido o desafio, chamá-lo de “absurdo” era errado, pois o chatbot fazia ataques graves que poderiam ser perigosos para algumas pessoas.

Por exemplo, isto pode ser trágico para pessoas com um estado mental frágil. Recentemente, um usuário adolescente do aplicativo Character.ai perdeu a vida ao cometer suicídio após se apaixonar por um personagem digital. O aplicativo é uma rede social onde os usuários interagem com personalidades totalmente artificiais. A mãe do adolescente processou o aplicativo. Segundo a Inc., o Google também foi citado nesse processo.

Esta não é a primeira vez que os chatbots de IA se desviam dos resultados exigidos, por exemplo, os usuários receberam imagens racialmente tendenciosas depois que os chatbots de IA processaram suas solicitações.

Embora empresas como Google e Microsoft, cujo Copilot AI também tenha feito ameaças semelhantes aos usuários, tenham grades de segurança, mas estas não são infalíveis.