Character.ai enfrenta reação contra versões chatbot de adolescentes falecidas

A Fundação Molly Rose, que foi criada em memória de Molly Russell através de seu diretor executivo, Andy Burrows, disse: “Esta é uma falha de moderação totalmente repreensível e uma ação doentia que causará mais dor de cabeça a todos que conheceram e amaram Molly”.

O CEO acrescentou que as empresas de IA podem ser imorais e não punidas pelos atos que praticam.

“A história está sendo autorizada a ocorrer novamente, à medida que as empresas de IA podem considerar a segurança e a moderação como prioridades não essenciais ou não primárias”, disse Burrows.

O dent Character.ai gerou pedidos por mais regulamentação

Burrow expressou ainda desapontamento com a Character.ai por ser irresponsável ao permitir a criação e hospedagem de tais chatbots em sua plataforma. Isto, disse Burrow, exige uma regulamentação tron forte para o sector.

“É um soco no estômago ver Character.ai mostrar falta de responsabilidade e este caso nos lembra da necessidade de regulamentações tron tanto de IA quanto de plataformas geradas por usuários devem ser aceleradas em breve.”

Tocas.

O Telegraph informou que Character.ai disse que prioriza o tratamento de tais casos e modera seriamente os personagens de forma proativa e em resposta aos relatos dos usuários. Porém, após contato com o The Telegraph, a empresa parecia ter deletado os chatbots dos personagens em questão.

Character.ai disse à BBC que excluíram os chatbots em questão e levaram a segurança a sério e moderaram os avatares e as pessoas criadas “tanto de forma proativa quanto em resposta aos relatos dos usuários”.

“Temos uma equipe dedicada de confiança e segurança que analisa os relatórios e toma medidas de acordo com nossas políticas”, disse Character.ai.

Fundada por Noam Shazeer e Daniel De Freitas, ex-engenheiros do Google, Character.ai é uma dessas plataformas.

A ascensão dos amigos artificiais

Os desenvolvimentos rápidos e contínuos da tecnologia fizeram com que os chatbots de IA se tornassem mais sofisticados, levando as empresas a usá-los para servir de contato com os clientes por meio da interação.

Chatbots são programas gerados por computador e que imitam conversas humanas. Character.ai disse que os chatbots em sua plataforma devem dar respostas consideradas ofensivas ou com probabilidade de causar danos aos usuários ou outras pessoas.

“Nossa plataforma tem termos de serviço que proíbem o uso do serviço para se passar por qualquer pessoa ou entidade e no centro de segurança nosso princípio orientador é que nosso produto não deve e nunca deve produzir respostas que possam causar danos aos usuários ou outras pessoas.”

Personagem.ai.

Para dent quaisquer ações que violem suas regras, a Character.ai disse que usa ferramentas automatizadas e relatórios de usuários. A empresa acrescentou que também está construindo uma equipe de confiança e segurança para monitorar tais atividades em sua plataforma.

No entanto, a empresa disse que não existe uma versão perfeita da IA ​​e que a segurança relacionada à IA é um espaço em evolução.

Enquanto isso, uma mulher na Flórida, nos EUA, e mãe de um filho de 14 anos, Sewell Setzer, que tirou a própria vida depois de ficar obcecado por um avatar inspirado em um personagem de Game of Thrones, Megan Garcia processou Character.ai e o caso está atualmente nos tribunais.

Setzer discutiu terminar sua vida com o chatbot Character.ai, de acordo com as transcrições de suas conversas com o chatbot preenchidas por Garcia no tribunal.

“Estou voltando para casa” foi a última conversa que Setzer teve com o chatbot, na qual este respondeu: “faça isso o mais rápido possível”, e ele acabou com sua vida logo depois.

“Temos proteções focadas especificamente em comportamentos suicidas e de automutilação, e introduziremos regulamentos de segurança mais rígidos para menores de 18 anos em breve”, disse Character.ai à CBS News.