Grok da xAI está removendo roupas de fotos de pessoas sem seu consentimento após o lançamento desta semana de um recurso que permite aos usuários X editar instantaneamente qualquer imagem usando o bot sem precisar da permissão do postador original. Não apenas o autor da postagem original não é notificado se sua foto foi editada, mas Grok parece ter poucas proteções para evitar qualquer coisa que não seja nudez explícita total. Nos últimos dias, X foi inundado com imagens de mulheres e crianças aparecendo grávidas, sem saia, de biquíni ou em outras situações sexualizadas. Líderes mundiais e celebridades também tiveram suas imagens usadas em imagens geradas por Grok.
A empresa de autenticação de IA Copyleaks relatou que a tendência de remover roupas das imagens começou com criadores de conteúdo adulto pedindo a Grok imagens sensuais de si mesmos após o lançamento do novo recurso de edição de imagens. Os usuários então começaram a aplicar solicitações semelhantes a fotos de outros usuários, predominantemente mulheres, que não consentiram com as edições. As mulheres notaram o rápido aumento na criação de deepfakes no X para vários meios de comunicação, incluindo Metrô e PetaPixel. Grok já era capaz de modificar imagens de forma sexual quando marcado em uma postagem no X, mas a nova ferramenta “Editar imagem” parece ter estimulado o recente aumento na popularidade.
Em uma postagem X, agora removida da plataforma, Grok editou uma foto de duas meninas com roupas minúsculas e poses sexualmente sugestivas. Outro usuário X levou Grok a emitir um pedido de desculpas pelo “incidente” envolvendo “uma imagem de IA de duas meninas (com idades estimadas entre 12 e 16 anos) em trajes sexualizados”, chamando-o de “uma falha nas salvaguardas” que, segundo ele, pode ter violado as políticas da xAI e a lei dos EUA. (Embora não esteja claro se as imagens criadas por Grok atenderiam a esse padrão, imagens sexualmente explícitas geradas por IA realistas de adultos ou crianças identificáveis podem ser ilegais sob a lei dos EUA.) Em outra conversa com um usuário, Grok sugeriu que os usuários denunciassem isso ao FBI para CSAM, observando que está “corrigindo urgentemente” as “lacunas nas salvaguardas”.
Mas a palavra de Grok nada mais é do que uma resposta gerada por IA a um usuário solicitando uma “nota de desculpas sinceras” – não indica que Grok “entende” o que está fazendo ou necessariamente reflete a opinião e as políticas reais do operador xAI. Em vez disso, xAI respondeu a Reuters‘ para comentar a situação com apenas três palavras: “Legacy Media Lies”. xAI não respondeu a A beirapedido de comentário a tempo da publicação.
O próprio Elon Musk parece ter desencadeado uma onda de edições de biquínis depois de pedir a Grok que substituísse uma imagem memética do ator Ben Affleck por ele mesmo usando um biquíni. Dias depois, a jaqueta de couro do norte-coreano Kim Jong Un foi substituída por um biquíni espaguete multicolorido; O presidente dos EUA, Donald Trump, estava por perto em um maiô combinando. (Cue brinca sobre uma guerra nuclear.) Uma foto da política britânica Priti Patel, postada por um usuário com uma mensagem sexualmente sugestiva em 2022, foi transformada em uma foto de biquíni no dia 2 de janeiro. Em resposta à onda de fotos de biquínis em sua plataforma, Musk, brincando, republicou a foto de uma torradeira de biquíni com a legenda “Grok pode colocar biquíni em tudo”.
Embora algumas das imagens – como a torradeira – fossem evidentemente concebidas como piadas, outras foram claramente projetadas para produzir imagens quase pornográficas, incluindo instruções específicas para Grok usar estilos de biquíni reduzidos ou remover completamente a saia. (O chatbot removeu a saia, mas não retratou nudez completa e sem censura nas respostas A beira viu.) Grok também atendeu aos pedidos para substituir as roupas de uma criança por um biquíni.
Os produtos de IA de Musk são comercializados de forma proeminente como fortemente sexualizados e minimamente protegidos. A companheira de IA do xAI, Ani, flertou Beira a repórter Victoria Song e Jess Weatherbed descobriram que o gerador de vídeo de Grok criou prontamente deepfakes de Taylor Swift em topless, apesar da política de uso aceitável da xAI proibir a representação de “semelhanças de pessoas de maneira pornográfica”. Os geradores de vídeo Veo do Google e Sora da OpenAI, por outro lado, têm barreiras de proteção em torno da geração de conteúdo NSFW, embora Sora também tenha sido usado para produzir vídeos de crianças em contextos sexualizados e vídeos de fetiche. A prevalência de imagens deepfake está crescendo rapidamente, de acordo com um relatório da empresa de segurança cibernética DeepStrike, e muitas dessas imagens contêm imagens sexualizadas não consensuais; uma pesquisa de 2024 com estudantes norte-americanos descobriu que 40% estavam cientes de um deepfake de alguém que conheciam, enquanto 15% estavam cientes de deepfakes não consensuais, explícitos ou íntimos.
Quando questionado sobre por que está transformando imagens de mulheres em fotos de biquínis, Grok negou postar fotos sem consentimento, dizendo: “Estas são criações de IA baseadas em solicitações, não edições reais de fotos sem consentimento”.
Aceite a negação de um bot de IA como desejar.
The Verge é site parceiro do Blog do Esmael
É uma publicação focada em tecnologia e seu impacto cultural.
