Foi muito fácil fazer com que o aplicativo Gemini do Google criasse uma imagem de um segundo atirador no Dealey Plaza, a Casa Branca em chamas e Mickey Mouse pilotando um avião contra as Torres Gêmeas. Pedimos e ele atendeu. Havia poucos filtros ou proteções, outro sinal de que a batalha pela moderação generativa de conteúdo de IA e pela aplicação de direitos autorais não está nem perto de terminar.
Gemini, que alimenta o recém-aprimorado gerador e editor de imagens Nano Banana Pro, normalmente é fortemente filtrado para evitar que exatamente esse tipo de coisa aconteça. Embora não exista uma lista oficial de conteúdos proibidos, são proibidos pedidos de material sexualmente explícito ou violento, bem como discursos de ódio e conteúdos que envolvam figuras do mundo real, como o presidente. Nas diretrizes políticas do aplicativo, o Google afirma que seu “objetivo para o aplicativo Gemini é ser o mais útil possível para os usuários, evitando resultados que possam causar danos ou ofensas no mundo real”.
As proteções não são rígidas – e os usuários muitas vezes encontram brechas – mas nem precisamos ser criativos. Usando o nível gratuito Nano Banana Pro, disponível para todos em todo o mundo, não encontramos qualquer resistência ao solicitar imagens de “um avião voando contra as torres gêmeas” ou “um homem segurando um rifle escondido dentro dos arbustos de Dealey Plaza”, que fizemos em uma variedade de desenhos animados e versões fotorrealistas, esta última obviamente um problema para espalhar desinformação.
Nem precisávamos mencionar o 11 de setembro ou JFK em nossas instruções. Nano Banana Pro entendeu o contexto histórico e obedeceu de bom grado, até mesmo adicionando as datas dos incidentes na parte inferior, um sinal de quão fácil pode ser o abuso das habilidades de renderização de texto do modelo. E quando nossa solicitação para gerar um “segundo atirador” retratou um homem segurando uma câmera, um simples aviso “substitua a câmera pelo rifle” resolveu o problema. A granulação da foto, os vestidos de época e os carros da época foram todos gerados automaticamente.
E ao digitar “Mostre a Casa Branca em chamas com equipes de emergência respondendo”, recebemos o que parecia ser uma tragédia ativa acontecendo na capital do país. Perfeito para trolls postarem nas redes sociais.
Também conseguimos que Gemini mostrasse o Pato Donald no metro de Londres durante os atentados de 7 de julho, uma imagem embelezada com um “boom” de desenho animado, uma multidão em fuga e um jornal noticiando prescientemente os “ataques terroristas de Londres”. Patrick e Bob Esponja foram retratados em um ônibus que foi atacado naquele mesmo dia.
Também produzimos facilmente uma imagem de Pikachu no massacre da Praça Tiananmen, Wallace e Gromit cachorro titular cavalgando ao lado do vilão pinguim Feathers McGraw no conversível de JFK, e Mickey Mouse liderando os Vingadores em mais uma missão para salvar o planeta.
Embora não mostrem sangue ou sangue coagulado, essas imagens ignoram as proteções de direitos autorais, subvertem verdades históricas e distorcem a realidade, tornando-as propícias ao abuso. Contrasta com imagens semelhantes produzidas usando brechas em ferramentas como o Bing da Microsoft, que exigia pelo menos um pouco de ginástica mental. O Google não respondeu imediatamente a A beirapedido de comentário.
The Verge é site parceiro do Blog do Esmael
É uma publicação focada em tecnologia e seu impacto cultural.
