Brasil pide a X impedir generación de contenido sexualizado con Grok
La Agencia Nacional de Protección de Datos, la Secretaría Nacional del Consumidor y el Ministerio Público Federal de Brasil recomendaron a la matriz de la plataforma digital X que se asegure de que su herramienta de inteligencia artificial, Grok, no se utilice de manera inadecuada para generar y distribuir contenido sexualizado.
Según el documento divulgado el martes (20), se recomienda crear, en un plazo máximo de 30 días, procedimientos técnicos y operativos para identificar, revisar y retirar contenidos de este tipo que aún estén disponibles en X, cuando sean generados por Grok a partir de comandos realizados por los usuarios.
Las instituciones piden la suspensión inmediata de las cuentas involucradas en la producción de imágenes sexuales o erotizadas a través de Grok, tanto de niños y adolescentes como de adultos sin autorización.
También recomiendan establecer un "mecanismo transparente, accesible y eficaz" que permita a los interesados ejercer sus derechos. Este mecanismo debe incluir el envío de denuncias por uso irregular, abusivo o ilegal de datos personales, especialmente en casos de creación de contenidos sintéticos sexualizados o erotizados sin consentimiento, garantizando una respuesta adecuada en un plazo razonable.
Las recomendaciones se desarrollaron en respuesta a las quejas de usuarios sobre la generación de contenido sintético sexualizado a partir de imágenes de personas reales.
También utilizaron información de la prensa nacional e internacional y pruebas realizadas por instituciones gubernamentales, que señalan el uso ilegal de la herramienta por usuarios para producir deepfakes, una técnica de inteligencia artificial que crea imágenes falsas a partir de personas reales. Estos contenidos son sexualizados, eróticos y pornográficos, y muestran a mujeres, niños y adolescentes reales.
Las instituciones advierten que este tipo de contenido puede afectar la protección de datos personales, las relaciones de consumo, la dignidad humana y otros derechos individuales difusos, colectivos e irrenunciables, especialmente en el caso de mujeres, niños y adolescentes.
Las instituciones recomiendan aplicar de inmediato medidas para evitar que Grok genere nuevas imágenes, vídeos o archivos de audio que muestren a niños y adolescentes en contextos sexualizados o erotizados.
Marco de derechos civiles
Según el documento, aunque el artículo 19 del Marco Civil de Internet en Brasil establece que los proveedores de aplicaciones de Internet no son responsables de contenido perjudicial publicado por terceros, a menos que haya una decisión judicial, la retirada debe hacerse efectiva.
Esto se debe a que, en el caso de los deepfakes sexualizados, no son producidos solo por terceros, sino mediante una interacción entre los usuarios y la herramienta de inteligencia artificial desarrollada y distribuida por X, "lo que la convierte en coautora de tales contenidos, y no solo en una intermediaria", dice el texto.
El documento también señala que el Supremo Tribunal Federal (STF) declaró recientemente parcialmente inconstitucional el artículo 19 del Marco Civil de Internet de Brasil, ya que "no brinda suficiente protección a los derechos constitucionales relevantes".
En la sentencia, la máxima corte determinó que los proveedores de aplicaciones de Internet tienen un deber especial de cuidado para tomar todas las medidas necesarias que eviten la difusión masiva de delitos especialmente graves, como los cometidos contra las mujeres por su género, incluyendo contenidos que propaguen el odio hacia ellas.
Autorregulación
Las instituciones también recuerdan que la política de autorregulación de X prohíbe la publicación y el intercambio de imágenes o vídeos explícitos que se hayan producido o compartido sin el consentimiento de las personas involucradas.
La plataforma también prohíbe producir, manipular y difundir imágenes de terceros con contenido sexual o erótico en contextos donde participe Grok. Esto hace "insostenible, desde esta perspectiva, ofrecer una herramienta de inteligencia artificial sin estrictos filtros que faciliten conductas como estas".
Si las recomendaciones no se cumplen o se aplican de manera insuficiente para mitigar los riesgos identificados, las tres instituciones podrán considerar y tomar otras medidas. Estas medidas podrían ser tanto administrativas como judiciales, para asegurar una protección adecuada a los ciudadanos del país, especialmente a las mujeres, los niños y los adolescentes.
