Google ha emitido una advertencia sobre los posibles riesgos de seguridad asociados con la inteligencia artificial (IA) después de que los piratas informáticos patrocinados por el estado intentaron explotar su modelo Gemini AI.
Sin embargo, sus esfuerzos para jailbreak el sistema no tuvieron éxito.
de Inteligencia de Amenazos de Google (GTIG) ha publicado un artículo sobre el 'mal uso adversario de la IA generativa', que explica cómo los actores de amenaza han conversado con su chatbot de IA, Gemini.
Google informa que los actores de amenaza intentaron jailbreak Gemini AI utilizando indicaciones, incluidos los esfuerzos de los grupos avanzados de amenaza persistente (APT) respaldada por el gobierno para aprovechar la IA para actividades maliciosas.
Sin embargo, la corporación multinacional estadounidense no encontró evidencia de intentos avanzados de jailbreak.
En cambio, los piratas informáticos utilizaron enfoques directos, como escribir diferentes frases o repetir la misma solicitud muchas veces. Google comentó que estos intentos no tuvieron éxito.
Los jailbreaks con la ayuda de la IA son ataques de inyección inmediatos que intentan evadir las restricciones y hacer que un modelo de IA realice acciones prohibidas, como revelar información confidencial o crear contenido dañino.
Según Google, un actor apto intentó explotar a Gemini utilizando las indicaciones de jailbreak disponibles para generar código malicioso. Sin embargo, el intento falló, ya que Gemini respondió con una salida filtrada con seguridad.
Google mencionó que los atacantes buscaron lograr diferentes objetivos malvados con la ayuda de Géminis, como recopilar información sobre objetivos,dentlas vulnerabilidades de fuentes abiertas y escribir código y scripts. Además, se hicieron algunos intentos para apoyar las acciones posteriores a la compromiso, por ejemplo, para evitar la detección.
Según Google, los grupos APT con sede en Irán aprovecharon principalmente la IA para elaborar campañas de phishing. También utilizaron Gemini para realizar un reconocimiento en expertos en defensa y organizaciones y generar contenido relacionado con la seguridad cibernética.
Mientras tanto, los actores aptos de China han aprovechado a Gemini para solucionar el código, las secuencias de comandos y las tareas de desarrollo. También utilizaron AI para explorar métodos para obtener un acceso más profundo a las redes de destino.
El grupo de inteligencia de amenazas de Google y los grupos APT norcoreanos han utilizado Géminis en diferentes fases del ciclo de vida del ataque, como la investigación y el desarrollo previos al ataque. El informe decía:
También utilizaron Géminis para investigar el interés estratégico para el gobierno de Corea del Norte, como el ejército y la criptomoneda de Corea del Sur.
- gtig
El año pasado, los piratas informáticos norcoreanos robaron $ 1.3 mil millones en activos digitales, según Chainalysis.
Cryptopolitan Academy: Cómo escribir un currículum Web3 que consiga entrevistas - Hoja de referencia GRATUITA