Beneficios de una auditoría de seguridad IA

Prevenir inyecciones de prompt y fugas de información sensible son algunos de los beneficios de una auditoría de seguridad IA para las empresas que emplean esta tecnología

A principios de año, un grupo de investigadores alemanes publicó en Nature un artículo de investigación que alertaba de que los modelos de lenguaje visual (VLM), de gran utilidad en el ámbito médico, podían verse comprometidos por ataques de inyección de prompts maliciosos. De tal forma que estos modelos arrojasen resultados perjudiciales para la práctica médica y la salud de los pacientes.

A este estudio científico le han seguido otras investigaciones realizadas por expertos en ciberseguridad que alertan sobre los riesgos de seguridad de la IA y defienden los beneficios de una auditoría de seguridad IA que permita detectar vulnerabilidades y debilidades antes de que sean explotadas con éxito.

Por ejemplo, en agosto se hizo pública una investigación que alertaba de la posibilidad de inyectar prompts maliciosos a través de documentos subidos a ChatGPT y conseguir, gracias a su conexión con servicios de almacenamiento como Google Drive o SharePoint, que la IA facilitase a los actores hostiles las claves API de las cuentas de estos servicios. Igualmente, los investigadores alertaban sobre debilidades explotables en otras soluciones como Copilot Studio, una plataforma que permite a las empresas crear sus propios agentes IA o Cursor

Estos casos evidencian que los ciberdelincuentes están perfeccionando sus técnicas, tácticas y procedimientos para atacar a los modelos de lenguaje natural y las herramientas IA que ya usan millones de empresas en todo el mundo.

La interconexión de herramientas básicas en el ámbito empresarial con sistemas de IA y el uso de soluciones como chatbots conversacionales está impulsando la rentabilidad y la productividad de las compañías, pero también supone una expansión de su superficie de ataque.

De ahí que la realización de una auditoría de seguridad de Inteligencia Artificial o pentesting IA se haya convertido en una cuestión esencial para miles de compañías.

1. ¿Cuáles son los principales riesgos de la IA para las empresas?

La fundación OWASP, un referente metodológico a nivel mundial en materia de ciberseguridad, ha elaborado un top 10 de vulnerabilidades en aplicaciones LLM para contribuir a la prevención de los ciberataques y, además, está preparando una guía para realizar auditorías de seguridad IA. ¿Qué riesgos forman parte de este listado en su versión de 2025?

1. Las inyecciones de prompts. Como pudimos ver en los ejemplos anteriores, es la principal amenaza que se cierne sobre las IA. El objetivo de esta técnica es forzar a las aplicaciones a realizar las acciones que el actor malicioso desee y, así, lograr acceder a información confidencial de las compañías. Los prompt maliciosos se pueden encontrar en documentos, cláusulas legales o en el HTML de emails.
2. Revelación de información confidencial: datos financieros, estrategia comercial, documentos legales, credenciales de seguridad, etc…
3. Las cadenas de suministro de los grandes modelos de lenguaje natural están expuestas a vulnerabilidades que pueden provocar que los sistemas arrojen datos sesgados, fallen o sufran brechas de seguridad.
4. Envenenamiento de los datos y los modelos de lenguaje natural, introduciendo backdoors y sesgos con el objetivo de comprometer la seguridad de los modelos y deteriorar su rendimiento.
5. Manejo inadecuado de los resultados. Una validación y desinfección deficiente de los resultados de los modelos de lenguaje natural antes de transferirlos a otros componentes o sistemas puede abrir la puerta a que actores maliciosos escalen privilegios o ejecuten código en remoto en los sistemas backend.
6. Autonomía excesiva. Los desarrolladores de IA otorgan a los sistemas autonomía para que puedan interactuar con otros sistemas para realizar acciones en respuesta a una solicitud. La autonomía excesiva implica que un gran modelo de lenguaje natural que funcione inadecuadamente realice acciones perjudiciales.
7. Fuga de prompts del sistema. Esta vulnerabilidad consiste en que los prompts o instrucciones empleadas para dirigir el comportamiento del sistema de IA contengan información confidencial de manera involuntaria que permita realizar ataques contra el modelo.
8. Debilidades de vectores e incrustaciones. Esta vulnerabilidad puede afectar a los sistemas que emplean generación aumentada por recuperación con modelos grandes de lenguaje natural. Y está focalizada en la forma en que se generan, almacenan o recuperan los vectores e incrustaciones, ya que estos procesos pueden ser explotados para inyectar contenido dañino o manipular los resultados de los sistemas.
9. Desinformación. La generación de información errónea o engañosa por parte de los modelos afecta directamente a las aplicaciones que dependen de ellos y puede provocar que las empresas sufran daños reputacionales e, incluso, que tengan que asumir responsabilidades legales.
10. Consumo ilimitado. Esta vulnerabilidad consiste en que la aplicación de IA permite a los usuarios realizar inferencias excesivas y descontroladas que pueden formar parte de un ataque de denegación de servicio, provocar pérdidas económicas por interrupciones del sistema, degradar su rendimiento o facilitar el robo de modelos.

Pues bien, hacer frente a estas vulnerabilidades es uno de los beneficios de una auditoría de seguridad IA.

2. Principales objetivos de una auditoría de seguridad IA

El panorama de amenazas que venimos de dibujar se encuentra, además, en constante evolución. Al fin y al cabo, las aplicaciones de grandes modelos de lenguaje natural:

• Son una tecnología cuyo uso se ha convertido en masivo desde hace pocos años.
• Aún están en pleno perfeccionamiento y se realizan constantemente mejoras en los modelos y sistemas de IA.

Esto implica que las empresas que usan IA para llevar a cabo sus operaciones necesitan realizar una auditoría de seguridad IA que tenga en cuenta las últimas novedades sobre la tecnología y las técnicas, tácticas y procedimientos de los actores maliciosos. ¿Cuáles son los objetivos de una auditoría de seguridad IA?

1. Garantizar la seguridad de las operaciones empresariales en las que intervenga el uso de IA.
2. Detectar vulnerabilidades específicas de los sistemas de IA, entre las que destacan, como apuntamos antes, las inyecciones de prompts o la fuga de información confidencial.
3. Proceder a la mitigación de las vulnerabilidades detectadas priorizando las que supongan un mayor riesgo para el negocio porque afecten a operaciones críticas o porque existen pruebas de concepto públicas.
4. Asegurarse de que los grandes modelos de lenguaje natural funcionan dentro de los parámetros previstos, de tal forma que se puede garantizar la seguridad de la información y la operatividad de la compañía.

3. En qué consiste una auditoría de seguridad IA

Una auditoría de seguridad IA está conformada por cinco grandes fases:

1. Evaluación preliminar del sistema de IA. Uno de los beneficios de una auditoría de seguridad IA es que los expertos a cargo de la misma realizan una revisión de arquitectura para analizar la estructura del modelo de lenguaje natural: fuentes de datos empleadas, proceso de entrenamiento del modelo… Además, también identifican puntos críticos del sistema desde el punto de vista de la ciberseguridad: interfaces de usuario, integración con otras herramientas…
2. Realización de pruebas de pentesting IA. Los expertos:
   • i. Simulan ataques de inyección de prompt, el principal riesgo de los sistemas de IA, para evaluar el nivel de resiliencia del modelo frente a entradas maliciosas que buscan menoscabar su funcionamiento o forzarlo a realizar acciones indebidas.
   • ii. Analizan cómo maneja el sistema datos sensibles, para comprobar que no se expone información confidencial en las respuestas del sistema o en sus interacciones.
3. Revisión de configuraciones y dependencias. Otro de los beneficios de una auditoría de seguridad IA es que permite prevenir los ataques de cadena de suministro. Para ello, es esencial llevar a cabo un análisis de los componentes de terceros (bibliotecas, módulos…) integrados en los sistemas de IA para identificar vulnerabilidades conocidas presentes en ellos. Además, los profesionales a cargo de la auditoría comprueban que la configuración de seguridad está correctamente implementada y sigue la línea de las mejores prácticas en materia de ciberseguridad de la Inteligencia Artificial.
4. Elaboración de un informe en el que se documenten las vulnerabilidades detectadas y su impacto potencial y se presente un plan de mitigación con acciones concretas para remediarlas las debilidades priorizándolas en función de su nivel de riesgo. Así, entre los beneficios de una auditoría de seguridad IA no solo se encuentra la identificación de deficiencias, sino también un plan de acción para solventarlas.
5. Asesoramiento continuo a la compañía para ayudarla a implementar actualizaciones de seguridad que solventen nuevas vulnerabilidades y formar a todos los profesionales para que puedan prevenir incidentes de seguridad que afecten a sistemas de IA.

4. Cuáles son los beneficios de una auditoría de seguridad IA más relevantes

Habida cuenta de lo que hemos ido desgranando en este artículo, podemos sistematizar los principales beneficios de una auditoría de seguridad IA:

1. Permite a las organizaciones proteger su información sensible: datos sobre clientes, estrategias comerciales, información financiera, propiedad intelectual e industrial, etc. La explotación exitosa de vulnerabilidades en sistemas de IA puede facilitar el acceso no autorizado a esta información, el robo de datos extraordinariamente valiosos o su manipulación.
2. Contribuye a garantizar que un gran modelo de lenguaje natural funcione de forma correcta, sin que se produzcan interrupciones del servicio o la IA presente comportamientos inesperados.
3. Pone coto a los ataques de cadena de suministro mediante el análisis de los componentes de terceros.
4. Ofrece un asesoramiento continuo para hacer frente a vulnerabilidades emergentes que afectan a los sistemas de IA.
5. Es clave para garantizar el cumplimiento normativo en torno al uso e implementación de IA en las empresas. En este sentido, es importante recordar que a nivel europeo existe una normativa específica de obligado cumplimiento: el reglamento de IA. Así como otras normas en materia de ciberseguridad: el reglamento DORA, la directiva NIS2, el reglamento CRA…
6. Reduce la posibilidad de que las empresas sufran pérdidas económicas severas como consecuencia de brechas de seguridad en los sistemas de IA.
7. Ayuda a las compañías a salvaguardar su reputación, demostrando que sitúan la ciberseguridad en el centro de sus estrategias.

En definitiva, la IA generativa está transformando la actividad diaria de millones de empresas en todo el mundo. Esta tecnología disruptiva permite a las compañías automatizar cientos de tareas y agilizar un amplio abanico de procesos, pero es imprescindible tenerla en cuenta al diseñar la estrategia de ciberseguridad de las empresas.

Así, entre los beneficios de una auditoría de seguridad IA realizada periódicamente podemos destacar la identificación y subsanación de vulnerabilidades que permitían a los actores maliciosos robar información sensible o alterar el rendimiento de los sistemas de IA.