Ciberataques contra chatbots de IA. Una nueva amenaza para las empresas

Los ciberataques contra chatbots de IA son una amenaza creciente para las empresas que emplean esta tecnología en el ámbito comercial o la atención al cliente

123456. Este era el nombre de usuario y la contraseña de la cuenta de administrador del chatbot de IA que usan el 90% de las franquicias de McDonald’s para gestionar las solicitudes de empleo de millones de personas.

Además, el chatbot adolecía de una vulnerabilidad IDOR (referencia directa a objetos insegura, por sus siglas en inglés) en una API interna. Ambas deficiencias permitieron a unos investigadores obtener información sobre 64 millones de solicitudes de empleo: nombres, emails, direcciones, disponibilidad para trabajar y la información del test de personalidad que deben cubrir los solicitantes…

Esta noticia nos permite poner el foco sobre los ciberataques contra chatbots, una tecnología cada vez más usada en toda clase de empresas para gestionar procesos críticos como la venta de sus productos y servicios o la atención al cliente, puesto que los chatbots conversacionales basados en IA son capaces de gestionar conversaciones con usuarios y automatizar la realización de tareas administrativas.

De hecho, el auge que está experimentando la Inteligencia Artificial permite a las compañías desarrollar o contratar chatbots de IA cada vez más precisos y eficientes, capaces de responder con éxito a los usuarios y completar procesos como la venta de un producto, la resolución de una duda o la realización de una reserva.

Por todo ello, los chatbots están llamados a incrementar la rentabilidad de los negocios y sustituir los roles encargados de realizar tareas repetitivas.

Las ventajas de implementar chatbots de IA son evidentes, pero las deficiencias de seguridad detectadas en McHire, la suite de contratación de McDonald’s, desarrollada por la empresa Paradox.ai, evidencian la necesidad de fortalecer la ciberseguridad de esta tecnología para evitar ciberataques contra chatbots.

1. Por qué los chatbots de IA van a proliferar en los próximos años

¿Usas ChatGPT, Gemini u otra IA generativa en tu día a día? Nos vamos a aventurar un poco y predecir que, en la mayoría de los casos, la respuesta será un sí.

La Inteligencia Artificial no es una moda, ha llegado para quedarse y su relevancia en la operatividad diaria de las empresas va a ir en aumento, al calor de una tecnología que se perfecciona a pasos agigantados.

En algunos casos, los chatbots de IA se emplean de manera interna. De tal forma que son los propios profesionales los que interactúan con ellos para solventar dudas, obtener datos o automatizar tareas.

Sin embargo, como apuntamos antes, muchas empresas ya usan chatbots de IA cuya misión es interactuar con usuarios ajenos a las organizaciones:

• Servicios de atención al cliente telefónicos o mediante aplicaciones de mensajería instantánea o webs.
• Asistentes de ventas digitales, de cara a resolver las dudas de los clientes y aconsejarles en el proceso de compra.
• Herramientas de reserva de citas, esencial en ciertos sectores, como el sanitario.
• Soluciones focalizadas en la gestión de recursos humanos, para, por ejemplo, tramitar las solicitudes de empleo.

Los beneficios de los chatbots de IA para las compañías son evidentes:

• Automatizan tareas que antes debían realizar personas.
• Permiten ofrecer una atención al cliente personalizada y continua.
• Solventan las dudas de clientes y potenciales y les ofrecen servicios y productos que se ajusten a sus intereses o necesidades.
• Impulsan la generación de oportunidades y ventas a través del canal digital.
• Facilitan la gestión de las oportunidades y reducen el tiempo de conversión en ventas.
• Agilizan y sistematizan procesos relacionados con la gestión de Recursos Humanos, como las solicitudes de empleo.
• Reducen los costes salariales de las empresas e incrementan su rentabilidad y productividad.

2. Cuáles son los principales riesgos de los ciberataques contra chatbots de IA

Sin embargo, cuanto mayor sea la relevancia de los chatbots y la cantidad de información con la que trabajan, también crecen los riesgos asociados a los ciberataques contra chatbots. ¿Cuáles son las principales amenazas que se ciernen sobre ellos? A partir del Top 10 de vulnerabilidades en aplicaciones LLM (grandes modelos de lenguaje natural) podemos hacer hincapié en las siguientes:

• Inyección directa e indirecta de prompts. De tal forma que los delincuentes puedan tener acceso a datos confidenciales, manipular procesos de toma de decisiones e, incluso, tomar el control del chatbot.
• Tratamiento inseguro de la salida. Es fundamental proceder a la sanitización de las respuestas del modelo del chatbot y codificar la salida que llega a los usuarios que interactúan con él. De lo contrario, la empresa se expone a ataques de XSS y, en menor medida, a la ejecución remota de código en los sistemas backend o al escalado de privilegios de los atacantes.
• Ataques de denegación de servicio. El objetivo de estos ciberataques contra chatbots es menoscabar su funcionamiento y provocar que las empresas deban invertir más recursos para mantenerlos operativos. Esto puede ser crítico, sobre todo, en los procesos de venta y atención al cliente.
• Exfiltración de información sensible de la empresa, sus clientes u otras personas. El caso que abordamos al inicio de este artículo evidencia que los ciberataques contra chatbots pueden saldarse con la revelación de datos personales, pero también se puede conseguir otra información, como datos sobre la estrategia comercial de una empresa o, incluso, propiedad industrial e intelectual de la misma.
• Diseño inseguro de plugins. Al interactuar con los usuarios, los chatbots realizan llamadas automáticas a plugins. Es fundamental que:
  • Que los actores maliciosos no puedan emplear una implementación incorrecta del sistema de plugins para comprometer el servicio.
  • Que el sistema no pueda emplear plugins propiamente maliciosos que se puedan emplear para comprometerlo posteriormente.
• Dotar de una autonomía excesiva al chatbot. Si un chatbot puede llevar a cabo demasiadas acciones y cuenta con permisos excesivos y su seguridad es menoscabada, podría abrir la puerta a que los actores maliciosos llevasen a cabo acciones dañinas para la empresa. Normalmente, esto viene de la mano de agentes (sistemas que implementan el MCP – Model Context Protocol).

3. La seguridad desde el desarrollo y a lo largo del ciclo de vida es esencial frente a los ciberataques contra chatbots

¿Cómo se pueden afrontar los riesgos que venimos de señalar y evitar los ciberataques contra chatbots o minimizar su impacto? Es fundamental que las compañías que desarrollan chatbots implementen una política de seguridad desde el diseño que sirva para prevenir vulnerabilidades explotables por los actores maliciosos. ¿Qué debe incluir esta política?

• Realización de Threat Modeling.
• Prácticas de codificación seguras y auditorías de código fuente.
• Prácticas seguras de tratamiento de datos.
• Pruebas de seguridad, como DAST, para identificar vulnerabilidades.
• Diseño transparente de los chatbots para poder auditarlos de forma continua.

Además, claro está, es imprescindible monitorizar continuamente la seguridad de los chatbots en busca de debilidades e implementar mejoras en los mecanismos de seguridad para hacer frente a los ataques de inyección de prompts o salvaguardar la información de personas y empresas que manejan los chatbots para poder realizar las tareas que tienen encomendadas.

4. Las empresas deben poner el foco en la seguridad del software de terceros

Algunas grandes compañías desarrollan internamente sus propios chatbots, pero lo más habitual es que contraten soluciones desarrolladas por compañías especializadas, como bien demuestra el caso de McDonald’s.

Pues bien, en estos casos, es fundamental que las empresas tengan en cuenta que los ciberataques contra chatbots desarrollados por terceros pueden salirles muy caros.

Una de las grandes constantes en los últimos años en el terreno de la ciberseguridad son los ataques de cadena de suministro y los incidentes de seguridad que tiene su origen en un ataque exitoso sufrido por un proveedor.

A la hora de diseñar la estrategia de seguridad de una empresa, auditar su infraestructura tecnológica y buscar vulnerabilidades para subsanarlas antes de que sean explotadas es crítico tener en cuenta todo el software y hardware empleado por un negocio.

Para evitar los ciberataques contra chatbots o limitar su impacto en una empresa es necesario diseñar e implementar medidas que reduzcan los riesgos que listamos antes y permitan a las compañías anticiparse a los actores maliciosos.

Al fin y al cabo, resulta evidente que, si los chatbots de IA van a ser cada vez más relevantes en las empresas, realizarán tareas cruciales, como la gestión de procesos de venta, y tendrán acceso a información confidencial, los actores hostiles los convertirán en dianas de sus ataques.

5. Las consecuencias de los ciberataques contra chatbots de IA

El alcance de las consecuencias de los ciberataques contra chatbots depende del papel que jueguen en la empresa y de la información a la que tienen acceso. Dicho lo cual, los incidentes en los que se ve menoscabada la seguridad de un chatbot pueden causar:

• Pérdidas económicas. Por ejemplo, si es necesario desconectar un chatbot de atención al cliente para hacer frente a un ataque, la empresa deberá reforzar dicho servicio contratando a personas. Igualmente, si un chatbot de venta no funciona o lo hace de manera incorrecta, la captación de clientes se verá seriamente afectada. Otra casuística que se puede dar es que los atacantes tengan acceso a información crítica sobre la actividad comercial de la empresa. A todo ello debemos sumar el coste de solventar los incidentes.
• Daños reputacionales. Si los actores maliciosos consiguen menoscabar el funcionamiento de un chatbot u obtener información confidencial sobre los usuarios que interaccionaron con él, resulta evidente que la empresa sufrirá un severo daño en su imagen.
• Sanciones por menoscabar la protección de datos personales. En la Unión Europea, las empresas están obligadas a desplegar las medidas técnicas y organizativas necesarias para garantizar la seguridad de los datos personales. Infringir esta obligación se sanciona con cuantiosas multas.
• Indemnizaciones económicas por daños, en caso de que la información exfiltrada sirva para efectuar fraudes digitales a ciudadanos y empresas de forma efectiva.

6. Servicios de ciberseguridad para combatir los ciberataques contra chatbots

¿De qué forma pueden las compañías que desarrollan y comercializan chatbots y las empresas que los adquieren fortalecer su seguridad?

Los servicios de ciberseguridad son esenciales a la hora de prevenir y actuar frente a los ciberataques contra chatbots:

• Auditorías de código fuente para detectar fallos de seguridad en el código de los chatbots y fortalecer su seguridad desde el diseño.
• Auditorías de seguridad continua de los chatbots para identificar vulnerabilidades explotables y comportamientos anómalos, así como auditorías de seguridad en las APIs expuestas.
• Pentesting IA para simular ciberataques contra chatbots reales en entornos controlados que permitan identificar debilidades y mitigar vulnerabilidades específicas de los sistemas de IA como la inyección de prompts, la exfiltración de datos o la ejecución de código malicioso.
• Threat Hunting para identificar de forma proactiva escenarios de compromiso no detectados y las técnicas de ataque más innovadoras contra una tecnología en constante evolución.

En definitiva, los chatbots de IA están adquiriendo una relevancia creciente en las empresas y, todo hace prever, que en los próximos años su uso será masivo en todo el tejido productivo.

Para poder disfrutar de las ventajas de esta tecnología, es fundamental fortalecer sus mecanismos de protección y evitar que los actores hostiles puedan lanzar ciberataques contra chatbots que dañen la continuidad de negocio, las finanzas y la reputación de una empresa.