Desafíos de la ciberseguridad en la IA. Análisis del informe de ENISA
Pablo Ballarín Usieto analiza los desafíos de la ciberseguridad en la inteligencia artificial, basándose en el informe publicado recientemente por la Agencia de la Unión Europea para la Ciberseguridad (ENISA).
- INTRODUCCIÓN
ENISA, la Agencia de la Unión Europea para la Ciberseguridad, publicó el pasado mes de diciembre 2020 un informe acerca de los desafíos de ciberseguridad de las soluciones de Inteligencia Artificial. Dicho informe se enmarca en una serie de iniciativas europeas relacionadas con la IA, entre las cuales destacamos el Libro Blanco de la UE sobre IA, el Plan coordinado sobre IA, la política común y las recomendaciones para crear una IA de confianza así como las Guías Éticas para una IA de confianza, la taxonomía para la IA en el ámbito de la defensa desarrollada por la Agencia de Defensa Europea (EDA) o el ya conocido Reglamento General de Protección de Datos de la UE pone la seguridad como uno de sus principios básicos (Art. 5 y Art. 32).
Este informe es relevante para OdiseIA porque la ciberseguridad es uno de los pilares fundamentales de la fiabilidad que requerimos a la IA. Sólo cuando tenemos la garantía de que una tecnología es segura, se ganará nuestra confianza. La IA no es solo novedosa, sino que también resulta poco transparente al gran público, por lo que la confianza en su seguridad será clave para que su uso y adopción se generalice.
Como sabemos, la IA tiene una serie de características que la diferencian del resto de soluciones tecnológicas, y es fundamental saber cuáles son las amenazas que pueden sufrir y el impacto que pueden llegar a tener. Cuando tenemos claras las nuevas vulnerabilidades y las amenazas, podemos poner en marcha una estrategia de protección adecuada. Esto es especialmente importante en un momento en el que el crimen organizado en Internet es cada vez más relevante, los ciberataques no paran de crecer de forma exponencial y aprovechan cualquier nueva superficie que ofrecen las tecnologías (IoT, Big Data, IA, Cloud, …).
En el presente artículo presentaremos los aspectos más relevantes del Informe de ENISA, así como una serie de conclusiones que hacemos desde OdiseIA.
2. ANÁLISIS DEL INFORME
Los objetivos del informe abarcan los siguientes puntos:
· Identificación de los activos que componen las soluciones basadas en IA y que constituyen una nueva superficie de ataque.
· Identificación de las amenazas en base a una nueva taxonomía, así como una descripción de los escenarios de ataque en los diferentes estadios del ciclo de vida de la IA.
Contar con una taxonomía de amenazas de ciberseguridad específica a las soluciones de IA debe permitir a las empresas evaluar riesgos de ciberseguridad de una forma uniforme y repetible para este tipo de aplicaciones, así como identificar identificar cuáles son los controles de seguridad más adecuados.
Para poder gestionar la complejidad de estas soluciones, el estudio arranca con una descripción genérica del ciclo de vida de las soluciones basadas en IA. Ello facilita la identificación de los activos que están involucrados (y por lo tanto la superficie de ataque que representan), así como las posteriores amenazas que pueden sufrir. El ciclo de vida de la IA es el conjunto de fases interdependientes que transforman datos de entrada (por ejemplo, imágenes) en una salida (por ejemplo, la identificación de personas) a través de un modelo de predicción que tiene un valor comercial y que está basado en algoritmos (por ejemplo, algoritmos de Machine Learning). Dichas fases abarcan el diseño y desarrollo, la instalación, la operación, mantenimiento, y la retirada.
En dicho ciclo, los datos son parte de los activos de más valor, y están en constante transformación a lo largo del ciclo de vida. Al fin y al cabo, datos brutos provenientes de múltiples fuentes son ingeridos y transformados en datos estructurados, que son a su vez procesados para diferentes usos: datos de entrenamiento y datos de prueba usados en modelos de entrenamiento, y datos de evaluación usados en modelos de tuning.
2.1. Activos que intervienen en las soluciones de IA
En ciberseguridad, se define un activo como un elemento que puede tener un valor para un individuo o una organización. Partiendo del modelo de referencia del ciclo de vida de la IA, ENISA establece una taxonomía de activos que abarcan activos genéricos que se encuentran en otras soluciones TIC (datos, software, hardware, redes, …), y activos que son específicos a las soluciones de IA (modelos, procesos, artefactos). Los Anexos A y C del informe complementan la descripción e identifican el estado del ciclo de vida de IA al cual pertenece cada uno de los activos.
2.2. Amenazas a las soluciones de IA
Las soluciones de IA pueden producir resultados inesperados y pueden ser manipulados para generar resultados no deseados. La taxonomía de amenazas establecida por ENISA parte del trabajo realizado por el Grupo de Expertos de la UE para la IA (EC AI HLEG) que identificó un conjunto de atributos que deben ser evaluados para medir la confianza de las aplicaciones de IA. Estos atributos son la autenticidad, autorización, no repudio, así como otras que son más específicas al ámbito de la IA, como son la solidez, fiabilidad, safety, transparencia, explicabilidad, responsabilidad y protección de datos.
Al considerar estos atributos como propiedades de la seguridad, ENISA establece que los impactos potenciales de las amenazas de ciberseguridad a soluciones de IA también pueden ser los siguientes:
· Autenticidad: los datos de entrenamiento o de test de un sistema de reconocimiento facial han sido modificados y para alterar los resultados.
· Autorización: una persona ajena al equipo de desarrollo accede de forma no autorizada a una solución de IA y cambia el código, dañando con ello la legitimidad de la aplicación.
· No Repudio: un emisor no puede demostrar el envío de un correo electrónico con información crítica.
· Solidez de una aplicación o solución de IA: un asistente virtual usado por un banco en la comunicación con sus clientes deja de funcionar en momentos de máximo tráfico.
· Fiabilidad de una aplicación o solución de IA: los datos de entrenamiento de un sistema de predicción de crímenes tienen un sesgo racial marcado.
· Safety[1]: una persona malintencionada logra modificar las funcionalidades esperadas de un coche automático, resultando en un daño al conductor y a las personas del entorno.
· Transparencia: una empresa se niega a explicar los criterios que ha seguido para enseñar un chatbot a responder frente a determinadas situaciones, aludiendo a que ello daría ventaja a la competencia.
· Explicabilidad: una empresa es incapaz de explicar los criterios que ha seguido para enseñar un chatbot a responder frente a determinadas situaciones; incluso para ella hay funcionalidades que son cajas negras.
· Rendición de cuentas: en un accidente donde está involucrado un coche de conducción automática cuyo software de Machine Learning no ha funcionado adecuadamente, no se puede discernir la autoría de la culpa (el desarrollador de la aplicación de IA, el integrador, el fabricante del coche, …).
· Protección de datos personales: una persona no autorizada accede a los perfiles de usuario generados por una aplicación de ML y los divulga.
Haciendo un mapeo de los impactos potenciales sobre los activos identificados en el ciclo de vida de las soluciones de IA, ENISA establece una taxonomía de amenazas dividida en las siguientes 7 categorías:
· Actividad/Abuso Malicioso: acciones destinadas a robar, alterar o destruir un determinado activo.
· Escucha/Intercepción/Secuestro: acciones destinadas a escuchar interrumpir o tomar el control de la comunicación de terceros sin ningún tipo de consentimiento.
· Ataques Físicos: acciones destinadas a destruir, alterar, deshabilitar, robar o acceder de forma no autorizada a activos físicos como infraestructura o hardware.
· Daño No Intencionado: acciones no intencionadas que causan destrucción o daño de la propiedad o a personas y resulta en un fallo o reducción de la funcionalidad de la aplicación.
· Fallo o Funcionamiento Fallido: funcionamiento insuficiente de un activo.
· Interrupción: corte inesperado de servicio o degradación de la calidad del servicio por debajo del nivel esperado.
· Desastre: accidente fortuito o catástrofe natural que causa daño o pérdida de vida.
· Legal: acciones de terceros basadas en la legislación, y destinadas a prohibir acciones o a compensar frente a pérdidas producidas.
En total, estas 7 categorías se desglosan en 74 amenazas, complementadas a través de los Anexos B y D que especifican el activo afectado y su impacto, así como el mapeo con el ciclo de vida de la IA.
3. CONCLUSIONES
El Informe de ENISA aparece en un momento oportuno:
· La IA se integra de forma progresiva en cada vez más aspectos de nuestra vida.
· Se están empezando a definir diferentes estrategias de IA, tanto en España como en otros países de la UE y del resto del mundo.
· El crimen organizado es cada vez más eficaz y rentable, y golpea con cada vez más crudeza organizaciones y ciudadanos.
Es por lo tanto indispensable contar con una taxonomía de amenazas que sean específicas a la IA para conocer de qué manera el crimen organizado (u otros actores malintencionados como Estados o Ciberactivistas) pueden poner en riesgo las aplicaciones basadas en IA y cuál es el daño que pueden realizar. Este conocimiento debe ser aprovechado para identificar las estrategias de protección que, no debemos olvidar, es uno de los pilares de la confianza en la IA.
Por otra parte, este estudio debe tomarse como un punto de partida. La investigación de la ciberseguridad en el campo de la IA es un trabajo constante que debe revisarse periódicamente. Cada nueva tecnología emergente traerá consigo nuevas amenazas y nuevos impactos que deberán ser evaluados. Por lo tanto, la Taxonomía de amenazas de ENISA deberá ser revisada de forma periódica para asegurar que sigue vigente.
Además, hay que tener presente que dicha taxonomía es genérica y aplicable a cualquier sistema o aplicación basado en IA por igual. Cuando se realice un análisis de riesgos, habrá que tener en cuenta el contexto y se deberá evaluar las amenazas que son específicas a cada sector en el que está siendo usado (automóvil, sanitario, industrial, defensa, …).
Finalmente, desde OdiseIA somos conscientes que estas iniciativas sólo serán efectivas si las administraciones públicas incentivan que las empresas adopten medidas de seguridad en las soluciones de IA, y los usuarios son cada vez más conscientes y piden seguridad en los productos. Por ello apoyamos este tipo de iniciativas que tienen como objetivo hacer que la IA pueda ser usada de forma fiable, y ayudamos a su divulgación.
[1] Entendida como seguridad que no produce daño (al ser humano) o perjuicio.
[Para tener acceso al documento de análisis de mayor extensión, no dudes en encontrarlo uniéndote a nuestras redes sociales de Twitter y Linkedin]
Co-Fundador de Balusian, Ingeniero Superior de Telecomunicaciones y Máster en Inteligencia Artificial.
[Este artículo no representa la posición oficial de OdiseIA en su conjunto ni de sus miembros]
Twitter: @p_ballarin
