¿Qué implicaciones va a tener la AI Act europea sobre las soluciones para Ciudades Inteligentes?

El borrador de la ley europea sobre inteligencia artificial establece nuevos requisitos para las soluciones tecnológicas que hagan uso de la inteligencia artificial en casi todos sus ámbitos de aplicación. En este análisis desgranamos las implicaciones para aquellas soluciones destinadas a optimizar procesos de gestión urbana.

El pasado mes de abril de 2021 la Comisión Europea presentó una propuesta de ley sobre inteligencia artificial que en la actualidad se encuentra en tramitación parlamentaria. En aquel momento debatimos sus principales novedades en esta jornada organizada por OdiseIA y FIAL. Hoy queremos aterrizar sus implicaciones en un ámbito bastante transversal como es el de las soluciones orientadas a mejorar la gestión urbana, IA para ciudades inteligentes.

Ante la regulación hay básicamente dos actitudes: hay quienes la consideran una barrera para la innovación, y quienes consideramos que ha sido precisamente la regulación la que ha contribuido de forma determinante a la seguridad en muchísimos ámbitos: el transporte terrestre, aéreo o la seguridad alimentaria son ejemplos del pasado. Hoy llega al ámbito de los desarrollos tecnológicos, y sin duda será positivo para evitar determinados riesgos a través de protocolos y controles de calidad.

El primer punto a destacar es la definición amplia de inteligencia artificial que hace el borrador en su artículo 3 y en su anexo I. Así, cualquier sistema que recabe datos y los procese para generar un resultado (desencadenar una acción o decisión, esté o no automatizada) cae bajo dicha definición y por tanto bajo lo dictado por esta nueva norma, independientemente del nivel de sofisticación analitica de los algoritmos empleados en el procesamiento de datos para generar la información de salida.

El segundo punto relevante es que la AI Act hace una jerarquización de las soluciones específicas en función de su riesgo potencial. Esta taxonomía no se basa en sectores específicos (salud, justicia, movilidad, ciudades inteligentes, etc.) sino que reconoce que dentro de cada uno de estos sectores puede haber multitud de casuísticas de nivel de riesgo muy dispar, y por tanto es más granular: se centra en aplicaciones específicas que pueden aplicar a uno o varios de estos sectores. Así, distingue entre las siguientes clases:

1. Aplicaciones prohibidas (título II, art. 5)
2. Aplicaciones de alto riesgo (título III, art. 6 y siguientes)
3. Aplicaciones sujetas a obligaciones de transparencia (título IV, art. 52)
4. Resto de aplicaciones, que podrán estar sujetas a códigos de conducta voluntarios (título IX, art. 69)

Recorramos a continuación las soluciones utilizadas en ciudades inteligentes de acuerdo a esta jerarquización según su primera versión, que será revisada periódicamente.

Fuente: Juan Murillo

1.-Aplicaciones prohibidas

Entre otras, prohíbe las aplicaciones de IA para vigilancia y seguridad ciudadana mediante identificación biométrica remota «en tiempo real» en espacios de acceso público*.

*salvo que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes:

i) la búsqueda selectiva de posibles víctimas concretas de un delito, incluidos menores desaparecidos;

ii) la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas o de un atentado terrorista;

iii) la detección, la localización, la identificación o el enjuiciamiento de la persona que ha cometido o se sospecha que ha cometido algún delito grave (para los que la normativa en vigor en el Estado miembro implicado imponga una pena privativas de libertad cuya duración máxima sea al menos de tres años)

Aquí hay varios aspectos por revisar: ¿qué riesgo se quiere evitar?

Si es la vigilancia indiscriminada por el problema de privacidad que supone, entonces debería prohibirse no solo «en tiempo real» sino también «en diferido», y además debería vetarse que se haga cuando es un humano el que está tras la cámara, o en caso contrario estaríamos penalizando una tecnología como la IA, y no una aplicación.

La segunda cuestión abierta es si por «espacio de acceso público» estamos abarcando no solo espacios de titularidad pública (calles, plazas, edificios administrativos, terminales de transporte) sino además todo inmueble abierto al público y accesible por la población general (comercios, oficinas bancarias, etc.). Recordemos que el vigente reglamento general de protección de datos europeo y la LOPD nacional ya fueron suficientes para sustentar la sanción de AEPD frente a Mercadona.

2.-Aplicaciones de alto riesgo

Entre ellas, las que pueden afectar a un gobierno local o a una empresa de prestación de servicios urbanos son:

• Sistemas de IA que manejen maquinaria con efectos potenciales sobre la seguridad física de sus usuarios, lo que afecta a las soluciones de movilidad mediante vehículos autónomos, entre muchas otras.
• Sistemas de IA de identificación de personas por imagen, voz o cualquier otra característica personal, lo que afecta a los sistemas autenticación biométrica utilizados por cualquier entidad, incluídos los desarrollados para facilitar las interacciones entre un ayuntamiento y los ciudadanos, o los de control de acceso a edificios públicos por parte de ciudadanos o empleados municipales.
• Relaciones laborales y gestión de recursos humanos: sistemas de IA que guíen decisiones de contratación, promoción, despido, o la asignación de tareas y evaluación del rendimiento de empleados. Algo que afectará a entidades tanto públicas como privadas y que responde a preocupaciones desencadenadas por determinadas consecuencias del uso de algoritmos para estos propósitos.
• Acceso a servicios públicos esenciales: sistemas de IA para evaluar la admisibilidad de las personas físicas de cara a regular su acceso a prestaciones de asistencia pública, o que prioricen la respuesta en el envío de servicios de primera intervención en situaciones de emergencia (bomberos, policía, protección civil, restablecimiento de servicios urbanos, etc.)
• Asuntos relacionados con procesos democráticos: queda por ver si se ciñe a sistemas informáticos para facilitar procesos electorales, o abarca también las herramientas utilizadas en procesos de participación ciudadana.

Todas estas aplicaciones estarán sujetas a una serie de requisitos que comenzarán por la obligación de registrar la solución desarrollada en una una base de datos pública para toda la UE, lo que permitirá que las autoridades competentes, los usuarios y otras personas interesadas verifiquen si un sistema de IA de alto riesgo cumple los requisitos estipulados, y que se resumen en el siguiente cuadro:

Fuente: Juan Murillo

3.-Aplicaciones sujetas a obligaciones de transparencia

Los sistemas de IA destinados a interactuar con personas físicas -por ejemplo, los chatbots de atención ciudadana, ya sea por comunicación escrita u oral- estarán diseñados de forma que dichos ciudadanos estén informados y sean conscientes de que están manteniendo una conversación con un sistema de IA, excepto en las situaciones en las que esto resulte evidente debido a las circunstancias y al contexto de utilización.

4.-Códigos de conducta voluntarios para el resto de aplicaciones

La Comisión y los Estados miembros fomentarán y facilitarán la elaboración de códigos de conducta destinados a promover entre el resto de sistemas de IA no considerados de alto riesgo la aplicación voluntaria de todos o algunos de los mencionados requisitos establecidos para el control de dichos sistemas.

Conclusiones

La propuesta de ley sobre inteligencia artificial de la Unión Europea es pionera a nivel mundial al establecer un marco claro de desarrollo y uso de la IA sobre la base de las consideraciones que las diferentes estrategias nacionales de IA ya habían avanzado en los últimos años. Los estándares de trabajo, controles de calidad, procesos de certificación y agencias de control que deriven de esta novedad regulatoria dotarán de nuevas garantías de seguridad a los ciudadanos de la UE, y los desarrolladores extranjeros que desplieguen sus soluciones en la UE estarán también obligados a cumplir con este nuevo marco.

Los sistemas de IA sujetos a requisitos son ante todo aquellos que interactúan con los ciudadanos, y que comportan riesgos potenciales para los bienes jurídicos que la AI Act quiere proteger: la seguridad física de los individuos, su intimidad, o sus derechos de acceso a servicios públicos en igualdad de condiciones y sin sufrir discriminación.

Fuente: Juan Murillo

El resto de aplicaciones a priori no estarán sujetas a requisitos especiales, salvo que sus desarrolladores quieran adherirse y aplicar códigos de conducta voluntarios.

Ejemplos de este tipo de aplicaciones son los desarrollos orientados a hacer una lectura y monitorización de los flujos del metabolismo urbano sobre dato no personal:

• análisis de movilidad a partir de datos agregados de geoposición de terminales móviles
• análisis de consumo o de actividad turística sobre datos agregados de pagos con tarjeta
• análisis y gestión de las redes de suministro de energía eléctrica
• análisis y gestión de la red de suministro de agua potable
• gestión automatizada del riego en zonas verdes
• gestión de las redes de saneamiento e infraestructuras de depuración
• gestión de la limpieza de espacios públicos y de recogida y tratamiento de residuos sólidos urbanos
• gestión automatizada del sistema de alumbrado público
• (…)

Así, las soluciones empleadas para diseñar las infraestructuras que dan soporte a dicho metabolismo, para optimizar o automatizar la gestión de redes, o para llevar a cabo mantenimiento predictivo, se consideran de bajo riesgo siempre que funcionen sobre datos no personales y no den respuesta a ciudadanos concretos en una interacción individual. Lo mismo sucede con el desarrollo de gemelos digitales o modelos informáticos de la realidad física para su diseño ex novo -o para el análisis de su funcionamiento en el caso de elementos ya existentes- siempre que no pongan en riesgo los bienes jurídicos que la AI Act protege.

En definitiva, una vez que este nuevo marco legal sea aprobado por el parlamento europeo, habrá un periodo de tiempo previo antes de su aplicación plena. Este tiempo debe ser aprovechado por empresas y gobiernos para conocer pormenorizadamente los nuevos requisitos, adaptar las soluciones para ciudades inteligentes al mismo, y tenerlas en cuenta en el diseño de nuevos servicios.

Formamos parte del área de Sostenibilidad y Ciudades Inteligentes de OdiseIA: Ignacio Alcalde, Fernando Tomás, Carmen Panadero, Juan Jose González y Juan Murillo, entre otros.