Federate Learning: AI is moving from the cloud to the ground
Una mirada a su historia, potencial, progreso y desafíos
Se prevé un crecimiento exponencial de un nuevo marco para desarrollar modelos de Inteligencia Artificial (IA), el Federate Learning. Se basa en la idea de distribuir los modelo de aprendizaje entre millones de dispositivos y promete romper las barreras entre los datos y la privacidad.
El término Federate Learning (FL) fue acuñado por Francisco J. Martín, CEO de BigML en un artículo [1] publicado por primera vez en 1996.
Años después, en 2016, se abrió la comunidad OpenMined, encabezada por Andrew Trask, que prometía desarrollar un proyecto open-source con la misión de crear un ecosistema de herramientas accesibles para hacer la IA privada, segura y gobernada por múltiples individuos.
Me pareció muy interesante en su momento, quizás algo irrealizable. Pero ya está aquí.
Recientemente recibí una scholarship de Udacity para su nuevo curso en Secure & AI. Después de varias semanas quiero compartir, a través de una serie de artículos, los cambios que vienen con el FL y cómo funciona.
El mercado de la IA está dominado por gigantes tecnológicos como Google, Amazon y Microsoft, que ofrecen soluciones de IA basadas en APIs. Tradicionalmente, los datos de los usuarios (sensibles o no) se envían a los servidores donde se entrenan los modelos.
En contraste con los métodos tradicionales de IA, el FL lleva los modelos a los dispositivos cliente para su uso.
Gracias a ello, las copias del modelo distribuidas localmente en los dispositivos eliminan las latencias de red y los costes incurridos. Al ser local, la respuesta modelo es personalizada para cada usuario.
¿En qué consiste el Federate Learning?
Tomemos la historia de la computación como comparación: en los primeros días de la tecnología de la información, habían grandes ordenadores que hacían el trabajo pesado de la mayor parte de la informática.
A continuación, nos trasladamos a un marco distinto, cliente-servidor donde los cálculos se distribuían entre servidor(es) central(es) y múltiples ordenadores cliente.
La arquitectura del FL despliega un marco parecido. Los modelos de Machine Learning (ML), en lugar de ser calculados en grandes datacenters, se distribuyen a través de dispositivos móviles para su cálculo.
Este modelo de computación, aunque teóricamente posible, no habría sido práctico en el pasado, ya que las capacidades computacionales de los smartphones eran muy limitadas para ejecutar cualquier modelo ML.
A través del FL, se utilizan recursos de computación y almacenamiento en el dispositivo del usuario, reduciendo los gastos indirectos de la nube. Además, como veremos más adelante, las técnicas de FL preservan la privacidad por diseño.
Sin embargo, desde 2018 la situación ha cambiado. Millones de teléfonos inteligentes, equipados con chips de IA y una potencia de computación mayor salieron al mercado, comenzando con el Samsung S9, o los Apple X.
Funcionalmente, cualquier dispositivo móvil que forma parte de una arquitectura de computación FL, descarga un modelo y lo entrena localmente.
Posteriormente, modifica los cambios como una pequeña actualización, que normalmente contiene los parámetros del modelo y las ponderaciones correspondientes.
La actualización del modelo se envía a continuación al servidor central o a la nube mediante comunicación cifrada, por ejemplo, cifrado homomórfico (HE).
Esta actualización se promedia con otras actualizaciones de usuarios para mejorar el modelo compartido. Y lo que es más importante, todos los datos de entrenamiento permanecen en el dispositivo del usuario, y ninguna actualización individual se almacena de forma identificable en la nube.
Expectativas
El Federate Learning también tiene el potencial de crear futuros cambios en la industria.
Cloud Computing
La computación en nube es el paradigma informático dominante para el Machine Learning en un mercado ocupado por los gigantes tecnológicos Google, Amazon y Microsoft.
Sin la necesidad de mantener un datacenter, los nuevos proveedores encontrarán más fácil ofrecer aún más servicios de IA.
Google que ha previsto esta tendencia ya ha jugado un papel de liderazgo en el desarrollo del Federate Learning.
Economía Colaborativa
Google utilizó el Federate Learning para desarrollar su modelo de predicción de palabras en el diccionario del GBoard. Esta capacidad de formar un modelo sin comprometer la privacidad de los usuarios debería fomentar la aparición de otros servicios que se basen en datos recogidos a través de teléfonos móviles en una forma de economía compartida.
B2B
Además, el Federate Learning abre la posibilidad de que diferentes propietarios de datos a nivel organizativo colaboren y compartan sus datos. En un artículo reciente, los investigadores (Qiang Yang et al.) vislumbran las diferentes configuraciones en las que esto puede ocurrir.
Ellos acuñaron los términos Aprendizaje Federado Horizontal y Aprendizaje Federado Vertical.
Tomemos el caso de dos bancos regionales. Aunque tienen una clientela que no se superpone, sus datos tendrán espacios de características similares, ya que tienen modelos de negocio muy similares. Podrían unirse para colaborar en un ejemplo de Federate Learning horizontal.
En el Federate Learning vertical, dos empresas que prestan servicios diferentes (por ejemplo, banca y comercio electrónico) pero que tienen una gran intersección de clientela, podrían encontrar espacio para colaborar en los diferentes espacios de características que poseen, lo que conduciría a mejores resultados para ambas
En ambos casos, los propietarios de los datos pueden colaborar sin tener que sacrificar la privacidad de sus respectivas clientelas.
Aparte de las finanzas, otro sector vertical que podría beneficiarse es el sector de la salud. Los hospitales y otros proveedores de atención médica se beneficiarán si pueden compartir los datos de los pacientes para la formación de modelos de una manera que preserve la privacidad.
El Cambio que viene
La idea de Federated Learning va a ser un aspecto fundamental de todos los modelos de ML próximamente. En cuanto a las oportunidades enumeradas anteriormente, es la solución que parece estar más preparada para responder a las necesidades de los consumidores de forma inmediata, pero todavía hay margen para mejorar, y lo habrá en los próximos años. Espero que esta visión general te haya ayudado, como mínimo, a generar nuevas ideas dentro de tu empresa. El cambio está llegando
El Federated Learning se encuentra aún en sus primeras etapas y se enfrenta a numerosos desafíos con su diseño y despliegue.
Por ejemplo, su viabilidad se ve muy limitada por la capacidad de los dispositivos para llevar a cabo el entrenamiento y la inferencia. Hoy en día sigue siendo imposible entrenar una red sin comprometer el rendimiento del dispositivo y la experiencia del usuario, o sino comprimir un modelo y recurrir a una precisión menor.
El entrenamiento local de modelos supervisados requiere datos etiquetados que no están disponibles o son difíciles de producir en la mayoría de los casos. Una buena manera de abordar este desafío es definir el problema del FL y diseñar un canal de datos de manera que las etiquetas se capturen de forma implícita
Finalmente, la mentalidad de agregar datos de forma centralizada puede crear nuevas ventajas competitivas en los mercados que hacen uso de la IA. Las políticas de protección de datos eficaces y los incentivos y modelos de negocio apropiados en torno a la descentralización de los datos pueden abordar estos problemas y desarrollar este ecosistema a través de la IA y el Federate Learning.
