Principios en Inteligencia Artificial (Parte 2)
Este post es la segunda parte del análisis y resumen del reporte “Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-based Approaches to Principles for AI” hecho por el centro de investigación Berkman Klein Center for Internet & Society de Harvard.
En la primera parte, hablamos sobre los principios de Privacidad, Responsabilidad, Seguridad y Protección. En esta hablaremos sobre otros 2 temas muy importantes que deben ser considerados en la Inteligencia Artificial: Transparencia y Explicabilidad, Justicia y No-Discriminación.
Los sistemas de Inteligencia Artificial (IA) forman gran parte de nuestra vida cotidiana, utilizándose para decidir a qué persona contratar, si otorgar un préstamo o no, determinar la calidad del tratamiento médico que recibimos e incluso si nos convertimos en sospechosos en una investigación policial.
Si bien estas herramientas pretenden facilitar y tomar decisiones de manera automática, también pueden dañar a grupos minoritarios vulnerables y/o marginados. Los sistemas de IA no regulados pueden amplificar el racismo, el sexismo y el clasismo, entre otras formas de discriminación.
Es por ello es que es tan importante hablar de los siguientes principios:
TRANSPARENCIA Y EXPLICABILIDAD
Quizás el mayor desafío que plantea la IA desde una perspectiva de gobernanza es la complejidad y la opacidad de la tecnología. No sólo puede ser difícil de entender desde una perspectiva técnica, sino que además no siempre está claro cuándo se implementó un sistema de IA en un contexto determinado ni para qué tarea específica.
El principio de transparencia significa apertura en los procesos de diseño, desarrollo e implementación a lo largo del ciclo de vida de un sistema de IA.
Por otro lado, las implicaciones de un régimen de transparencia demasiado amplio podrían generar conflictos con los principios relacionados con la privacidad, por lo que se debe tener cuidado.
La explicabilidad se define de varias maneras, pero se basa fundamentalmente en la traducción de conceptos técnicos y resultados de decisiones en formatos inteligibles y comprensibles adecuados para la evaluación de los sistemas.
El desarrollo de sistemas de IA explicables es crucial para minimizar el riesgo de sesgo o error.
No obstante, la explicabilidad también se limita y depende de las técnicas de aprendizaje que se utilicen:
Como se puede ver en la imagen, la capacidad de explicabilidad generalmente disminuye con un desempeño de aprendizaje creciente. Los algoritmos más complejos son apenas comprensibles.
Si te interesa saber más sobre algunas técnicas para lograr la explicabilidad, te comparto un estudio donde se evalúa el desempeño de algunos de los métodos “state of the art” más conocidos como LIME, SHAP, Expected Gradients y GSInquire.
Lo anterior nos lleva al derecho a la información, que se refiere al derecho a conocer diversos aspectos del uso e interacción con sistemas de IA. Esto podría incluir información sobre los datos personales utilizados en el proceso de toma de decisiones, acceso a los factores, la lógica e incluso las técnicas que produjeron el resultado de un sistema de IA, y, en general, cómo se realizan los procesos de toma de decisiones automatizados. Esto se relaciona con otros 2 temas mencionados en los documentos:
- Notificación al interactuar con un sistema de IA
- Notificación cuando un sistema de IA toma una decisión sobre un individuo
El primero hace reconocimiento de la creciente capacidad de IA para pasar la prueba de Turing al menos en aplicaciones limitadas. Representa la noción de que los humanos siempre deben ser conscientes cuando se involucran con un sistema de IA en lugar de directamente con otra persona.
Un ejemplo podrían ser los chatbots:
El segundo es bastante claro: si se ha empleado una IA para tomar una decisión, la persona a la que estaba sujeta debería saberlo. Si las personas no saben cuándo están sujetas a decisiones automatizadas, no tendrán la autonomía para decidir si dan su consentimiento o no.
Por ejemplo, Facebook ofrece a sus usuarios una explicación para ayudar a las personas a comprender mejor y controlar más fácilmente lo que se ve sobre sus amigos, páginas y grupos en el News Feed:
No obstante, Facebook está en crítica constante por la aplicación de sus algoritmos de ranking, ya que la manera en la que funcionan propicia a sus usuarios a vivir dentro de una burbuja de información y contenido limitada.
Otros ejemplos en los que es importante notificar cuando un sistema de IA toma una decisión sobre un individuo, podrían ser los sistemas de reconocimiento facial, sistemas de calificación crediticia, sistemas de contratación, sistemas de cálculo de salarios, sistemas de diagnósticos automatizados, entre otros.
Hablaremos de algunos en el siguiente tema :)
De los documentos analizados sólo el 28% enfatiza el valor del desarrollo de algoritmos de código abierto, la investigación abierta y la colaboración para apoyar el avance de la tecnología.
Por ejemplo, las soluciones de código abierto pueden ser útiles para evitar monopolios de datos/plataformas, compartir los beneficios del desarrollo de IA en su mayor medida y promover la igualdad de oportunidades de desarrollo para diferentes regiones e industrias, como lo señalan los Principios de AI de Beijing.
No sorpresivamente, generar reportes regulares sólo está presente en el 17% de los documentos. Algunas empresas que implementan sistemas de IA ya aplican estas prácticas a través de divulgar sistemáticamente información importante sobre su uso. Estos generalmente incluyen:
- Cómo se alcanzan los resultados
- Qué acciones se toman para minimizar o evitar los impactos que perjudican los derechos civiles
- Descubrimiento de errores operativos
- Efectos inesperados o indeseables
- Violaciones de seguridad y fugas de datos
- Evaluación de la efectividad de los sistemas de IA
Regularmente, estas prácticas son ejecutadas por algunas empresas grandes, por lo que queda una brecha entre empresas de menor tamaño en donde en la mayoría de los casos, ni siquiera en sus propios departamentos se generan estos reportes.
Finalmente, la sugerencia de contar con un gobierno abierto ––que es el requisito de que los gobiernos sean transparentes sobre su uso de los sistemas de IA–– sólo está presente en uno de los documento analizados.
Esto es lamentable, pues para lograr una gobernanza en IA es necesario exigir la aplicación de los mismos principios en todos los sectores. Además de que el gobierno es el que debe fomentar y regular estas prácticas.
JUSTICIA Y NO DISCRIMINACIÓN
A medida que los sistemas de IA toman un rol más importante en toma de decisiones ––particularmente en contextos sensibles–– es imperativo garantizar la equidad y la no discriminación.
El principio de no discriminación y prevención del sesgo articula que el sesgo en los datos de entrenamiento, las opciones de diseño técnico o el despliegue de la tecnología, debe mitigarse para evitar impactos discriminatorios.
El principio de datos representativos y de alta calidad, se define como el uso de entradas apropiadas a un sistema de IA, lo cual influye directamente la precision con la población de interés.
El uso de un conjunto de datos que no es representativo conduce a una representación sesgada de un grupo en comparación con la composición real de la población objetivo, introduce un sesgo y reduce la precisión de las posibles decisiones del sistema.
E incluso el uso de un conjunto de datos representativo puede replicar sesgos creando un ciclo de retroalimentación (feedback loop).
El sesgo algorítmico — la predicción sistemática con un desempeño inferior para una población especifica — , se infiltra hacia los sistemas de IA en una infinidad de formas.
Probablemente te preguntas, ¿acaso la base de ML no es justamente encontrar patrones?
Sí, la base de ML es justamente encontrar patrones, discriminar, clasificar, y categorizar. Pero teniendo en cuenta que aún en pleno siglo XXI, el racismo, el sexismo, clasismo y otras formas de discriminación en general son latentes, es importante que los datos sean de alta calidad y apropiados para el contexto en el que se desplegará un sistema de IA, ya que un conjunto de datos puede estar informado por un sesgo histórico, por ejemplo:
- El uso de datos históricos sobre arrestos refuerza la vigilancia policial racialmente sesgada
- El uso de datos históricos sobre salarios refuerza la disparidad de salarios entre hombres y mujeres
- El uso de datos históricos demográficos refuerza la desigualdad de clases
Los modelos encuentran y replican patrones. Sin embargo, la IA no solo está replicando los patrones de sesgo existentes, sino que también tiene el potencial de aumentar significativamente la discriminación de manera imprevista.
Siempre y cuando no se trabaje activamente en contra de que los datos estén sesgados, serán sesgados. El sesgo en los datos es tan profundo como el sesgo en la sociedad, dado que la mayoría de los datos son generados por personas sesgadas o por tecnología que ha sido creada por personas sesgadas.
Siempre se apunta al sesgo en los datos — y los algoritmos sesgados que genera––como la fuente de discriminación e injusticia en la IA, pero hay que reconocer y señalar el rol de los humanos e instituciones en perpetuar o prevenir impactos discriminatorios o nocivos.
Por ejemplo, la tecnología de reconocimiento facial de Amazon––un destacado proveedor de software de reconocimiento facial para la policía––había sido criticada por identificar erróneamente a las personas de color.
Amazon había dicho que sus herramientas eran precisas pero que “los investigadores las usaban de manera incorrecta”.
Por lo que hay que tener claro que cualquiera que sea la explicación de una decision, la verdadera razón siempre se puede cubrir con una explicación alternativa.
El 56% de los documentos incluyen el principio de justicia, que se define como el tratamiento equitativo e imparcial de los interesados por los sistemas de IA.
Implica desarrollar técnicas analíticas para detectar y abordar posibles injusticias empleando métodos que evalúen sistemáticamente los datos utilizados para entrenar a los sistemas de IA con el fin de lograr una representación adecuada.
Como hemos visto, los sesgos y errores hechos por sistemas de IA en imágenes son por obviedad más visibles; sin embargo, se vuelve más complejo identificar sesgos con otros tipos de datos. Por ejemplo, el caso de sistemas de calificación crediticia, sistemas de contratación y /o sistemas de cálculo de salarios.
Estadísticamente, el salario de las mujeres es menor que el de los hombres, por lo que un modelo entrenado con un conjunto de datos con información sesgada sobre la brecha salarial, se entrenará con un ingreso más alto y será propenso a penalizar a las mujeres.
El principio de equidad representa la idea de que las personas, sea cual sea su situación, merecen las mismas oportunidades y protecciones frente al aumento de tecnologías de IA.
“La igualdad de los seres humanos va más allá de la no discriminación, lo que tolera la distinción entre situaciones diferentes basadas en justificaciones objetivas. En un contexto de IA, la igualdad implica que las mismas reglas deben aplicarse para que todos tengan acceso a la información, los datos, el conocimiento, los mercados y una distribución justa del valor agregado generado por las tecnologías “. — European High Level Expert Group guidelines
La inclusión en el impacto como principio exige una distribución justa de los beneficios de la IA, particularmente a las poblaciones que históricamente han sido excluidas.
La Declaración de Montreal afirma que los sistemas de IA “deben ayudar a eliminar las relaciones de dominación entre grupos y personas basadas en las diferencias de poder, riqueza o conocimiento” y “deben producir beneficios sociales y económicos para todos al reducir las desigualdades y vulnerabilidades sociales”.
Finalmente, el principio de inclusión en el diseño representa la idea de que la IA ética y respetuosa de los derechos requiere una participación más diversa en el proceso de desarrollo de los sistemas de IA. Este principio se expresa de dos maneras diferentes:
- Mediante equipos diversos de diseño y desarrollo. Por ejemplo, más mujeres, personas de diferentes edades, personas de diversos orígenes y culturas, personas neurodiversas, personas con alguna discapacidad, entre otras.
- Mediante un foro social genuinamente diverso e inclusivo para el debate, que permita determinar democráticamente qué formas de IA son apropiadas para la sociedad, de manera que una amplia sección transversal de la sociedad debería tener la oportunidad de evaluar lo que se usa para la IA y en qué contextos.
Las prácticas de diseño inclusivo ayudarán a los desarrolladores de sistemas a comprender y abordar las posibles barreras en un producto o entorno que podrían excluir involuntariamente a las personas. - Principios de IA Microsoft
CONCLUSIÓN
- La transparencia y la explicabilidad son una base para la realización de otros muchos otros principios
- La necesidad de explicabilidad será cada vez más importante a medida que las capacidades y el impacto de los sistemas de IA se combinen
- Es importante definir bien el propósito, objetivos, parámetros y otra información para facilitar la comprensión de los sistemas de IA
- Una explicación satisfactoria debería tomar la misma forma que la justificación que exigiríamos a un humano que tomara el mismo tipo de decisión
- Sólo se puede determinar si una decisión automatizada es parcial o discriminatoria si puede “examinar la base — los criterios, objetivos, lógica — sobre la cual se tomó la decisión”
- Los modelos incluyen frecuentemente prejuicios de sus creadores
- Todos los actores, públicos y privados, deben prevenir y mitigar los riesgos de discriminación en el diseño, desarrollo y aplicación de sistemas de IA
- Cuando no se puede lograr suficiente transparencia, se recomienda abstenerse de utilizar estos sistemas en contextos de alto riesgo
- La divulgación de datos o algoritmos no es suficiente para lograr transparencia o explicabilidad
- Las empresas deben evitar reforzar o replicar sesgos recurriendo a conjuntos de datos mas diversos o aplicando técnicas para bloquear el efecto del sesgo
Y tú, ¿qué opinas?
¿Cómo podemos proteger activamente grupos marginados a través de los datos?
Nos vemos en la tercera y última parte de este análisis del reporte ✌️
