La ética en la ingeniería de software: Parte 3
HAL 9000, o como aprendí a dejar de preocuparme y a amar la inteligencia artificial general
En lo que va de la historia de la humanidad, hasta ahora, todos los beneficios, riesgos y daños producidos por la tecnología han sido por acción y omisión de nosotros mismos; pero con los vertiginosos avances que estamos experimentando en el área de la inteligencia artificial estamos día tras día mucho más expuestos al riesgo de experimentar daños ocasionados por decisiones tomadas por máquinas, algoritmos y sistemas, sin intervención ni control humano directo.
La capacidad de la inteligencia artificial actual y futura nos obliga a reflexionar sobre las implicaciones éticas, legales y morales de los efectos que puedan tener las decisiones que tomen de forma autónoma máquinas y algoritmos.
Esúpidos robots: Situaciones en que ha fallado la IA
Antes de hablar del futuro de la inteligencia artificial quiero hablar un poco sobre fallos, errores de juicio, errores de criterio y problemas que han ocasionado algunos sistemas de inteligencia artificial existentes.
Veamos el caso de Tay, el tweetbot que creó Microsoft que tenía el objetivo de hablar como una adolescente e ir aprendiendo de sus interacciones con otros usuarios en Twitter para imitarlos. Un experimento de inteligencia artificial bastante interesante y con mucho potencial pero que tuvo un resultado terrible.
El bot estaba programado para imitar la la personalidad de una adolescente y tenía instrucciones para ir aprendiendo temas de conversación, jerga y modismos a partir de los tweets que recibiera de otros usuarios; por supuesto, siendo Twitter lo que es, en poco tiempo el sentido original del bot se desvirtuó y miles de usuarios empezaron a "entrenar" al bot enviándole tweets cargados de mensajes racistas, xenófobicos, clasistas y con muchas otras formas de agresión e incorrectitud política que el bot comenzó a imitar rápidamente.
Microsoft rápidamente desactivó el bot y borró los tweets ofensivos, al final sólo nos quedaron los pantallazos y una disculpa de parte de la empresa. Considerando que Microsoft es una de las empresas de tecnología más grandes del mundo, que a través de sus productos le ha dado forma al mundo digital moderno, es bastante difícil excusar a Microsoft de un error tan predecible como éste.
Todos sabemos que la internet está llena de trolls y que muchos aprovechan el anonimato para volcar sus opiniones más políticamente incorrectas o simplemente para crear un poco de caos y divertirse. Construir un chatbot parta que se alimente de mensajes de usuarios de Twitter sin tener la capacidad de predecir el desastre ni agregar a las directrices del robot reglas que impidan la propagación de mensajes agresivos y políticamente incorrectos es un ejemplo de que no estamos pensando lo suficiente en las consecuencias, complicaciones y posibles resultados de las tecnologías que creamos:
- ¿Los equipos de ingeniería y producto a cargo de desarrollar sistemas de inteligencia artificial tienen la experiencia y conocimientos suficientes en ética, moral, psicología, y ciencias cognitivas para evitar daños y perjuicios fácilmente predecibles y evitables?
- ¿Somos todos conscientes de las capacidades que poseen actualmente los algoritmos y sistemas de inteligencia artificial?
- ¿Entendemos bien las posibles complicaciones de las tecnologías que se están creando e investigando actualmente?
- ¿Somos conscientes de que cualquier modelo de aprendizaje automatizado basado en recopilación de estadísticas y análisis de patrones puede ser burlado a través de fuerza bruta para producir resultados no deseados?
- ¿Cuánto control en la toma de decisiones y aautonomía en la ejecución estamos dispuestos a darle a los sistemas de inteligencia artificial?
- ¿Se están agregando kill-switches y capacidad de configurar y parametrizar las reacciones de las inteligencias artificiales para prevenir daños mayores una vez que las cosas empiezan a salir mal o estamos creando sistemas fire and forget?
Estas preguntas, y muchas más, son preguntas que cualquier equipo que esté investigando y trabajando con sistemas de inteligencia artificial debe tener siempre presentes, y sinceramente, es difícil de entender que una empresa de la magnitud de Microsoft no se haya cuestionado este tipo de cosas, al menos no con la seriedad que correspondía.
En la historia reciente tenemos muchos otros ejemplos de bots saliéndose de control, como la vez en que Google News publicó por error una noticia falsa sobre una adquisición de Apple por parte de Google y muchos bots dedicados a hacer trading automático de acciones no entendieron el contexto y empezaron a tomar decisiones de compra y venta que impactaron seriamente el precio en el mercado de la acción de Apple. A diferencia del experimento de Microsoft, este fallo no se produjo en tecnologías experimentales sino en muchos sistemas en producción usados por firmas financieras alrededor del mundo para tomar decisiones y manejar sus transacciones en el mercado financiero.
Para que tengamos una idea de la influencia que tienen los bots de trading en el mercado financiero pensemos en lo siguiente:
El valor de una acción de Apple al 2 de noviembre de 2017 es de US$166.89, y la empresa tiene una capitalización de mercado de aproximadamente 862 mil millones de dólares (La capitalización de mercado es el resultado de multiplicar el número de acciones emitidas por una compañía por el valor individual de cada acción). Sin ser un experto en finanzas puedo imaginarme que para tener influencia en el precio de la acción de Apple se necesitan cientos de millones de dólares en transacciones de compra y venta, o a lo mejor miles de millones de dólares.
El error pudo corregirse rápidamente, las estrategias de los bots fueron ajustadas y la mano invisible de Adam Smith se encargó del resto. La distorsión en el precio se corrigió y para la mayoría de las personas ésto no llegó más allá de una anécdota interesante pero nos deja lecciones muy importantes sobre el impacto que pueden tener nuestros sistemas en el mundo exterior más allá de nuestro software y de la extensión, y nos deja muy clara la ubicuidad de los sistemas autónomos en todas las actividades humanas.
¿Sueñan los androides con carceleros eléctricos?
Hay otra pregunta que debemos realizarnos cuando estemos pensando en sistemas de inteligencia artificial, una pregunta tan importante que merece su propia sección en este artículo:
¿Sobre quién recae la responsabilidad penal cuando un robot toma la decisión de ejecutar alguna acción que viola la ley?
Ésta es una pregunta que guarda mucha relación con los robots que intereactúan directamente con el mundo físico y que pueden hacer daño a las personas. El ejemplo concreto más visible de esto son los vehículos autónomos.
Cuándo un vehículo autónomo hiera a una persona o acabe con su vida ¿Sobre quién debe recaer la responsabilidad penal? ¿De qué manera se realizarán las pruebas y experticias que determinen si el accidente se produjo por negligencia, por fallo mecánico o por un fallo de software? ¿Cómo auditamos los criterios y reglas que usan los robots para conducir un auto? ¿Se están guardando registros de las condiciones bajo las cuales los robots toman determinadas decisiones de conducción para entender el proceso y poder auditar algún posible accidente?
Todas esas son preguntas de vital importancia, algunas tienen respuesta, algunas no, pero son temas que debemos hablar si vamos a construir un futuro donde los vehículos autónomos conviven con choferes humanos o los reemplazan completamente. El uso de la palabra "cuándo" en el párrafo anterior no es arbitrario, la ocurrencia de un accidente de tránsito grave que involucre vehículos autónomos no es un tema de preguntarse "si va a suceder" sino que debemos tener la certeza de que sucederá y estar preparados para ese momento.
Ya existe el caso documentado de un vehículo Tesla que produjo la muerte de una persona que había activado el sistema Autopilot de su auto, un sistema que se usa para manejar en autopistas y carreteras y que es muchísimo más sencillo que los sistemas de vehículos completamente autónomos que toman decisiones complejas, el sistema Autopilot simplemente se encarga de llevar al auto hasta cierto destino, manteniendo una velocidad estable y tomando decisiones pequeñas respecto a cambio de carriles, prevensión de colisiones, aceleración y frenado del vehículo.
Inteligencia artificial versus idiotez natural
La especie humana domina sobre el planeta Tierra gracias a su inteligencia superior, ésto implica que cualquier inteligencia, natural o artificial, que posea una inteligencia superior a la nuestra tiene el potencial de dominarnos completamente.
Una las de tramas más comunes en las obras de ficción sobre inteligencia artificial es esa que involucra a sistemas tomando consciencia de sí mismos, que se vuelven "malvados" y esclavizan o intentan exterminar a la humanidad. Este artefacto narrativo nos ha dado excelentes películas como The Matrix, Blade Runner Ex Machina y Terminator I y II (Las otras películas de la fraquicia Terminator no las pienso dignificar con una mención).
Los escenarios apocalípticos de la ficción son verdaderamente perturbadores y por eso funcionan tan bien en papel y en la pantalla pero son menos probables que, por ejemplo, la existencia de una inteligencia artificial que se vuelva altamente competente en las metas definidas para su funcionamiento, pero decida completarlas de formas que terminen haciendo daño a la humanidad; por ejemplo, un sistema estratégico que decida que la manera más eficiente de conseguir la paz mundial sea exterminando a todos los seres humanos, acabando efectivamente con las guerras.
Otro gran riesgo, muy relacionado al párrafo anterior, es el surgimiento de sistemas de inteligencia artificial que se encuentren con reglas y condiciones de funcionamiento contradictorias que las hagan actuar de maneras inesperadas y perjudiciales. Ya esta posibilidad nos la advertía Arthur C. Clarke en su novela 2001: A Space Oddissey (Adaptada al cine magistralmente por Stanley Kubrick)[SPOILERS AHEAD: Si no han leído o visto 2001: A Space Oddissey, vayan, vayan, que se están perdiendo de obras maestras].
En Odisea, el computador super inteligente HAL 9000 controla todos los sistemas de una aeronave donde viajan dos astronautas, HAL había recibido dos instrucciones que se contradecían: Entregar siempre información verdadera y ocultar a los dos astronautas el verdadero objetivo de su misión espacial. Ante el dilema, HAL decidió asesinar a los astronautas, de esta forma resolvía las instrucciones contradictorias pues al no tener nadie a quien entregarle información veraz no se veía en la obligacion de revelar la información sobre el objetivo real del viaje. Técnicamente, tomando esta decisión HAL 9000 resolvía el problema pero es obvio que la solución, desde el punto de vista ético y moral, carece totalmente de sentido.
Al crear sistemas autónomos debemos preocuparnos siempre por la capacidad de control que estos sistemas tienen sobre el mundo, la autonomía y capacidad de ejecutar acciones siempre debe ser controlada y debe poder detenerse en cualquier momento, para evitar desastres o al menos contenerlos.
Continúa leyendo el próximo artículo de esta serie haciendo click acá.
Índice de Artículos
- La ética en la ingeniería de software.
- Daños accidentales y daños intentionales ocasionado por los computadores.
- Big Brother is watching, privacidad en la era digital.
- HAL 9000 o como aprendí a dejar de preocuparme y amar a la inteligencia artificial general.
- Red, Green, Refactor: La mejora continua de las organizaciones, equipos y profesionales como mecanismo de prevención.
- La profesionalización en la industria del software.
