La paradoja de la fiabilidad de la Inteligencia Artificial
¿Demasiado bueno para fracasar? La sorprendente forma en que un sistema de alto rendimiento puede perjudicarte.
Traducido por Juan Carlos Enciso del original por Cassie Kozyrkov (editado por Carlos Secada)
Imagina dos trabajadores (humanos):
- Daniel Descuidado: es una constante decepción para ti, realizando bien las tareas asignadas el 70% de las veces y produciendo una vergüenza absoluta el resto del tiempo. Ver a Daniel hacer 10 intentos es más que suficiente para provocar en ti una respuesta de “ay, Dios”.
- Carlos Confiable es otro cuento. Has visto a Carlos en acción más de cien veces y siempre te ha impresionado.
Aquí viene la pregunta del millón. ¿Qué trabajador es más peligroso para tu empresa?
En una tarea de alto riesgo, la respuesta podría ser Carlos Confiable… pero quizás no por la primera razón que se nos ocurre.
Esto no se trata de proyectos malos
En otro artículo, he señalado que los trabajadores ultra confiables pueden ser peligrosos cuando el tomador de decisiones está trastornado. Estos trabajadores se limitan a “seguir órdenes”, incluso si éstas son terribles, por lo que pueden amplificar la incompetencia (o la mezquindad). Pero esta no es la lógica que voy a seguir aquí, puesto que ya me han oído argumentar al respecto. Veamos esto desde un ángulo diferente.
Suponiendo que el proyecto sea una idea maravillosa que hará del mundo un lugar mejor si se hace bien, ¿sigue siendo la mejor opción?
Cuando sabes que no debes confiar
El asunto es que tú sabes que no debes confiar en Es obvio para ti. Esperas que se equivoque… y por eso no vas a apostar la casa por (¿Verdad?). No vas a dejar que la incompetencia te agarre por sorpresa, así que encontrarás alternativas. Serás lo suficientemente sabio como para poner a prueba el inevitable error.
También te asegurarás de vigilar todas las cosas, así que supervisarás a Daniel Descuidado con mucho rigor. ¿Pero Carlos? Tú confías en Carlos Confiable. ¿Por qué controlar o construir redes de seguridad? Carlos es impecable, ¿verdad?
Cuidado con el trabajador confiable
Carlos no es perfecto. Simplemente, aún no lo has visto fallar: se necesitan más datos para observar el punto de quiebre. El hecho es que no has tenido la oportunidad de evaluar adecuadamente lo catastrófico que el colapso de Carlos podría ser.
Un exceso de confianza es un problema. Cuando un sistema es obviamente defectuoso, se planifica en torno a sus errores. No confías en una ejecución perfecta.
Si los líderes no comprenden que hay una diferencia crucial entre lo bueno y lo perfecto, pueden convertir la bendición de tener un buen trabajador, en la maldición de trabajar con uno que ofrezca un rendimiento superior.
A escala, nada es perfecto
El problema es que crees que has examinado a Carlos a fondo, pero no es así. Se necesitan más de 100 intentos para poder conocer la anatomía de un error. Cuando amplíes las operaciones, te encontrarás con una especie de problema desagradable.
Aunque los consejos de este artículo son válidos para los trabajadores humanos, son aún más urgentes para los sistemas de Inteligencia Artificial (IA) y otras soluciones escalables. Una de las cosas más peligrosas de las soluciones basadas en matemáticas y datos es que los no expertos confían demasiado en ellas. No seas aquella presa fácil que cree que hay perfección en las tareas complejas.
Cuando aumentas la escala, te encontrarás con la cola larga.
Es mejor asumir que nada es perfecto. Incluso los sistemas más seguros pueden fallar… sobre todo si les das muchas oportunidades.
Como suelen decir los ingenieros de confiabilidad: “cuando aumentes la escala, te encontrarás con las colas largas”
Redondeando la cola larga
Incluso si tu sistema ha sido probado cuidadosamente y ha resultado 99. 99% bueno, eso no significa que sea perfecto. Desgraciadamente, si no tienes cuidado, puedes redondear mentalmente ese porcentaje al 100%. En otras palabras, descartarás la posibilidad de errores porque la probabilidad es baja. Esa es otra forma en la que el sistema de alto rendimiento puede ser más peligroso que uno de bajo rendimiento… a menos que hagas algo al respecto.
No descartes la *posibilidad* de observar errores cuando su *probabilidad* se baja.
Teniendo cuidado
Lo que hace que Carlos Confiable sea peligroso no es el rendimiento superlativo, sino el exceso de confianza.
Entonces, ¿cuál es la solución? ¿Cómo aprovechar todos los beneficios de la excelencia sin exponerse a los riesgos? Muy sencillo. Construye redes de seguridad para Carlos Confiable como si estuvieras tratando con Daniel Descuidado Entonces obtendrás lo mejor de todos los mundos.
El hecho de que aún no hayas observado un error no significa que tu sistema sea perfecto. ¡Planifica los fallos y crea redes de seguridad!
Ya sea que la tarea sea realizada por humanos o por máquinas, nunca subestimes la importancia de las redes de seguridad. Permitirse una falsa sensación de seguridad por un rendimiento aparentemente impecable es un mal liderazgo.
Confiar en la perfección es peligroso. Piensa en la perfección como una bonificación, pero nunca confíes en ella.
En lugar de ello, plantéate preguntas desagradables tipo y si. ¿Y si tu mejor cirujano se enferma mientras trabaja? ¿Y si la máquina que controla los signos vitales de un paciente falla? ¿Y si el conductor está demasiado cansado para prestar atención a la carretera? ¿Y si el sistema de reconocimiento facial de un control fronterizo automatizado identifica erróneamente a alguien? ¿Y si el humano que revisa un pasaporte se equivoca? ¿Qué pasa después?
“¿Qué pasa después?”
Cada vez que encuentro desafortunadas aplicaciones de IA que me revuelven el estómago, la parte que me pone los pelos de punta es la maravillosa ignorancia de los creadores sobre los errores; rara vez es la propia automatización. En ocasiones, este tipo de ignorancia raya en lo criminal.
Los errores *se producirán.*
La pregunta que hay que hacerse sobre los errores no es: “¿Sucederán?” Porque lo harán. Más bien, hay que preguntarse:
- ¿Qué redes de seguridad existen para proteger a las personas de las consecuencias de esos errores?
- Si todo el sistema falla -redes de seguridad y todo-, ¿cuál es el plan para arreglar las cosas?
Si no hay un plan para prevenir y remediar los daños, prepárate para el desastre que se avecina. Quienquiera que esté a cargo de ese proyecto es algo peor que un incompetente. Es una amenaza para la sociedad. No seas esa persona.
Los humanos contra las máquinas
Si un error llega a ser tan catastrófico que el fracaso se torna intolerable, entonces no automatices la tarea y tampoco dejes que lo hagan trabajadores humanos. O, si hay algo en tu ética que dice que es más aceptable que el fallo provenga de un trabajador humano que de una máquina (el quid de muchos debates sobre vehículos autónomos), entonces utiliza un enfoque de mantener-el-humano-informado.
Mejor no es lo mismo que perfecto.
Pero hagas lo que hagas, recuerda que los errores son posibles. Los humanos cometen errores, los sistemas de IA también. Incluso si el sistema de IA desplegado comete menos errores que la alternativa humana, recuerda que menos no es lo mismo que ninguno. Mejor no es lo mismo que perfecto.
Siempre que las tareas sean complejas o las entradas sean variadas, se producirán errores.
Creer en el mito de la perfección puede tener consecuencias nefastas, así que no dejes que el pensamiento matemático se interponga en el camino del sentido común. Siempre que las tareas sean complejas o las entradas sean variadas, se producirán errores.
En resumen
Si no hay un plan para afrontar un error, ¡el resultado puede ser catastrófico! Puede que te afecte mucho más que un error de un mal ejecutor por la misma razón que te olvidaste de planificarlo.
Así que, si eres prudente, optarás por el mejor sistema pero construirás redes de seguridad como si fuera el peor.
Obtén más información sobre ciencia de datos e inteligencia artificial en español aquí.
