¿Cómo medir la usabilidad?

Published in

ux-ripley

8 min readJan 4, 2020

Dado que en la usabilidad abordamos las posibilidades de acción que un usuario percibe para realizar una tarea frente a “algo” -como una interfaz de usuario GUI, por ejemplo- y que estas opciones les resultan más o menos fáciles según sus propios modelos mentales (las experiencias anteriores que han vivido), podríamos decir que es un fenómeno muy cercano al affordance en el mundo material.

A partir de aquello, utilizar un test de usabilidad nos ayudaría a medir de forma empírica la usabilidad, con muestras tomadas a partir de usuarios reales, en escenarios donde deben completar ciertas tareas que serán capturadas para evaluación y posterior análisis de los resultados cuantitativos y cualitativos en términos de eficacia, eficiencia y satisfacción; incluso, nos permitiría conocer su grado de accesibilidad.

Es posible llevar a cabo tests de usabilidad reducidos hasta tests de gran escala (con varias semanas y decenas de usuarios). En el año 2000 Jakob Nielsen y Tom Landauer postularon que, matemáticamente, con un test de 5 usuarios es posible descubrir el 90% de los problemas al realizar una prueba de usabilidad. Este modelo ha sido validado en diversos productos de Google -como GmailGoogle Calendar, entre otros- donde se han realizado tests de usabilidad y entrevistas en profundidad a no más de 5 usuarios, con excelentes resultados (video).

Michael Margolis. UX Research Partner at GV (fka Google Ventures)

Es importante tener en claro que el objetivo de los test no es aprobar o rechazar, sino facilitar la toma de decisiones informadas a partir de la validación de la propuesta que se le presente a los usuarios. Este test no nos dirá qué tipo de acciones debemos realizar para resolver los problemas puntuales de diseño, pero sí qué aspectos problemáticos debemos tener en cuenta para presentar soluciones que atiendan sus expectativas.

El test de usabilidad nos permitirá:

Verificar la existencia de posibles problemas de usabilidad / uso de los sistemas, interfaces, interacciones, contenidos, etc.
Encontrar posibles soluciones para los problemas. Validaremos ciertas hipótesis o supuestos.
Establecer una medida inicial para comparar a la competencia.

Métricas para usabilidad

La manera de medir la usabilidad es bastante extensa, algunas de estas pueden ser cualitativas y cuantitativas. Haremos un doble click para conocer mejor que métricas componen indicadores como Eficacia, Eficiencia y Satisfacción:

Eficacia

La exactitud e integridad con la que los usuarios llegan a lograr los objetivos especificados durante un periodo determinado de tiempo.

Cantidad de tareas realizadas.
Porcentaje de funciones relevantes utilizadas.
Porcentaje de tareas completadas con éxito en el primer intento.
Cantidad de errores persistentes o por repetición.
Cantidad de errores por unidad de tiempo.
Porcentaje de usuarios capaces de completar con éxito la tarea.
Cantidad de solicitudes de asistencia (hacia el moderador).
Medida objetiva de la calidad de la producción.
Medida objetiva de la cantidad de producción.
Porcentaje de usuarios que pueden llevar a cabo tareas clave sin leer un manual.

Eficiencia

Serían los recursos empleados en relación a la exactitud, integridad y esfuerzo que los usuarios emplean o necesitan para poder alcanzar sus objetivos.

Tiempo para ejecutar un conjunto particular de instrucciones.
Tiempo empleado en el primer intento.
Tiempo para realizar una determinada tarea
Tiempo para realizar la tarea en comparación con un experto.
Tiempo para alcanzar el rendimiento de expertos.
Cantidad de pulsaciones de clicks, taps o teclas adoptadas para lograr la tarea (dependiendo del dispositivo).
Tiempo dedicado a la corrección de errores.
Número de iconos recordados después de la finalización de la tarea.
Porcentaje de tiempo dedicado al uso del manual, wizard o guía.
Tiempo dedicado en volver a aprender las funciones.

Satisfacción

Hace referencia a cómo los usuarios se sienten y perciben el sistema. A nivel subjetivo y objetivo. Cuán cómodo fue y cual sería su aceptabilidad en su uso.

Porcentaje de los clientes que califican el producto como más satisfactorio o placentero que un producto anterior.
Cambio de uso voluntario.
Porcentaje de clientes que se sienten “en control” del producto.
Porcentaje de clientes que se lo recomendaría a un amigo después de su uso en un corto periodo de tiempo.
Porcentaje de clientes que declaran accesible el producto. Tales como, complejidad de realizar las tareas, problemas de legibilidad, problemas visuales al encontrar los objetivos (findability), problemas de alcance (reachability) etc.

Usability, Usabilidad, retail, test — Photo by Taras Shypka on Unsplash

¡No más métricas por favor!

¡Que si!, podemos continuar clasificando además la usabilidad en muchos más indicadores, algunos de estos símiles a los anteriormente mencionados, pero en distinta clasificación.

SUM: Single Usability Metric.

Sirve para describir la usabilidad de un sistema mediante la combinación de tres indicadores de usabilidad: tasa de completación de tarea, tiempo de completación de tarea y nivel de satisfacción de la tarea:

Tasa de Completación / Ratio de éxito / exactitud en el número de errores cometidos por los sujetos de prueba y si estos fueron recuperables o no al usar los datos o procedimientos adecuados esperados.

Tasa de completación de tarea: este indicador se contabiliza de manera binaria (1 = Tarea Realizada con Éxito y 0 = Tarea no Superada) esta medida permite conocer de una manera simple la facilidad de uso a la hora de realizar una tarea.
Problemas de usabilidad: este indicador revela los problemas que le han surgido al usuario a la hora de realizar una tarea, además puede incorporar una escala de gravedad ligada a los problemas surgidos. Ayuda a conocer la probabilidad con la que el usuario se encontrará con un problema en cada fase del desarrollo. Además se pueden obtener estadísticas de la cantidad de problemas que le surgen a cada usuario y cuáles son los problemas más frecuentes.
Errores: este indicador recoge cualquier acción involuntaria, error, omisión o acción no deliberada que el usuario haya cometido al intentar realizar una tarea. Recupera cada incidencia junto con una descripción. Este indicador es de gran ayuda ya que revela los campos que con mayor frecuencia causan confusión al usuario, y en los que comete fallos o acciones equivocadas que provocan la desviación del objetivo propuesto por la tarea. Esto último recuerda al significado raíz de usabilidad por lo que hay que prestarle mayor atención. Además se pueden ordenar por categorías y clasificar en función de su importancia.
Páginas vistas / click / performance: se utiliza en herramientas de analítica web, por lo que no es necesario realizar un estudio de usabilidad para recabar datos relacionados con este indicador. Sirve para aplicaciones web y sitios web; está demostrado que existe una alta correlación entre los clicks y el tiempo dedicado a cada tarea, siendo el primer click crucial para determinar si la tarea será realizada finalmente con éxito o no. Es una de las mejores métricas para medir la eficiencia (sería posible indagar también a través de esto el clasificar el factor de tiempo).
Conversión: se trata de una medida de efectividad que también se puede encontrar en herramientas de analítica web. Es una herramienta esencial en el comercio electrónico ya que revela si los usuarios pueden completar las tareas de inscripción o compra en un sitio web; también se contabilizan de manera binario (1 = convertido, 0 = no convertido). A la hora de completar esta tarea y por lo tanto de lograr la conversión o no, normalmente afectan varios factores entre los cuales se encuentran los problemas de usabilidad, los errores y los tiempos.

Tiempo de Completación requerido para concluir la actividad con éxito.

Tiempo de completación de tarea: sirve para medir la eficiencia y la productividad. Es el tiempo total utilizado para llevar a cabo una tarea. Esta medida registra las horas, minutos y segundos empleados.
Recordancia Qué tanto recuerda el usuario después de un periodo sin usar la aplicación.

Nivel de Satisfacción / Respuesta emocional: Cómo se siente el usuario al terminar la tarea (bajo tensión, satisfecho, molesto, etcétera).

Nivel de satisfacción de la tarea: se trata de un pequeño cuestionario para averiguar la dificultad que ha observado el usuario al realizar la tarea, que además servirá para comparar la dificultad entre varias tareas.
Nivel de satisfacción de la prueba: cuestionario en forma de una o varias preguntas que recogen las impresiones que el usuario ha percibido en cuanto a la facilidad o dificultad del uso general de la aplicación, sitio web etc.
Expectativas: en este indicador se le pide al usuario que estime el nivel de dificultad que espera encontrar a la hora de realizar una tarea, para luego poder comparar los resultados con las impresiones reunidas al finalizar la tarea (lo esperado con lo real).

SUS: System Usability Scale

Es una herramienta rápida y fiable para medir la usabilidad. Consiste en un cuestionario compuesto por diez preguntas que se puntúan mediante una escala Likert (de 1 a 5).

Creo que me gustaría usar este sistema con frecuencia.
Encontré el sistema innecesariamente complejo.
Pensé que el sistema era fácil de usar.
Creo que necesitaría el apoyo de alguien técnico para poder utilizar este sistema.
Encontré que las diversas funciones de este sistema estaban bien integradas.
Pensé que había demasiada inconsistencia en este sistema.
Me imagino que la mayoría de la gente aprendería a usar este sistema muy rápidamente.
Encontré que el sistema era muy engorroso de usar.
Me sentí muy confiado al usar el sistema.
Necesitaba aprender muchas cosas antes de poder usar este sistema.

¿Cómo trabajar y cuantificar los resultados?
Se trata una escala fácil de administrar y puede emplearse en muestras de pocos usuarios con resultados fiables.

Debes sumar el puntaje total de todas las preguntas impares, luego restar 5 puntos del total para obtener “X”. Posteriormente, suma la puntuación total de todas las preguntas pares, luego reste ese total con 25 para obtener “Y”.
Finalmente, sume la puntuación total de los nuevos valores “X+Y” y multiplíquela x 2,5.

Por ejemplo:

Preguntas impares 1, 3, 5, 7 y 9 (restamos 5)
Preguntas pares 2, 4, 6, 8 y 10 (restamos 25)

Impar = (4+5+3+4+3) = 19–5 = 14
Par = (2+1+3+1+1) = 8-25 = 17
Puntuación SUS: (14+17) x 2,5 = 77,5

Las puntuaciones del participante en cada pregunta se suman y luego se multiplican por 2,5 para convertir las puntuaciones del 0 a 100. Acá es existen muchas tentaciones de interpretar los datos al realizar esta conversión, porque el 100 no se trata de un 100%.

Un puntaje del SUS aceptable y superior se considera por sobre los 68 puntos. Cualquier otro valor inferior a 68 está por debajo del promedio llegando a ser un sistema marginal, no aceptable o “no usable”. Sin embargo, la mejor manera de interpretar sus resultados implica analizar y combinar este instrumento con otro tipo de evaluaciones anteriormente mencionadas para profundizar en más aspectos.