Análisis de “Google UX Report”

Patricio Navarro
ndsww
Published in
4 min readApr 12, 2018

--

Introducción

Google volvió a libera un reporte sobre la experiencia de usuarios en dispositivos reales (mediante los datos que los usuarios aceptan compartir con Chrome) esta vez la data es mucho mas amplia y parce que comenzaran a liberarla mensualmente. Luego de algunos mails cruzados con Ilya Grigorik ( Google / Chrome) y Rick Viscomi (Google / HTTP Archive) pudimos aclarar algunos puntos claves sobre la información que entra y la que no en el dataset.

Aclaraciones sobre el informe de Google:

  • Los datos están agrupados por sitio web, sub agrupados por tipo de dispositivo y tipo de conexión.
  • No tenemos números sobre la cantidad de muestras por sitio ( toda la información de un sitio esta normalizada y expresada en porcentaje)
  • La información esta liberada en varios datasets esta vez agrupados por países (los países son los del usuario, y se obtienen por la ip)
  • Para que un sitio ingrese en el reporte, debe tener al menos X cantidad de muestras. Esta cantidad X no fue compartida por Google y según Ilya Grigorik puede variar de mes a mes.
  • Esta cantidad X para un determinado mes es constante en todos los set de datos de los distintos países.
  • Según nos comento Rick Viscomi aquellas muestras que dieron error en la carga de la pagina, no son tenidas en cuenta.
  • La información tiene un problema y es que esta en “biPorcentuales del histograma.ns” o “buckets” los cuales no son constantes ( ej, de 0 a 3 segundos se particiono en 200ms , y de 3 a 10 segundos se particiono en buckets de 500ms ). Esto provocaba los picos en la información que veremos en los gráficos de linea.
  • Para mas claridad de como manejamos la data para hacer los gráficos pueden ver la primer publicación sobre los datos de Noviembre donde realice el primer análisis.

Análisis first contentful paint:

  • Argentina:
Densidad en forma continua para cada tipo de conexión, cada tipo de conexión fue normalizada individualmente.
Histograma en 3 buckets para evitar el problema de los saltos.
Porcentuales del histograma.

De estos graficos se puede desprender por ej., que si tenes un tiempo de “first contentful paint” menor a 3s, es un poco mas probable que tu conexión sea 4g sobre 2g. Mientras que si tu tiempo de “first contentful paint” fue mayor a 20s , es muy probable que tu conexión sea 2g sobre 4g.

Distribución de observaciones en mobile diferenciados por tipo de conexión, sin normalizar por tipo de conexión.
Porcentuales del histograma.

En este grafico podemos ver que las muestras en 2g no son significativas, y también podemos observar que 3g y 4g se comportan de forma similar para tiempos < 10s , luego es muy poco frecuente que una conexión de 4g tarde >10s.

  • USA
Densidad en forma continua para cada tipo de conexión, cada tipo de conexión fue normalizada individualmente.
Histograma en 3 buckets para evitar el problema de los saltos.
Porcentuales del histograma.
Distribución de observaciones en mobile diferenciados por tipo de conexión, sin normalizar por tipo de conexión.
Porcentuales del histograma.

Para estos resultados se muestra claramente como la performance en USA es claramente superior a la de Argentina.

  • España
Densidad en forma continua para cada tipo de conexión, cada tipo de conexión fue normalizada individualmente.
Histograma en 3 buckets para evitar el problema de los saltos.
Porcentuales del histograma.
Distribución de observaciones en mobile diferenciados por tipo de conexión, sin normalizar por tipo de conexión.
Porcentuales del histograma.

Conclusiones preliminares

  • Las mediciones en Argentina referentes a 4G equivalen al 66% del total de las muestras mientras que en USA es del 96% y en España representa el 97%
  • Las buenas experiencias de usuario ( first meaninful paint < 3 ) en Argentina representan %66 mientras que en Usa es del %81 y en España es de %80
  • Las pésimas experiencias de usuario ( first meaninful paint > 10 ) en Argentina representan %4,5 mientras que en Usa es del %1,7 y en España es de %1,4

Próximos pasos

  • Comparar en un mismo gráfico varios países.
  • Agregar países al análisis.
  • Inferir la penetración de Internet en los países en función de la cantidad de sitios que figuran en le informe.

Fuentes

--

--