W6: Deep neural networks for youtube recommendations

Esta es mi crítica a Deep neural networks for youtube recommendations de Covington, P., Adams, J., & Sargin, E. (2016)

De qué se trata el paper?

El paper propone una solución al problema de recomendación de videos de la plataforma Youtube basada en redes neuronales profundas. Fueron utilizadas dos redes: una para “filtrar” entre los billones de videos (generar un subset tratable de videos candidatos a relevantes) y otra para rankear entre ellos. En el trabajo se detallan las características del dataset, la arquitectura de cada una de las redes, acompañando esto con decisiones que tomaron y sus resultados.

Críticas y comentarios

Lo primero que llama la atención cuando uno compara este trabajo vs. los que habíamos comentado antes, es la cantidad de avance que se ha hecho en el último tiempo respecto de técnicas de deep learning. En los papers que revisamos anteriormente, estos eran autocontenido: eran capaces de explicar (aunque fuera de manera general) todas las técnicas que usaron durante su trabajo. En este caso, los autores utilizan muchas técnicas y, se nota, que no les alcanza el espacio para detallar el funcionamiento de todas ellas, de modo que para un lector no-especializado o no-actualizado, le obliga a tener que repasar otros trabajos para entender a cabalidad lo que ellos proponen.

Un aspecto que fue dejado fuera en este trabajo y que considero que era interesante (o al menos que levanta curiosidad) es la complejidad del algoritmo, en términos de tiempo y memoria. Se entiende que están trabajando sobre bases de datos con billones de usuarios y vídeos, por lo que levanta la duda de qué tipo de hardware necesitaron para entrenar las redes y cuanto tiempo demoró esto.

Otra cosa que es dejada fuera, es la comparación de sus resultados con otras soluciones al problema, quizás esto apela a la expertiz del lector en el tema y de que uno esté al corriente de qué se había hecho y qué resultados se habían logrado, pero creo que daría más dramatismo si hubiesen podido comparar su técnica con otras técnicas más básicas

Me gustó mucho del paper que en primer lugar, se trate de un tema tan cotidiano hoy en día como las recomendaciones de youtube. Es algo con lo que muchas personas interaccionan día a día, de modo que la cercanía del lector al problema es innegable: cada uno tiene una noción de qué tipo de datos se van generando, de modo que ver cómo se puede integrar todo esto en un sistema de recomendación es muy interesante.

Algo que creo que no queda muy claro es cómo utilizan regresión logística para modelar los pesos de los ejemplos. Creo que, dado lo corto del paper, podrían haber dedicado un par de líneas más en explicar esto, puesto que es una técnica que podría ser útil de replicar para problemas de distinta naturaleza.

Como comentario final y dado que los mismos autores reconocen que su trabajo implica decisiones que son “más arte que ciencia” me hubiese gustado que fueran capaces de plasmar la intuición detrás de las decisiones de arquitectura y feature-engineering que fueron tomando, para que así estas no parecieran tan mágicas.

En síntesis, creo que el paper es bastante denso: para cada una de sus etapas se utilizan diversas técnicas distintas que, de no conocerlas, suman un tiempo considerable para la comprensión del trabajo. Sin embargo, esto se contrapesa de cierta manera con lo cercano que es el problema, de modo que merece la pena revisar los pormenores de la solución y estudiar sus resultados.