W7: Ensemble recommendations via Thompson sampling: an experimental study within e-Commerce

Esta es mi crítica a Ensemble recommendations via Thompson sampling: an experimental study within e-Commerce de Brodén, B., Hammar, M., Nilsson, B. J., & Paraschakis, D. (2018).

¿De qué se trata el paper?

El objetivo del paper es mostrar una forma de adaptar la metodología Thompson Sampling a problemas de recomendación no personalizada item-a-item (i2i) con el fin de ser implementado y aplicado a plataformas de e-commerce.

Crítica y comentarios

Como primera observación me gustaría cuestionar un poco la estructura del paper: en términos generales, su organización dificultó bastante mi entendimiento del mismo. De manera holística, el documento presenta todos los elementos necesarios para comprenderlo, pero el orden en que los presenta no es muy afortunado (ejemplo de esto es que recién en la mitad del paper explican qué es Thomson Sampling).

Casi al final de la introducción (que de introducción tiene bien poco), se menciona una serie de ventajas del modelo que ellos proponen, pero no es específica en particular cómo están logrando cada una de estas ventajas (sobre todo a estas alturas del paper donde no han siquiera definido la modelación del problema)

La elección del paradigma Bayesiano del Thomson Sampling es justificada a partir de una cantidad considerable de otros trabajos, sin embargo, no se ofrece una explicación intuitiva del por qué esta podría funcionar bien en esta aplicación .

En la definición del problema, no me queda claro si al recolectar las “sesiones” de cada usuario están utilizandolas todas o solo aquellas que terminan con alguna compra: en su propia notación una sesión se define como una secuencia de queries y finalmente un conjunto P de la compra (purchase); no es claro si es admisible que |P|=0. En este mismo punto, no me queda tan claro cómo trackean una misma “sesión” de un usuario no registrado, que tal como ellos mencionan, puede ser la mayoría.

Por otra parte, considero que la elección de los datasets es un gran acierto para el paper, en especial por el tipo de relaciones que consideran entre items al armar el grafo. Creo que es muy positivo que hayan evaluado su modelo con items de tiendas especializadas (ropa — libros), pero que también lo hayan hecho con datasets más variados.

Otro punto que no me queda muy claro y que creo que deberían haber transparentado, es con qué metadata contaban para cada database y para hacer la parte basada en contenido de su modelo. Esto creo que que toma vital importancia, al comparar su modelo con los baseline Bestsellers y People who bought this also bought, porque ninguno de estos dos hace uso de dicha información, de modo que las diferencias que presentan puede provenir más del uso de esta información que de la metodología propuesta. En este mismo punto, me hubiese gustado que compararan sus desempeños con los de algún otro modelo un poco más sofísticado que los baseline.