ML y Migración con BigData

Rafael Punzel Moncada
BigDataLatam
Published in
3 min readOct 26, 2019

Reinventando el comercio Minorista con IA

Se cree que Machine Learning y IA van a transformar cada aspecto singular en los siguientes 10 años. Esto apenas empieza, y Google una de las compañías más grandes e innovadoras ha elaborado ciertos productos muy interesantes que ayudarán a muchas Retails a generar cambios significativos.

Son 4 Productos que se mencionan:

Contact Center AI : Se trata de una atenciòn personalizada preparada para dar soporte a los clientes sin tener que realizar largas esperas de respuesta y pasar por procedimientos tediosos.

Visual Product Search : Se trata de realizar un proceso de búsqueda en base a la captura de una fotografía y encontrar los productos más similares posibles.

Recommendations AI: Este producto usa toda la informaciòn recopilada por Google para identificar los patrones, gustos entre otras que cada persona tiene para recibir recomendaciones precisas y acertadas de los productos.

AutoML Tables : Nos menciona de una tecnologia de aprendizaje automático que ayuda a muchos analistas en su dia a dia a generar modelos óptimos en tiempos cortos y gastos mínimos con buenos resultados de proyecciones.

NordStrom: Video Search, una empresa que logrò un gran aumento del 80% al 95% en sus resultados de búsqueda visual. Se reconstruye su arquitectura usando la tecnología de Google con su catálogo de Imágenes de Productos y Visual Product Search simplificar su diseño, redujo costos y obtuvo un 95% de precisión desde el primer dia

Walt Disney: Disney Parks, la conocida empresa con 200 tiendas en norteamérica, 600 en asia, cuentan con su e-commerce que al trabajar su propio sistema de recomendaciones con su equipo de desarrolladores, de manera a ayudar a sus clientes a buscar lo q quieren

Se trabajó con dos modelos: el modelo de recomendaciones basado en el producto buscado y el modelo de google basado en la información y comportamiento de compras pasadas del cliente, el cual gracias al sistema de google se generaron incrementos de ventas en el tiempo.

Pitney Bowes:

AutoML Tables: En esta empresa se trato de resolver una gran variedad de problemas de negocio, en lugar de que tu equipo esté pronosticando tu demanda de productos, en lugar de detectar fraudes o entender el comportamiento de un cliente para que compre algo específico, AutoML lo realiza sin tanto coste de recursos y en menos tiempo..

Migrar un entorno de Big Data a la nube

Una empresa desea migrar un gran volumen de data a la nube, pero se cuestiona muchas cosas antes de empezar ese enorme paso.

Decidir qué plataforma en la nube es mejor? GCP o AWS, cual es la Mejor Estrategia? no usar playbook, no tengas miedo en cambiar procesos, cometerás errores en el camino.

Tecnologia? GKE, AWS no tiene buen Kubernetes offering y no había ningún otro.

Real Time? , muy superior ,y precio? es muy bueno, comparado a los demás. Soporte de Google? Fue una gran sorpresa la manera en que sus ingenieros de google sabían las respuestas de todos los problemas de manera rápida y precisa.

Reto más largo:

- Ancho de banda limitado.

- Sacar tu data de la nube es mucho más caro.

- Monitorear que API está consumiendo más ancho de banda.

- Data Replication

Lo que se viene por el cambio y que hay que hacer para evitarlo:

- No hacer problemas irreales.

- En la empresa todos necesitan entender el valor del trabajo que estás realizando.

- Comunicar a las demás áreas y que estén presentes e informados de los cambios y sean claros y entendibles para ellos.

- Piensas que estás molestando sus responsabilidades o prioridades

- Recolectar información, y generar reuniones sobre cambios.

Ciencia de datos a escala con R en GCP

Puede R escalar?, es una gran pregunta para el lenguaje que se estimaba inferior para las nuevas tecnologías.

R ecosystem on Google Cloud:

Hoy en día se han generado tecnologías que soportan a R en GCP.

- GoogleLanguaje R vs BigQuery

- TensorFlow APIs R

- Interactuando con Google Cloud Storage, ML Engine, Cloud Source Repositories

DataProc : Spark scale R , Spark for ML , Apache Spark es un framework que nos ayuda escalar a través de clusters de computadoras

y eso es perfecto para construir un ecosistema de librerías de ML.

En Spark puedes desarrollar con R, asimismo en Cloud Data Proc puedes escalar análisis y algoritmos en R. Esta nube GCP con la opción en Data Proc, provee a los clientes la habilidad de usar Open Source ML sin tener una gestión de herramientas. Se ha desarrollado un SparkR Arquitectura: R code con el soporte de Java Code tenemos a

SparklyR. Como observamos todas estas tecnologías están dando un foco en R, y no se está dejando de lado del camino tecnologico.

--

--