Primeros pasos con Spark y Pytorch usando Colab Part VIII

En este artículo hablaré de Pytorch y Spark, Regresión Lineal poder entender como funciona usando “Google Colab” como interface de desarrollo.

ÁLGEBRA LINEAL

La álgebra lineal, es una forma de matemática continua en lugar de discreta, muchos científicos informáticos tienen poca experiencia con ella. Una buena comprensión del álgebra lineal es esencial para entender y trabajar con muchos algoritmos de aprendizaje automático, especialmente los algoritmos de aprendizaje profundo.

fuente(https://bit.ly/2SsQQMA)

SPARK

Apache Spark combina un sistema de computación distribuida a través de clusters de ordenadores con una manera sencilla y elegante de escribir programas. es considerado el primer software de código abierto que hace la programación distribuida realmente accesible a los científicos de datos.

fuente(https://bit.ly/2TNjIPB)

Spark mantiene la escalabilidad lineal y la tolerancia a fallos de MapReduce, pero amplía sus bondades gracias a varias funcionalidades: DAG y RDD

¿Qué es Google Colab?

Colaboratory es un entorno gratuito de Jupyter Notebook que no requiere configuración y que se ejecuta completamente en la nube.

ejemplo:

Google Colaboratory

Instalación Colab

Importar Librerías

Spark Session

Load Dataset

Renombrar Columna

Columnas Numéricas

Preprocesamiento

Tuberías

Separan 70–30 dataset

Transformar vector a numpy array

Transformar numpy array a Tensor

Parámetros

Modelo

Perdida y optmización SGD o Adam

Función predictor

Función métricas Sklearn

Función entrenamiento

Función prueba

Entrenamiento del modelo

Visualización

Predictor

Resultados del predictor

Resultado Métricas

LIBRO DE AYUDA

Introduction To Non-linear Algebra

Learning Apache Spark 2

CONCLUSIÓN

Espero les haya gustado este artículo de Pytorch y Colab y el uso de regresión lineales usando pytorch y Spark para procesamiento y transformación de datos.

Esto ayuda sorprendente mente en la experimentación rápida con los datos.
A continuación estaré publicando algunos artículos más específicos para PyTorch hasta crear pequeñas aplicaciones , así como jugar con la imaginación de crear algo.

Continuar leyendo

pytorch Part 7( aquí)

pytorch Part 9( aquí)

REFERENCIAS

1. https://geekytheory.com/apache-spark-que-es-y-como-funciona
2. https://developers.google.com/machine-learning/crash-course/multi-class-neural-networks/softmax?hl=es-419
3. https://documen.tician.de/pycuda/
4. https://deepsense.ai/keras-or-pytorch/

linkedin:

Jonathan Quiza | LinkedIn

Gracias