Primeros pasos con Spark y Pytorch usando Colab Part VIII
En este artículo hablaré de Pytorch y Spark, Regresión Lineal poder entender como funciona usando “Google Colab” como interface de desarrollo.
ÁLGEBRA LINEAL
La álgebra lineal, es una forma de matemática continua en lugar de discreta, muchos científicos informáticos tienen poca experiencia con ella. Una buena comprensión del álgebra lineal es esencial para entender y trabajar con muchos algoritmos de aprendizaje automático, especialmente los algoritmos de aprendizaje profundo.
SPARK
Apache Spark combina un sistema de computación distribuida a través de clusters de ordenadores con una manera sencilla y elegante de escribir programas. es considerado el primer software de código abierto que hace la programación distribuida realmente accesible a los científicos de datos.
Spark mantiene la escalabilidad lineal y la tolerancia a fallos de MapReduce, pero amplía sus bondades gracias a varias funcionalidades: DAG y RDD
¿Qué es Google Colab?
Colaboratory es un entorno gratuito de Jupyter Notebook que no requiere configuración y que se ejecuta completamente en la nube.
ejemplo:
Instalación Colab
Importar Librerías
Spark Session
Load Dataset
Renombrar Columna
Columnas Numéricas
Preprocesamiento
Tuberías
Separan 70–30 dataset
Transformar vector a numpy array
Transformar numpy array a Tensor
Parámetros
Modelo
Perdida y optmización SGD o Adam
Función predictor
Función métricas Sklearn
Función entrenamiento
Función prueba
Entrenamiento del modelo
Visualización
Predictor
Resultados del predictor
Resultado Métricas
LIBRO DE AYUDA
CONCLUSIÓN
Espero les haya gustado este artículo de Pytorch y Colab y el uso de regresión lineales usando pytorch y Spark para procesamiento y transformación de datos.
Esto ayuda sorprendente mente en la experimentación rápida con los datos.
A continuación estaré publicando algunos artículos más específicos para PyTorch hasta crear pequeñas aplicaciones , así como jugar con la imaginación de crear algo.
Continuar leyendo
pytorch Part 7( aquí)
pytorch Part 9( aquí)
REFERENCIAS
- https://geekytheory.com/apache-spark-que-es-y-como-funciona
- https://developers.google.com/machine-learning/crash-course/multi-class-neural-networks/softmax?hl=es-419
- https://documen.tician.de/pycuda/
- https://deepsense.ai/keras-or-pytorch/
linkedin: