Primeros pasos con Spark y Pytorch usando Colab Part IX

En este artículo hablaré de Pytorch, Clasificación poder entender como funciona usando “Google Colab” como interface de desarrollo.

Jonathan Quiza
Ciencia y Datos
4 min readJan 27, 2019

--

Regresión logística

La regresión logística es un algoritmo de clasificación utilizado para asignar observaciones a un conjunto discreto de clases.
A diferencia de la regresión lineal que genera valores numéricos continuos, la regresión logística transforma su salida utilizando la función sigmoid logística para devolver un valor de probabilidad que luego puede asignarse a dos o más clases discretas.

Casos de regresión logística

Binaria (gato / perro)
Multiple (gatos, perros, gallinas)
Ordinales (Bajo, Medio, Alto)

Tipos de regresión

Regresión Lineal : y = A + Bx

Regresión Logarítmica : y = A + BLn(x)

Regresión Exponencial : y = Ac(bx)

Regresión Cuadrática : y = A + Bx +Cx2

¿Qué es Google Colab?

Colaboratory es un entorno gratuito de Jupyter Notebook que no requiere configuración y que se ejecuta completamente en la nube.

ejemplo:

Kaggle Dataset

Instalación Colab

Importar Librerías

Spark Session

Load Dataset

Columnas Numéricas

Preprocesamiento

Tuberías

Separan 70–30 dataset

Transformar vector a numpy array

Transformar numpy array a Tensor

Parámetros

Modelo

Perdida y optimización CrossEntropyLoss

Función predictor

Función entrenamiento

Función prueba

Entrenamiento del modelo

Visualización entrenamiento y prueba

Visualización accuracy

Predicción

Accuracy Score

Confusión Matrix

Clasificación Report

LIBRO DE AYUDA

CONCLUSIÓN

Espero les haya gustado este artículo de Pytorch y Colab y el uso de clasificación usando Pytorch y Spark para procesamiento y transformación de datos.

Esto ayuda sorprendente mente en la experimentación rápida con los datos.
A continuación estaré publicando algunos artículos más específicos para PyTorch hasta crear pequeñas aplicaciones , así como jugar con la imaginación de crear algo.

Continuar leyendo

pytorch Part 8( aquí)

pytorch Part 10( pronto)

REFERENCIAS

  1. https://geekytheory.com/apache-spark-que-es-y-como-funciona
  2. https://documen.tician.de/pycuda/
  3. https://deepsense.ai/keras-or-pytorch/

linkedin:

Gracias

--

--

Jonathan Quiza
Ciencia y Datos

Lead ML Engineer / Data science / Machine Learning / MLops