Primeros pasos con Pytorch usando Colab Part IV

En este artículo hablaré de Pytorch, Dataloader para poder entender como funciona usando “Google Colab” como interface de desarrollo.

Jonathan Quiza
Ciencia y Datos
4 min readDec 31, 2018

--

¿Por qué usar PyTorch?

PyTorch dispone una interfaz muy sencilla para la creación de redes neuronales pese a trabajar de forma directa con tensores sin la necesidad de una librería a un nivel superior como pueda ser Keras para Theano o Tensorflow.

fuente(https://bit.ly/2RrlMQd)

¿Que se puede usar con PyTorch?

  • Matrices.
  • Álgebra lineal.
  • Aprendizaje Profundo
  • Entre otras cosas y tu imaginación.
fuente(https://bit.ly/2Sq4M9V)

Post referencias

¿Qué es Google Colab?

Colaboratory es un entorno gratuito de Jupyter Notebook que no requiere configuración y que se ejecuta completamente en la nube.

ejemplo:

Importar librerias

Dataset

Es una clase abstracta, el conjunto de datos personalizado necesita heredarlo e implementar dos métodos

__getitem__

pytorch también proporciona los más comunes soportados transformar, usando torchvision.transforms pero así mismo la conversión de la matriz en numpy es limitada, por lo que se recomienda usar PIL para leer la imágenes.

__len__()

la longitud de todo el conjunto de datos:

Dataloader

leerá los datos de manera precisa dentro del tamaño del lote y los pondrá en la memoria.

  • dataset: Conjunto de datos
  • batch_size: Cuántas muestras por lote cargar
  • shuffle: Los datos se reorganicen en cada época
  • sampler: Estrategia para extraer muestras del conjunto de datos
  • batch_sampler: Devuelve un lote de índices a la vez
  • num_workers: Cuántos subprocesos usar para la carga de datos
  • collate_fn: Fusiona una lista de muestras para formar una mini-lotes.
  • pin_memory: Copiará los tensores en la memoria antes de devolverlos
  • drop_last: Eliminar el último lote incompleto
  • timeout: Para recopilar un lote de trabajadores

Epochs

Utilizamos más de una época porque pasar el conjunto de datos completo a través de una red neuronal no es suficiente.
por lo que debemos pasar el conjunto de datos completo varias veces a la misma red neuronal.

LIBRO DE AYUDA

CONCLUSIÓN

Espero les haya gustado este artículo de Pytorch y Colab y el uso de dataset y dataloader con lo que creamos el conjunto de datos a partir de su elemento unitario y obtenga clases de transformación personalizadas a partir de este conjunto de datos base. Esto ayuda sorprendente mente en la experimentación rápida con los datos.
A continuación estaré publicando algunos artículos más específicos para PyTorch hasta crear pequeñas aplicaciones , así como jugar con la imaginación de crear algo.

Continuar leyendo

pytorch Part 3( aquí)

pytorch Part 5( aquí)

REFERENCIAS

  1. https://documen.tician.de/pycuda/
  2. https://www.joyk.com/dig/detail/74093l
  3. https://www.aiworkbox.com/lessons/cast-a-pytorch-tensor-to-another-type
  4. https://pytorch.org/blog/a-year-in/
  5. https://openreview.net/pdf?id=BJJsrmfCZ
  6. https://deepsense.ai/keras-or-pytorch/

linkedin:

Gracias

--

--

Jonathan Quiza
Ciencia y Datos

Lead ML Engineer / Data science / Machine Learning / MLops