Primeros pasos con Pytorch usando Colab Part V
En este artículo hablaré de Pytorch, Activaciones para poder entender como funciona usando “Google Colab” como interface de desarrollo.
Álgebra lineal
Es una forma de matemática continua en lugar de discreta, muchos científicos informáticos tienen poca experiencia con ella. Una buena comprensión del álgebra lineal es esencial para entender y trabajar con muchos algoritmos de aprendizaje automático, especialmente los algoritmos de aprendizaje profundo.
Redes neuronales artificiales
Las redes neuronales artificiales, son algoritmos de software cuyo fundamento se inspira en el comportamiento de las neuronas del cerebro humano. En nuestro cerebro ocurren millones de reacciones químicas que comunican nuestras células cerebrales, o neuronas, unas con otras mediante estructuras especializadas.
Post referencias
Función de activación
determinar cuando la neurona se podría activar, proporcionando una salida positiva.
usamos una función de activación en la forma t : ℜm→ℜm, que no es más que una forma de agrupar las m funciones de activación necesarias.
Los requisitos que vamos a pedir a una función de activación:
- Monótona creciente
- No lineal
- Acotada
¿Qué es Google Colab?
Colaboratory es un entorno gratuito de Jupyter Notebook que no requiere configuración y que se ejecuta completamente en la nube.
ejemplo:
TIPO DE FUNCIONES
Importar librerías
Fake Data
Sigmoid
esta es una curva varía entre 0 y 1. Actualmente no se usa mucho debido a sus problemas con los gradientes. Esto tiene un problema único llamado “Vanishing Gradient” debido a que resulta difícil ajustar los parámetros, lo que afecta a la red neuronal.
Por lo tanto, el gradiente de la salida de la red se vuelve extremadamente pequeño con respecto a los parámetros en las capas.
TanH
La función de tangente hiperbólica oscila entre -1 y + 1, esto está centrado en cero, sin embargo esto también sufre de un problema de gradiente de fuga
Softplus
Esto varía entre 0 hasta infinito. También se desaconseja su uso debido a sus desventajas con la diferenciación.
ReLu
las unidades lineales rectificadas son la función de activación más utilizada. Esto tiene buenas mejoras sobre otras funciones y es similar a la función de pasos. Sin embargo, como captura, esto debe usarse solo dentro de las capas ocultas y no como parte de las capas de salida.
Softmax
La ventaja principal es el rango de probabilidades de salida. El rango será de 0 a 1 , y la suma de todas las probabilidades será igual a uno . Si la función softmax utilizada para el modelo de clasificación múltiple devuelve las probabilidades de cada clase y la clase objetivo tendrá una probabilidad alta.
torch:
numpy:
LIBRO DE AYUDA
CONCLUSIÓN
Espero les haya gustado este artículo de Pytorch y Colab y el uso de activaciones proporcionando una salida positiva de un conjunto de datos que sen derivados
Esto ayuda sorprendente mente en la experimentación rápida con los datos.
A continuación estaré publicando algunos artículos más específicos para PyTorch hasta crear pequeñas aplicaciones , así como jugar con la imaginación de crear algo.
Continuar leyendo
pytorch Part 4( aquí)
pytorch Part 6( aquí)
REFERENCIAS
- https://developers.google.com/machine-learning/crash-course/multi-class-neural-networks/softmax?hl=es-419
- https://documen.tician.de/pycuda/
- https://www.joyk.com/dig/detail/74093l
- https://www.aiworkbox.com/lessons/cast-a-pytorch-tensor-to-another-type
- https://pytorch.org/blog/a-year-in/
- https://openreview.net/pdf?id=BJJsrmfCZ
- https://deepsense.ai/keras-or-pytorch/
linkedin:
