Regresión Lineal con Gradiente Descendente

BackStreetCode
3 min readSep 24, 2017

--

¿Alguna vez has querido predecir el valor de un producto? ¿Saber cuanto va a cambiar algo? Con Regresión Lineal podemos estimar una ecuación que nos calcule un valor aproximado de lo que se espera. Para esto, debemos saber primero que es la regresión lineal.

Regresión Lineal

Es una técnica que permite establecer una ecuación en forma de una línea recta. Esta nos permite hacer estimaciones acerca del valor que asumirá la variable dependiente según el valor que tome el valor independiente.

¿Osea…que? En pocas palabras, nos da una ecuación de una recta (y = m + bx) para poder predecir valores de algún problema.

Esto funcionan dando valores a la m y b, para ver cómo se van acercando a los otros puntos que tengamos en la gráfica.

Para poder establecer un valor m y b que se acerque, necesitamos una función de costo. Esta se establece con la siguiente ecuación:

Una vez teniendo nuestra ecuación del costo, es importante saber cuando nos acercamos a los valores con un mínimo de error. Y aquí es cuando nos adentramos en el gradiente descendente.

Gradiente Descendente

Lo que busca el gradiente descendente es encontrar un mínimo de la función, ya sea local o no.

Para saber cuando un valor se acerca más que otro es tomar un valor y restarle la derivada de la función en ese valor multiplicado por un alpha, que es un número de cuando se irá desplazando.

Ecuación del gradiente descendente

Es importante considerar que alpha debe ser un valor adecuado para nuestra función, si se toma un valor muy pequeño nuestra gradiente descendente podría ir muy lento, pero si se toma uno muy grande, podría pasar el mínimo.

Gradiente descendente es pequeño
Gradiente descendente es muy grande

Juntando el gradiente descendente con la regresión lineal, es necesario cambiar la función de la derivada por la función del costo.

Sustituyendo la ecuación del costo en la función del gradiente descendente

Para terminar, es importante tomar en cuenta que los valores se van sustituyendo al mismo tiempo. Con esto, ya se puede hacer una repetición hasta encontrar el mínimo.

--

--