Pycharm(三):梯度下降法
梯度下降算法(Gradient Descent Algorithm)是深度学习中常用的更新权重的方法,它采用的贪心法的思想,每次都往函数值下降最快的方向去更新,梯度方向是增长最快的方向,负梯度方向是下降最快的方向。
一、梯度的概念
1.方向导数
若函数f(x,y,z)在点P(x,y,z)处的沿方向l(方向角为α,β,γ)
梯度下降算法(Gradient Descent Algorithm)是深度学习中常用的更新权重的方法,它采用的贪心法的思想,每次都往函数值下降最快的方向去更新,梯度方向是增长最快的方向,负梯度方向是下降最快的方向。
一、梯度的概念
1.方向导数
若函数f(x,y,z)在点P(x,y,z)处的沿方向l(方向角为α,β,γ)