梯度是多元实值函数对应的一个向量值函数;在场论中也可认为是一个将标量场作用为向量场的算子。它代表
多元函数的值改变“最快”的方向。
定义
二元函数
对于可求偏导的函数,其梯度是一个向量值函数,定义为
有时也记为。其中的符号被称为“梯度算子”。
在点处,梯度的取值为
例如对于二元函数,其偏导为
那么在点处,梯度的取值为
一般的多元函数
对于可求各方向偏导的函数,其梯度定义为
在点处,梯度的取值为
三维不同坐标下的表达式
在直角坐标系下,设三个方向的单位向量分别为,函数的梯度表示为
作柱坐标变换
记三个方向的单位向量为,梯度表示为
作球坐标变换
记三个方向的单位向量为,梯度表示为
方向导数
方向导数定义
对于定义在上的多元函数,在点处,沿着向量的方向导数定义为
特别地,如果的模长为1,那么
其中的被称为向量的方向余弦,是与各方向坐标轴正向的夹角,称为向量的方向角。
方向导数的定义是一元实函数的导数在多元实函数中的自然推广,它表示了多元函数限制在某个特定方向上后降维为一元函数后的导数。如果上述的向量与坐标轴平行,那么方向导数即为偏导数。
梯度的含义
给定一点,多元函数在该点处梯度的取值是一个向量。可微函数沿该向量的方向导数是最大的。
证明:给定点,设的模长为1,那么可微函数沿着该向量的方向导数
显然,当且仅当与梯度同向时,该式取得最大值。最大值为梯度的模长。
应用举例
梯度下降法
梯度下降法是求解多元函数极值的重要方法,是机器学习中最常用的模型优化方法之一。它通过迭代更新参数的方式,沿着负梯度的方向逐步接近最优解,又叫最速下降法。
梯度下降法可以形象地理解为下山的过程,用梯度下降法求解损失函数最小的过程就类似于在山上想要到山下的过程。一个比较容易实现的方法就是沿着山高度下降的方向走,为了更快地到达山底就需要沿着高度下降最快的方向下山。同时,每行进一段距离后,重新选择当前位置对应的高度下降最快的方向,像这样,每次都向高度下降最快的方向行进,从而又快又准确地到达山下。梯度下降法就是像这样,迅速地获得损失函数最小的参数。
场论
梯度是场论中的一个经典算子。其与散度、旋度等的混合运算在场论中可以组合出许多恒等式。例如:
梯度的旋度为零:。
梯度的散度被记为拉普拉斯算子():
一个标量场的梯度是向量场,该向量场是无旋的势场。势场与物理中的保守作用有关,重力、静电力都是保守作用,重力场、静电场都是保守场