梯度

Gradient Grad
向量微分算子数乘标量函数

几何意义：

\frac{d f}{d s} = \vec{\nabla} f \cdot \vec{u} \leq | \vec{\nabla} f |

梯度为一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大。

\begin{array}{r} \nabla f = \frac{\partial f}{\partial x} i + \frac{\partial f}{\partial y} j \end{array}

场的概念和梯度密切相关

如果对于空间区域 $G$ 内任意一点 $M$ ，都有一个确定的数量 $f (M)$ ，则称在空间区域 $G$ 中确定了一个数量场/标量场
如果对于空间区域 $G$ 内任意一点 $M$ ，对应的是一个向量 $F (M)$ ，则称在空间区域 $G$ 中确定了一个向量场/矢量场，一个向量场可以用一个向量值函数来确定：

\begin{array}{r} F (M) = P (M) i + Q (M) j + R (M) k \end{array}

如果向量场 $F (M)$ 是某个数量场 $f (M)$ 的梯度，则称数量场 $f (M)$ 是向量场 $F (M)$ 的势函数，向量场 $F (M)$ 为势场

求数量场 $\frac{m}{r}$ 的梯度场， $m > 0, r = \sqrt{x^{2} + y^{2} + z^{2}}$ 为原点与点 $M (x, y, z)$ 的距离

\begin{aligned} g r a d \frac{m}{r} & = - \frac{m}{r^{2}} (\frac{x}{r} i + \frac{y}{r} j + \frac{z}{r} k) = - \frac{m}{r^{2}} e_{r} \end{aligned}

物理意义：位于原点质量为 $m$ 的质点对位于点 $M$ 的引力

Gradient Descend
学习率
批量梯度下降：每一步更新使用所有的训练样本
小批量梯度下降：每一步更新使用一定量的训练样本
随机梯度下降：每一步更新使用某个样本
batch_size：每次所取样本的个数