向量投影

投影矩阵 $P$ , 作用与向量 $\mathbf{b}$ 产生向量的投影 $\mathbf{p}=P\mathbf{b}$

$P_1=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]$ 将向量投影到 z 轴上
$P_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$ 将向量投影到 xy 平面上

投影到直线上

将向量 $\mathbf{b}$ 投影到 $\mathbf{a}$ 上，投影为 $\mathbf{p}$
误差向量 $\mathbf{e}=\mathbf{b}-\mathbf{p}$ 记 $\mathbf{p}=\hat{\mathbf{x}}\mathbf{a}$
$\mathbf{e}\cdot \mathbf{a}=\mathbf{0}\Rightarrow \mathbf{a}\cdot (\mathbf{b}-\hat{\mathbf{x}}\mathbf{a})=0\Rightarrow \hat{\mathbf{x}}={\displaystyle \frac{\mathbf{a}\cdot \mathbf{b}}{\mathbf{a}\cdot \mathbf{a}}}={\displaystyle \frac{{\mathbf{a}}^T\cdot \mathbf{b}}{{\mathbf{a}}^T\cdot \mathbf{a}}}$
$\mathbf{p}=\mathbf{a}\hat{\mathbf{x}}=\mathbf{a}{\displaystyle \frac{{\mathbf{a}}^T\cdot \mathbf{b}}{{\mathbf{a}}^T\cdot \mathbf{a}}}={\displaystyle \frac{\mathbf{a}\cdot {\mathbf{a}}^T}{{\mathbf{a}}^T\cdot \mathbf{a}}}\mathbf{b}=P\mathbf{b}$

投影向量：

投影矩阵：

特殊性质：幂等

• $P^2=P$
• $P^n=P$
  几何上的直观理解：
  一个向量投影的投影，还是投影向量
  因为一个向量经过投影矩阵作用得到投影向量后，再投影不会发生任何变化

投影到子空间上

寻找线性组合使得与原向量的距离最小（误差最小）

$A^T(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}\Rightarrow A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$

参数估计向量:

预测值向量/投影向量：

将 $\mathbf{b}$ 投影到 $A$ 的列空间中

投影矩阵：

最小二乘法