正交投影

正交投影是线性代数中的一种运算，它将向量分解为属于指定线性子空间的分量和垂直于该子空间的分量。第一个分量就是投影；它也是该子空间中距离原向量最近的向量，其中距离由内积诱导的范数度量。这一构造适用于有限维内积空间，更一般地，也适用于希尔伯特空间的闭子空间。(terrytao.wordpress.com)

定义与几何意义

设 $V$ 是有限维内积向量空间，$S\subseteq V$ 是其子空间。向量 $x\in V$ 在 $S$ 上的正交投影记为 $P_Sx$，是满足以下条件的唯一向量：

因此，

残差属于正交补 $S^\perp$，即与 $S$ 中每个向量都垂直的向量所构成的集合。投影使原本就在 $S$ 中的向量保持不变，并将 $S^\perp$ 中的向量映射为零。(ocw.mit.edu)

在欧几里得几何中，点在直线或平面上的投影，就是从原点向该直线或平面作垂线所得的垂足。投影的最近点性质可由勾股定理推出：对任意 $s\in S$，都有

第二项非负，且仅在 $s=P_Sx$ 时为零，因此投影既是最优的，也是唯一的。(terrytao.wordpress.com)

显式公式

对于非零实向量 $u$，向量在其线性包上的投影为

例如，将 $x=(3,1)$ 投影到由 $u=(1,1)$ 张成的直线上，得到 $P_ux=(2,2)$。残差 $(1,-1)$ 与 $u$ 的内积为零。将 $u$ 乘以任意非零实数不会改变投影，因为目标直线并未改变。(ocw.mit.edu)

若 $q_1,\ldots,q_k$ 构成 $S$ 的一组标准正交基，则

这里约定内积对第一个变量是线性的。将这些基向量作为列组成矩阵 $Q$，便有

其中，$Q^*$ 表示共轭转置；对于实矩阵，它就是通常的矩阵转置。因此，投影的过程就是求出向量沿各个标准正交方向的坐标，再据此重构 $S$ 中相应的向量。(ocw.mit.edu)

算子与矩阵性质

将正交投影算子视为从所在空间到自身的线性映射，它满足

第一个等式表示幂等性：投影两次与投影一次的效果相同。第二个等式表示自伴性。在希尔伯特空间的有界算子中，这两个性质共同刻画了正交投影算子。它们的像是目标子空间，核则是该子空间的正交补。(mathweb.ucsd.edu)

因此，在有限维情形下，可能的特征值只有 $0$ 和 $1$：目标子空间中的向量对应特征值 $1$，其正交补中的向量对应特征值 $0$。投影矩阵的秩等于目标子空间的维数。此外，若 $I$ 为单位矩阵，则 $I-P$ 是到正交补上的投影。这些结论都可直接由向量在这两个子空间中的分解得出。(mathweb.ucsd.edu)

投影不会增加向量的长度：

不应将正交投影与正交矩阵混淆，后者保持长度不变且可逆。投影到真子空间会丢失信息。不具备自伴性的幂等算子则可能是斜投影，其舍弃的分量不一定垂直于它的像。(terrytao.wordpress.com)

最小二乘与计算

设实矩阵 $A$ 的各列线性无关，并张成 $S$。则

矩阵 $A^{\mathsf T}A$ 是一个格拉姆矩阵。要对向量 $b$ 求投影，可先求解正规方程

再令 $p=A\widehat c$。这些方程表达了 $b-p$ 与 $A$ 的每一列都垂直这一条件。(ocw.mit.edu)

这正是普通最小二乘法与线性回归背后的几何原理：拟合响应向量是观测响应向量在设计矩阵列空间上的投影。如果各列线性相关，即使系数向量不唯一，拟合向量仍然唯一。对于任意有限大小的矩阵，都有

其中 $A^+$ 是摩尔—彭罗斯伪逆。(ocw.mit.edu)

在数值线性代数中，QR 分解可提供具有标准正交列的矩阵 $Q$，从而通过 $Q(Q^*b)$ 计算投影，无须显式构造完整的投影算子。QR 方法还避免了构造 $A^*A$ 所带来的数值敏感性增加：当 $A$ 满列秩时，$A^*A$ 的条件数是 $A$ 的条件数的平方。(ocw.mit.edu)

无限维推广与相关投影

希尔伯特空间投影定理指出，相对于闭子空间 $S$，每个向量都有唯一的正交分解。闭性至关重要：如果 $S$ 不是闭的，那么位于其闭包中但不属于 $S$ 的向量，到 $S$ 的距离为零，却在 $S$ 中没有最近点。不过，该向量在闭包上的投影仍然存在。(terrytao.wordpress.com)

更一般的最近点定理适用于希尔伯特空间中的任意非空闭凸集。这样的投影唯一且具有非扩张性，但通常不是线性的。例如，在仿射子空间 $a+S$ 上的投影为

它是仿射映射，而不一定是线性映射。这体现了到一般集合上的最近点投影与到线性子空间上的正交投影之间的区别。(math.ucla.edu)