奇异值分解 · aiwiki.page

奇异值分解（SVD）是一种矩阵分解，将矩形矩阵表示为两个正交矩阵或酉矩阵与一个由非负数组成的对角矩阵的乘积。这些非负数称为奇异值，描述了矩阵对各个独立方向的拉伸程度。奇异值分解是线性代数和数值线性代数中的基本构造，适用于所有有限维实矩阵或复矩阵，包括矩形矩阵和秩亏矩阵。(netlib.org)

定义与形式

对于 $A\in\mathbb C^{m\times n}$ ，完整奇异值分解的形式为

A=U\Sigma V^*,

其中， $U\in\mathbb C^{m\times m}$ 和 $V\in\mathbb C^{n\times n}$ 为酉矩阵， $V^*$ 表示共轭转置。因此， $U^*U=I_m$ 且 $V^*V=I_n$ ，其中 $I_m$ 和 $I_n$ 表示单位矩阵。矩形对角矩阵 $\Sigma$ 的对角线上排列着奇异值：

\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_p\geq0, \qquad p=\min(m,n).

对于实矩阵， $U$ 和 $V$ 为正交矩阵，共轭转置则变为通常的矩阵转置。列向量 $u_i$ 和 $v_i$ 分别为左奇异向量和右奇异向量，对 $1\leq i\leq p$ ，满足 $Av_i=\sigma_i u_i$ 和 $A^*u_i=\sigma_i v_i$ 。(netlib.org)

经济型奇异值分解仅保留两个向量因子的前 $p$ 列，以及一个 $p\times p$ 的对角矩阵。秩为 $r$ 的紧致奇异值分解则仅保留 $r$ 个正奇异值及其对应向量。这两种形式仍然是精确分解；相比之下，舍弃部分正奇异值的截断奇异值分解是一种近似。不同教材和软件对“薄型”和“约化”等术语的用法并不一致。(mpi-magdeburg.mpg.de)

几何意义及其与特征值的关系

奇异值分解利用标准正交基，描述两个向量空间之间的线性映射。对于实矩阵， $V^T$ 变换输入坐标， $\Sigma$ 拉伸或压缩各坐标方向， $U$ 则变换输出坐标。正交因子保持长度和角度不变；从几何上看，单位球的像是一个椭球，也可能被压扁到一个较低维的子空间中。其非零半轴长度就是正奇异值。(heath.cs.illinois.edu)

这一分解与特征值与特征向量密切相关：

A^*A=V(\Sigma^*\Sigma)V^*, \qquad AA^*=U(\Sigma\Sigma^*)U^*.

因此，正奇异值是上述任一矩阵的非零特征值的平方根。奇异值分解的存在性可由厄米矩阵的谱定理推出。与矩阵对角化不同，奇异值分解为输入和输出分别使用不同的基，既不要求矩阵为方阵，也不要求 $A$ 本身具有一组由特征向量构成的基。(nlp.stanford.edu)

按大小排序的奇异值是唯一的，但奇异向量不一定唯一。对应的向量对可以同时改变符号，或同时乘以同一个复相位因子，而不改变 $A$ 。若存在重复奇异值，则可以在对应的奇异子空间内同时变换标准正交基。(arxiv.org)

秩、范数与条件性

$A$ 的秩等于正奇异值的个数。在完整分解中，前 $r$ 个左奇异向量张成列空间；其余右奇异向量张成 $A$ 的零空间。这些关系使奇异值分解能够系统地描述矩阵的基本子空间。(prime.pages.ewi.tudelft.nl)

奇异值还决定了重要的矩阵范数：

\|A\|_2=\sigma_1, \qquad \|A\|_F=\left(\sum_{i=1}^{p}\sigma_i^2\right)^{1/2}.

对于非奇异方阵，其谱条件数为 $\kappa_2(A)=\sigma_1/\sigma_n$ 。这一比值较大，意味着线性方程组的求解对扰动较为敏感。在浮点计算中，判断数值秩时使用容差，而不是要求奇异值严格等于零，因为舍入误差和测量误差可能掩盖很小的奇异值。(mpi-magdeburg.mpg.de)

低秩近似

对于 $k<r$ ，截断分解为

A_k=\sum_{i=1}^{k}\sigma_i u_i v_i^*.

埃卡特–杨–米尔斯基定理指出，在所有秩不超过 $k$ 的矩阵中，无论按谱范数还是弗罗贝尼乌斯范数衡量，这都是一个最佳低秩近似。其误差为

\|A-A_k\|_2=\sigma_{k+1}, \qquad \|A-A_k\|_F= \left(\sum_{i=k+1}^{p}\sigma_i^2\right)^{1/2}.

因此，若奇异值衰减很快，就意味着用较少的项便能准确地近似原矩阵。存储保留的因子只需要 $k(m+n+1)$ 个标量元素，而非 $mn$ 个，因此当 $k$ 足够小时，可用于数据压缩。(mpi-magdeburg.mpg.de)

最小二乘与数据分析

由奇异值分解可直接得到摩尔–彭罗斯伪逆：

A^+=V\Sigma^+U^*,

其中， $\Sigma^+$ 将正奇异值替换为其倒数，保持零元素不变，并交换矩形矩阵的行列维数。对于最小二乘问题 $\min_x\|Ax-b\|_2$ ， $x=A^+b$ 是欧几里得范数最小的解。即使线性方程组不相容或欠定，这一解仍有意义。对很小的奇异值取倒数可能放大误差，因此在逆问题计算中常采用截断和正则化。(mpi-magdeburg.mpg.de)

在主成分分析中，设 $X$ 的每一行对应一个观测，共有 $N>1$ 个观测，每一列对应一个已减去均值的变量。其右奇异向量就是主方向，样本协方差矩阵 $X^TX/(N-1)$ 的特征值为 $\sigma_i^2/(N-1)$ 。主成分得分为 $XV=U\Sigma$ 。这将奇异值分解与降维联系起来，同时也说明，对中心化数据进行主成分分析与对未中心化数据进行分解是不同的。(mit.edu)

数值计算

实际使用的稠密矩阵算法通常先通过正交变换将 $A$ 化为双对角矩阵，再用 QR 迭代或分治法计算双对角矩阵的奇异值分解。显式构造 $A^*A$ 虽然在理论上有用，却可能降低小奇异值的计算精度。对于大规模近似，随机化方法首先找出一个能够捕捉主要方向的较小子空间，然后对投影后的矩阵进行分解。(netlib.org)