格拉姆矩阵 · aiwiki.page

格拉姆矩阵是一个方形矩阵，其元素为有限个按顺序排列的向量两两之间的内积。它将向量的几何信息转化为单个矩阵的代数信息。格拉姆矩阵将线性代数与几何、最小二乘问题以及基于核的学习联系起来。其最基本的结构性质是半正定性；反过来，每个厄米半正定矩阵都可以表示为格拉姆矩阵。(people.cs.uchicago.edu)

定义与约定

设 $v_1,\ldots,v_n$ 属于一个配备内积的实或复向量空间。采用复内积对第一个变量共轭线性、对第二个变量线性的约定，这些向量的格拉姆矩阵定义为

G_{ij}=\langle v_i,v_j\rangle, \qquad 1\leq i,j\leq n.

因此，对角元素是向量长度的平方，非对角元素则表示向量两两之间的内积。这些向量不必互不相同，也不必线性无关或构成一组基。(bpb-us-e1.wpmucdn.com)

如果这些向量在标准正交坐标下的坐标构成矩阵 $A$ 的各列，则

G=A^*A,

其中 $A^*$ 表示共轭转置。对于实坐标，该式变为 $G=A^{\mathsf T}A$ ，这里使用的是通常的矩阵转置。采用复内积对第一个变量线性这一约定的作者，可能会在定义中交换下标的顺序，以使同一矩阵公式仍然成立。明确所用约定，可以避免公式之间出现表面上的矛盾。(people.cs.uchicago.edu)

这一构造也适用于无限维希尔伯特空间中的向量：任意有限个向量仍然会生成一个有限大小的矩阵。(bpb-us-e1.wpmucdn.com)

正性、秩与实现

内积的共轭对称性给出 $G^*=G$ ，因此格拉姆矩阵是厄米矩阵，在实数情形下则是对称矩阵。对于任意系数向量 $c$ ，有

c^*Gc = \left\|\sum_{i=1}^{n}c_i v_i\right\|^2 \geq 0.

这一恒等式证明了半正定性，并将矩阵与原向量的线性组合直接联系起来。当且仅当这些向量线性无关时，它是正定矩阵。因此，它的所有特征值都非负。(people.cs.uchicago.edu)

此外，

\operatorname{rank}(G) = \dim\operatorname{span}\{v_1,\ldots,v_n\}.

因此，矩阵的秩衡量的是这些向量的线性包的维数，而不是所列向量的个数。在坐标表示下， $\ker(A^*A)=\ker(A)$ ，因为 $c^*A^*Ac=\|Ac\|^2$ 。(bpb-us-e1.wpmucdn.com)

反过来，对于任意厄米半正定矩阵，谱定理给出分解 $G=U\Lambda U^*$ 。令 $B=\Lambda^{1/2}U^*$ ，便有 $G=B^*B$ ； $B$ 的各列就是所需的向量。去掉与零特征值对应的行，即可在 $\operatorname{rank}(G)$ 维空间中实现这一表示，这也是可能的最小维数。(people.cs.uchicago.edu)

几何信息与行列式

对于欧几里得空间中的实向量，格拉姆矩阵的元素决定了向量的长度和夹角：

\|v_i\|=\sqrt{G_{ii}}, \qquad \cos\theta_{ij} = \frac{G_{ij}}{\sqrt{G_{ii}G_{jj}}},

其中，夹角公式要求两个向量均非零。这些元素还决定了向量两两之间距离的平方：

\|v_i-v_j\|^2 = G_{ii}+G_{jj}-2G_{ij}.

因此，格拉姆矩阵包含了这些向量相对于原点的几何信息，而不指定它们的绝对朝向。(tropp.caltech.edu)

行列式 $\det G$ 称为格拉姆行列式，它等于 $n$ 个实欧几里得向量所生成的平行多面体的 $n$ 维体积的平方：

V=\sqrt{\det G}.

行列式为零表明这些向量线性相关，且相应的 $n$ 维体积为零。对于两个向量，该式化为

\det G = \|v_1\|^2\|v_2\|^2-\langle v_1,v_2\rangle^2,

即这两个向量所生成的平行四边形的面积的平方。(pmc.ncbi.nlm.nih.gov)

例如，取 $v_1=(1,0)$ 和 $v_2=(1,1)$ 。直接代入可得

G= \begin{pmatrix} 1&1\\ 1&2 \end{pmatrix}, \qquad \det G=1.

这两个向量的长度分别为 $1$ 和 $\sqrt2$ ，夹角为 $45^\circ$ ，所生成的平行四边形的面积为 $1$ 。

坐标与基变换

当这些向量构成一组基时，格拉姆矩阵表示该基下的内积。如果 $x$ 和 $y$ 是坐标列向量，则

\langle x,y\rangle_G=x^*Gy.

标准正交基的格拉姆矩阵等于单位矩阵。若通过可逆坐标矩阵 $P$ 得到一组新基，则矩阵按下式变换：

G_{\mathrm{new}}=P^*GP.

这是合同变换，而不是表示线性算子时使用的相似变换。它保持正定性，但不一定保持各个特征值不变。(cis.upenn.edu)

最小二乘与数值计算

在普通最小二乘法中，最小化 $\|Ax-b\|^2$ 会导出正规方程

A^*Ax=A^*b.

其系数矩阵就是 $A$ 的列向量的格拉姆矩阵。当这些列向量线性无关时，该矩阵可逆，并保证极小解唯一。(stanford.edu)

奇异值分解表明， $A^*A$ 的特征值是 $A$ 的奇异值的平方。当 $A$ 列满秩时，

\kappa_2(A^*A)=\kappa_2(A)^2.

条件数的这种平方关系解释了为何显式构造正规方程可能会加剧数值计算上的困难。QR分解和奇异值分解提供了其他最小二乘求解方式，可以避免条件数被平方。(physbam.stanford.edu)

核方法

在机器学习中，核方法通过特征映射 $\phi$ 构造格拉姆矩阵：

K_{ij}=k(x_i,x_j) = \langle\phi(x_i),\phi(x_j)\rangle.

直接计算 $k$ 可以避免显式构造特征向量。对于有效的半正定核，任意有限样本集都会生成半正定的格拉姆矩阵。在支持向量机中，训练输入通过这些两两之间的核函数值进入对偶优化问题，从而可以用一个有限大小的矩阵处理非线性特征空间中的几何关系。(web.stanford.edu)