线性方程组

线性方程组是由含有相同未知数的一组方程组成的，每个未知数都只出现在系数固定的一次项中。方程组的一个解为所有未知数赋予一组值，使各个方程同时成立。线性方程组是线性代数的基本研究对象，将代数计算与矩阵、向量空间的结构联系起来。根据系数和方程右端项的不同，方程组可能无解、有唯一解或有多个解。(web.mit.edu)

定义与矩阵表示

含有 $n$ 个未知数的 $m$ 个线性方程构成的方程组具有如下形式：

其中，系数 $a_{ij}$ 和常数 $b_i$ 已知，待求的是 $x_j$ 的值。这些量通常是实数或复数，不过其代数理论适用于任意域（数学）。线性方程不允许出现未知数之间的乘积（如 $x_1x_2$），也不允许出现 $x_1^2$ 这样的高次幂。

利用矩阵，方程组可写为

其中，$A$ 是 $m\times n$ 的系数矩阵，$x$ 是由未知数组成的列向量，$b$ 是由右端项组成的列向量。增广矩阵 $[A\mid b]$ 同时记录了系数和常数。这种表示将方程组的结构与其特定的右端项分开，便于系统地进行消元。(ocw.mit.edu)

例如，

的解为 $x=2,\ y=1$。将两个方程相加可得 $3x=6$，随后通过代入求出 $y$。

几何解释

在实数二维几何学中，至少有一个系数非零的线性方程表示一条直线。求解两个这样的方程，就是寻找两条直线的公共点：相交的直线对应唯一解，互不重合的平行直线对应无解，重合的直线则对应无穷多个解。在三维空间中，一个非退化方程表示一个平面；多个平面的交集可能是一个点、一条直线，也可能是更大的公共集合。(ocw.mit.edu)

在 $n$ 维空间中，每个非退化方程定义一个超平面。另一种互补的解释是将 $Ax=b$ 看作 $A$ 的各列向量的线性组合。方程组有解，当且仅当 $b$ 属于这些列向量的线性包，即列空间。等价地，$b$ 必须属于 $A$ 所表示的线性映射的像。(web.mit.edu)

相容性、秩与解的结构

方程组至少有一个解时，称其为相容的；否则称其为不相容的。相容性可由矩阵的秩刻画，其充要条件为：

若两者的秩均为 $r$，则解中有 $n-r$ 个自由参数。相容方程组在 $r=n$ 时有唯一解；当 $r<n$ 时，在实数域或复数域上有无穷多个解。如果所用的域是含有 $q$ 个元素的有限域，则解的个数为 $q^{n-r}$。(ocw.mit.edu)

齐次方程组满足 $b=0$，并且总有零解。其解集构成所在向量空间的一个线性子空间，称为 $A$ 的零空间或核。根据秩—零化度定理，其维数（向量空间）为 $n-r$。若 $x_p$ 是某个非齐次方程组的一个解，则每个解都可写为

因此，非空解集是零空间经平移得到的集合，是一个仿射空间，但不一定是线性子空间。(web.mit.edu)

方程个数多于未知数个数的方程组称为超定方程组，少于未知数个数的则称为欠定方程组。仅凭这些分类不能判断相容性：冗余方程可以使超定方程组仍然相容，而相互矛盾的方程可以使欠定方程组不相容。(ocw.mit.edu)

精确求解方法

高斯消元法通过三种不改变解集的操作变换增广矩阵：交换两行、将一行乘以非零标量，以及将一行的倍数加到另一行上。行阶梯形可以显示主元变量和自由变量，再通过回代求得解。继续化为简化行阶梯形，可以直接得到解的参数表示。如果某一行表示 $0=c$，其中 $c\ne0$，则方程组不相容。(ocw.mit.edu)

当 $A$ 为方阵时，对任意右端项都存在唯一解，当且仅当 $A$ 可逆；等价地，其行列式非零。公式 $x=A^{-1}b$ 使用了逆矩阵，但数值求解程序通常对 $A$ 进行分解，而不是显式计算其逆矩阵。LU 分解在必要时配合行置换，可将计算归结为求解三角方程组；对于不同的右端项，还可以重复使用这些分解因子。(ocw.mit.edu)

数值计算与近似

数值线性代数区分数学上的可解性与计算精度。浮点运算会引入舍入误差。病态方程组可能放大数据中的微小扰动，因此残差 $b-A\hat{x}$ 很小，并不一定意味着计算得到的向量 $\hat{x}$ 接近精确解。条件数估计与后向误差分析从不同方面量化这种不确定性。(netlib.org)

涉及稀疏矩阵的大型方程组通常采用迭代方法，在不存储稠密分解因子的情况下反复改进近似解。这些方法的有效性取决于矩阵结构和收敛性质。(netlib.org)

当不存在精确解时，可以采用最小二乘形式，最小化

这是普通最小二乘法的核心。列满秩可保证最小化解唯一。正交分解和奇异值分解提供了计算方法，也适用于秩亏情形。对于相容的欠定方程组，附加的最小范数准则可从全部精确解中选出一个解。(netlib.org)