矩阵是由元素按行和列排列而成的矩形阵列。其元素通常是数，也可以是其他数学对象。矩阵是线性代数的核心研究对象，既为线性方程组提供了简洁的记法，也为线性变换提供了便于计算的表示方式。矩阵的重要性不仅在于存储数值，更在于其上定义的运算，尤其是加法和乘法。(deeplearningbook.org)
记法与尺寸
一个有 (m) 行、(n) 列的矩阵，其尺寸或形状为 (m\times n)。矩阵通常记作 (A=(a_{ij}))，其中 (a_{ij}) 表示第 (i) 行、第 (j) 列的元素。例如，
[ A=\begin{pmatrix} 1&2&3\ 4&5&6 \end{pmatrix} ]
是一个 (2\times3) 矩阵。两个矩阵相等，当且仅当它们的形状相同，且对应元素均相等。矩阵的元素通常属于实数或复数。只有一列的矩阵称为列向量，只有一行的矩阵称为行向量。如果 (m=n)，则该矩阵为方阵。(deeplearningbook.org)
矩阵的转置 (A^{\mathsf T}) 将行与列互换，因此 ((A^{\mathsf T}){ij}=a{ji})。对于复矩阵，共轭转置 (A^*) 还会将每个元素替换为其复共轭。这些运算在表示内积和正交性时十分重要。(deeplearningbook.org)
矩阵运算
形状相同的矩阵可以逐元素相加。标量乘法则将每个元素乘以同一个标量：
[ (A+B){ij}=a{ij}+b_{ij}, \qquad (cA){ij}=ca{ij}. ]
在这两种运算下，某个域上所有形状固定的矩阵构成一个向量空间。(deeplearningbook.org)
矩阵乘法遵循另一套规则。如果 (A) 是 (m\times n) 矩阵，(B) 是 (n\times p) 矩阵，则它们的乘积 (AB) 是 (m\times p) 矩阵，且
[ (AB){ij}=\sum{k=1}^{n}a_{ik}b_{kj}. ]
因此，乘积矩阵中的每个元素，都是 (A) 的某一行与 (B) 的某一列的点积。两个矩阵相邻的内侧维数必须相同：某些矩阵对无法按给定顺序相乘。(math.mit.edu)
矩阵乘法满足结合律，并对加法满足分配律，但通常不满足交换律：即使 (AB) 和 (BA) 都有定义，两者也未必相等。通常的矩阵乘法也不同于逐元素乘法。单位矩阵 (I_n) 的对角线元素为一，其余元素为零；对于任何有 (n) 列的矩阵，都有 (AI_n=A)。(deeplearningbook.org)
线性变换与方程组
选定基之后，有限维向量空间之间的线性变换便可以用矩阵表示。一个 (m\times n) 矩阵通过映射 (x\mapsto Ax) 作用于具有 (n) 个分量的列向量。矩阵的各列是输入空间各基向量的像，而 (Ax) 则是这些列向量的线性组合，组合系数由 (x) 给出。矩阵乘法表示变换的复合：(ABx) 表示先施加 (B)，再施加 (A)。(math.mit.edu)
因此，线性方程组可以写成
[ Ax=b. ]
其中，(A) 包含各方程的系数，(x) 包含未知数，(b) 包含给定的输出值。方程组有解，当且仅当 (b) 属于 (A) 的列向量张成的空间。高斯消元法利用初等行变换简化方程组，同时保持其解集不变。(math.mit.edu)
如果存在矩阵 (A^{-1})，满足 (AA^{-1}=A^{-1}A=I)，则称方阵 (A) 存在逆矩阵。在这种情况下，对每个 (b)，方程组 (Ax=b) 都有唯一解 (x=A^{-1}b)。没有逆矩阵的方阵称为奇异矩阵。(math.mit.edu)
秩、行列式与特征结构
矩阵的秩是其列空间的维数，也等于其行空间的维数。秩衡量矩阵所表示的独立方向的数量。对于 (m\times n) 矩阵，其秩不超过 (\min(m,n))。零空间由所有满足 (Ax=0) 的向量组成，其维数与矩阵的秩之和等于 (n)。(math.mit.edu)
行列式为每个方阵赋予一个标量。矩阵可逆，当且仅当其行列式不为零。对于实方阵，行列式的绝对值表示相应变换对体积的缩放倍数，其正负则区分该变换是保持定向还是反转定向。对于 (2\times2) 矩阵，
[ \det\begin{pmatrix}a&b\c&d\end{pmatrix}=ad-bc. ] (ocw.mit.edu)
对于方阵，特征值与特征向量满足 (Av=\lambda v)，其中 (v\ne0)。这一关系刻画了那些经变换后成为自身标量倍数的向量。如果一个矩阵具有由特征向量组成的基，就可以写成 (A=PDP^{-1})，其中 (D) 为对角矩阵。这能简化矩阵幂的计算以及许多演化问题的求解。(live.ocw.mit.edu)
特殊矩阵与矩阵分解
对角矩阵在主对角线以外的元素均为零。三角矩阵在主对角线上方或下方的元素均为零。实对称矩阵满足 (A^{\mathsf T}=A)；它的特征值均为实数，并且具有由特征向量组成的标准正交基。实正交矩阵满足 (Q^{\mathsf T}Q=I)，并保持长度和角度不变。(live.ocw.mit.edu)
矩阵分解将矩阵表示为若干较简单因子的乘积。LU 分解与消元法相关，而 QR 分解使用具有标准正交列向量的矩阵和一个三角矩阵作为因子。奇异值分解将实矩阵写成 (A=U\Sigma V^{\mathsf T})。与利用特征向量进行的对角化不同，奇异值分解不仅适用于方阵，也适用于非方阵的矩形矩阵。(live.ocw.mit.edu)
应用与计算
在机器学习中，矩阵用于组织观测数据和参数，并支持不同表示之间的变换。在统计学中，矩阵用于表达包括最小二乘估计在内的多变量计算。矩阵分解有助于求解这些问题，并揭示从单个元素中难以直接看出的结构。(deeplearningbook.org)
矩阵的数值计算需要区分精确的数学性质与舍入误差影响下的实际表现。数值线性代数研究求解线性方程组、最小二乘问题和特征值问题的方法，以及这些方法的精度和敏感性。LAPACK 等软件库为这些任务提供专门的计算例程，其中包括针对一般矩阵、对称矩阵和带状矩阵的不同方法。(netlib.org)