线性代数 | Doge Liang Note

矩阵

矩阵就是一组数据组成的方阵。

矩阵的迹 $\mathrm{tr}(\mathbf{A}) = \sum \limits_{i=1}^n a_{ii}$ 代表 $n$ 阶方阵的主对角线的和
对角矩阵 $\mathbf{A} = \mathrm{diag}(a_{11}, a_{22}, \cdots, a_{nn})$ 代表除了主对角线以外的值都是 $0$ 的对角矩阵

矩阵运算

矩阵加法
- 交换律
- 结合律
- 单位元为 $\mathbf{0}$
矩阵数乘
- 结合律
- 分配律
- $1 \mathbf{A} = \mathbf{A}$
- $k \mathbf{A} = \mathbf{0} \Leftrightarrow k = 0 \quad \text{or} \quad \mathbf{A} = \mathbf{0}$
- 注意区分： $\vert k \mathbf{A} \vert = k^n \vert \mathbf{A} \vert$ , $( k \mathbf{A} ) = k^n ( \mathbf{A} )$
矩阵乘法
- 结合律
- 分配律
- 不满足交换律
- 若 $\mathbf{A}$ 为方阵，则 $\mathbf{A}^n$ ，表示 $\mathbf{A}$ 的 $n$ 次幂
- 等价矩阵和另一个矩阵的乘积不一定相等
- $\vert \mathbf{A} \mathbf{B} \vert = \vert \mathbf{A} \vert \cdot \vert \mathbf{B} \vert$
矩阵转置
- 自反律
- 分配律
  - 加法的分配律不改变位置
  - 乘法的分配律改变两个矩阵位置
矩阵共轭
- 对复数而言的性质，没有什么限制

矩阵分块后同样满足以上的运算律，不过每一个子块都要运算后有意义才行，也就是行列能满足要求。特别提醒矩阵的转置，整个矩阵要转置，子块也要转置，

\mathbf{A}^T = \begin{pmatrix} \mathbf{A}^T_{11} & \mathbf{A}^T_{12} & \cdots & \mathbf{A}^T_{1n} \\ \mathbf{A}^T_{21} & \mathbf{A}^T_{22} & \cdots & \mathbf{A}^T_{2n} \\ \vdots & \vdots & & \vdots \\ \mathbf{A}^T_{n1} & \mathbf{A}^T_{n2} & \cdots & \mathbf{A}^T_{nn} \\ \end{pmatrix}

行列变换

初等变换

$r_{i} \div(\times) k$ （或 $c_{i} \div(\times) k$ ）：从第 $i$ 行（列）中提取公因子（乘以） $k$ .
$r_{i} + kr_{j}$ （或 $c_{i} + kr_{j}$ ）：将第 $j$ 行（列）的 $k$ 倍加到第 $i$ 行（列）上.
$r_{i} \leftrightarrow r_{j}$ （或 $c_{i} \leftrightarrow c_{j}$ ）：将第 $i$ 行（列）和第 $j$ 列互换。

$r(\mathbf{A}) = n$ $\Leftrightarrow$ $\vert \mathbf{A} \vert \ne 0$ $\mathbf{A}, \mathbf{B}$ 等价 $\Leftrightarrow$ $r(\mathbf{A}) = r(\mathbf{B})$ $\Leftrightarrow$ 矩阵有相等的等价标准型

矩阵阶梯化

满足以下条件的矩阵称为阶梯矩阵

如果一行元素全都为 $0$ 那么该行下所有元素都为 $0$ ；
所有有非零元素的行，最左边的非零元素的列号，从上往下严格递增。

一切矩阵都可以通过初等变换变为阶梯矩阵。将阶梯矩阵转置后，再通过初等变换可以将矩阵转换成型如：

\begin{pmatrix} \mathbf{E_r} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{pmatrix}

的矩阵，称为等价标准型，其中 $r$ 是包含非零元素的行数，也叫矩阵的秩，矩阵的秩无法通过初等变换改变。

关于矩阵的秩有一些重要的不等式常常在证明题中使用:

$r(\mathbf{AB}) \leq = \min \{r(\mathbf{A}, r(\mathbf{B})\}$ ;
$\mathbf{A_{m\times n}B_{n\times s}} = \mathbf{O} \Rightarrow r(\mathbf{A}) + r(\mathbf{B}) \le n$ ;
$r(\mathbf{A+B}) \le r(\mathbf{A}) + r(\mathbf{B})$

特别地，有两个 $n$ 维列向量 $\mathbf{\alpha}, \mathbf{\beta}$ 通过相乘可以得到一个 $n$ 阶矩阵 $\mathbf{A} = \mathbf{\alpha} \mathbf{\beta}^T$ ，这个矩阵的秩为 1.且有以下规律： $\mathbf{A}^n = l^{n-1}A$ 其中 $l=\rm{tr}(A)$

矩阵的逆

$\mathbf{A}$ 逆存在 $\Leftrightarrow$ $r(\mathbf{A}) = n$ $\Leftrightarrow$ $|\mathbf{A}| \neq 0$ $\Leftrightarrow$ $\mathbf{A}$ 的特征值中没有 0 $\Leftrightarrow$ $\mathbf{A}$ 的齐次线性方程组 $\mathbf{Ax} = \mathbf{0}$ 只有零解 $\Leftrightarrow$ $\mathbf{A}$ 的行（列）向量组线性无关 $\Leftrightarrow$ $\mathbf{A}$ 与单位矩阵等价

伴随矩阵

\mathbf{A}^* = \begin{pmatrix} A_{11} & A_{21} & A_{31} & \cdots & A_{n1} \\ A_{12} & A_{22} & A_{32} & \cdots & A_{n2} \\ \vdots & \vdots & \vdots & & \vdots \\ A_{1n} & A_{2n} & A_{3n} & \cdots & A_{nn} \end{pmatrix}

其中 $A_{ij}$ 矩阵 $A$ 的代数余子式。 注意这里的代数余子式的位置，位置 $ij$ 的代数余子式并不是 $A_{ij}$ ，而是转置。 因为代数余子式有一个很好的性质：

a_{i1}A_{j1} + a_{i2}A_{j2} + \cdots + a_{in}A_{jn} = \begin{cases} d, i = j, \\ 0, i \neq j. \\ \end{cases}

a_{1i}A_{1j} + a_{2i}A_{2j} + \cdots + a_{ni}A_{nj} = \begin{cases} d, i = j, \\ 0, i \neq j. \\ \end{cases}

这个性质描述了行列式中第 $i$ 行如果使用第 $j$ 行的代数余子式进行展开，结果将为 0。

证明：由于行列式的行列地位等价，所以对行证明的结论对列也适用。所以先只对行证明。假设对 $i$ 行展开，第 $i$ 行不会出现在代数余子式中， $i$ 行影响的是 $D$ 的展开式中，代数余子式 $A_{ij}$ 的乘数。所以不妨令第 $j$ 为第 $i$ 行，然后使用第 $j$ 行展开，这样的结果与第 $i$ 行使用第 $j$ 行展开的展开结果是一致的（乘数是第 $i$ 行，代数余子式是第 $j$ 行的）。由于第 $i$ 行和第 $j$ 行相等，所以行列式 $D$ 的值为 $0$ ，结论得证。

\begin{aligned} \mathbf{AA}^* = & \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{pmatrix} \begin{pmatrix} A_{11} & A_{21} & \cdots & A_{n1} \\ A_{12} & A_{22} & \cdots & A_{n2} \\ \vdots & \vdots & \vdots & \vdots \\ A_{1n} & A_{2n} & \cdots & A_{nn} \\ \end{pmatrix} \\ = & \begin{pmatrix} d \\ & d \\ & & \ddots \\ & & & d \\ \end{pmatrix} = d\mathbf{E} \end{aligned}

于是便得到矩阵 $\mathbf{A}$ 的逆： $\mathbf{A}^{-1} = \dfrac{\mathbf{A}^*}{d} = \dfrac{\mathbf{A}^*}{|\mathbf{A}|}$

特别地，我们有：

\begin{aligned} \vert \mathbf{A}^{*} \vert = \vert \mathbf{A} \vert ^{n-1} \\ \vert \mathbf{A}^{-1} \vert = \vert \mathbf{A} \vert ^{-1} \\ (k\mathbf{A})^{-1} = \dfrac{1}{k} \mathbf{A}^{-1} \\ (\mathbf{B}\mathbf{A})^{-1} = \mathbf{A}^{-1} \mathbf{B}^{-1} \\ r(\mathbf{A}^*) = \begin{cases} n, r(\mathbf{A}) = n \\ 1, r(\mathbf{A}) = n-1 \\ 0, r(\mathbf{A}) < n-1 \end{cases} \end{aligned}

矩阵求逆

定义法，找到一个 $\mathbf{B}$ 使得 $\mathbf{A}\mathbf{B} = \mathbf{E}$
伴随矩阵 $\mathbf{A}^{-1} = \dfrac{\mathbf{A}^*}{\vert \mathbf{A} \vert}$
行变换 $(\mathbf{A} | \mathbf{E}) \to (\mathbf{E} | \mathbf{A}^{-1})$
用分块 $\begin{bmatrix} \mathbf{A} & \mathbf{O}\\ \mathbf{O} & \mathbf{B} \end{bmatrix}^{-1} = \begin{bmatrix} \mathbf{A}^{-1} & \mathbf{O}\\ \mathbf{O} & \mathbf{B}^{-1} \end{bmatrix} , \begin{bmatrix} \mathbf{O} & \mathbf{B}\\ \mathbf{A} & \mathbf{O} \end{bmatrix}^{-1} = \begin{bmatrix} \mathbf{O} & \mathbf{A}^{-1}\\ \mathbf{B}^{-1} & \mathbf{O} \end{bmatrix}$

初等行列变换

初等矩阵

将矩阵运算和矩阵初等变换联系起来的矩阵，通过左乘（右乘）初等矩阵，就可以实现行（列）变换。

行（列）对换初等矩阵

\mathbf{P}(i, j) = \begin{pmatrix} 1 \\ & 1 \\ & & 0 & \cdots & 1 \\ & & \vdots & & \vdots \\ & & 1 & \cdots & 0 \\ & & & & & 1 \\ & & & & & & 1 \\ \end{pmatrix} \begin{aligned} (i) \\ \\ (j) \\ \end{aligned}

行（列）数乘初等矩阵

\mathbf{P}(i(k)) = \begin{pmatrix} 1 \\ & \ddots \\ & & k \\ & & & \ddots \\ & & & & 1 \\ \end{pmatrix} \begin{aligned} (i) \end{aligned}

行（列）数乘相加初等矩阵

\mathbf{P}(i, j(k)) = \begin{pmatrix} 1 \\ & \ddots \\ & & 1 & & k \\ & & & \ddots \\ & & & & 1 \\ & & & & & \ddots \\ & & & & & & 1 \\ \end{pmatrix} \begin{aligned} (i) \\ \\ (j) \\ \end{aligned}

以上各初等矩阵用来左乘 $\mathbf{A}$ 时代表行变换；右乘时，代表列变换。基于以上规律，矩阵的初等变换可以转换为连续左乘和右乘不同的初等矩阵。

正交矩阵

$n$ 阶矩阵 $\mathbf{A}$ 满足 $\mathbf{AA}^T = \mathbf{E}$ 那么矩阵 $\mathbf{A}$ 被称为正交矩阵；即矩阵的转置等于矩阵的逆的矩阵称为正交矩阵；显然有正交矩阵 $|\mathbf{A}|^2 = 1$