线性代数学习日记（二）
Elimination Using Matrices
通过与消元矩阵 \(E\) 相乘从第 2 行中减去第 1 行的 2 倍。 \[ \left[\begin{array}{} 1 & 0 & 0 \\ \mathbf{-2} & \mathbf{1} & 0 \\ 0 & 0 & 1 \end{array}\right] \left[\begin{array}{} \mathbf{2} \\ \mathbf{8} \\ 10 \end{array}\right] \left[\begin{array}{} 2 \\ \mathbf{4} \\ 10 \end{array}\right] \quad \quad \left[\begin{array}{} 1 & 0 & 0 \\ \mathbf{-2} & \mathbf{1} & 0 \\ 0 & 0 & 1 \end{array}\right] \left[\begin{array}{} \mathbf{b_1} \\ \mathbf{b_2} \\ b_3 \end{array}\right] \left[\begin{array}{} b_1 \\ \mathbf{b_2-2b_1} \\ b_3 \end{array}\right] \] 通过与置换矩阵相乘交换矩阵中的行 \[ \left[\begin{array}{} 1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 2 & 0 \end{array}\right] \left[\begin{array}{} 2 & 4 & 1 \\ \mathbf{0} & \mathbf{0} & \mathbf{3} \\ 0 & 6 & 5 \end{array}\right] = \left[\begin{array}{} 2 & 4 & 1 \\ 0 & 6 & 5 \\ \mathbf{0} & \mathbf{0} & \mathbf{3} \end{array}\right] \] 除 A 矩阵外包含 b 作为额外列的矩阵称作增广矩阵 \[ \left[\begin{array}{} A & b \end{array}\right] = \left[\begin{array}{} 2 & 4 & -2 & \mathbf{2}\\ 4 & 9 & -3 & \mathbf{8}\\ -2 & -3 & 7 & \mathbf{10} \end{array}\right] \] 在增广矩阵上进行消元操作 \[ \left[\begin{array}{} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 0 & 0 & 1 \end{array}\right] \left[\begin{array}{} 2 & 4 & -2 & \mathbf{2}\\ 4 & 9 & -3 & \mathbf{8}\\ -2 & -3 & 7 & \mathbf{10} \end{array}\right] = \left[\begin{array}{} 2 & 4 & -2 & \mathbf{2}\\ 0 & 1 & 1 & \mathbf{4}\\ -2 & -3 & 7 & \mathbf{10} \end{array}\right] \]
Rules for Matrix Operations
矩阵加法
两个大小相同矩阵相加 \(A + B\) 为对应位置元素相加： \[ \left[ \begin{matrix} 1 & 2 \\ 3 & 4 \\ 0 & 0 \end{matrix} \right] + \left[ \begin{matrix} 2 & 2 \\ 4 & 4 \\ 9 & 9 \end{matrix} \right] = \left[ \begin{matrix} 3 & 4 \\ 7 & 8 \\ 9 & 9 \end{matrix} \right] \] 常数和矩阵相乘 \(cA\) 为矩阵每个元素乘常数： \[ 2\left[ \begin{matrix} 1 & 2 \\ 3 & 4 \\ 0 & 0 \end{matrix} \right] = \left[ \begin{matrix} 2 & 4 \\ 6 & 8 \\ 0 & 0 \end{matrix} \right] \]
矩阵乘法
点积视角
\(m \times n\) 的矩阵 A 和 \(n \times p\) 的矩阵 B 相乘后维度为 \(m \times p\) \[ (m \times n)(n \times p) = (m \times p) \ \left[ \begin{matrix} m \ rows \\ n \ columns \end{matrix} \right] \left[ \begin{matrix} n \ rows \\ p \ columns \end{matrix} \right] = \left[ \begin{matrix} m \ rows \\ p \ columns \end{matrix} \right] \] 矩阵 AB 第 i 行 第 j 列元素为 A 的第 i 行和 B 的第 j 列的点积。 \[ \left[ \begin{matrix} * \\ a_{i1} & a_{i2} & \cdots & a_{i5} \\ * \\ * \end{matrix} \right] \left[ \begin{matrix} * & * & b_{1j} & * & * & *\\ & & b_{2j} & & & \\ & & \vdots & & & \\ & & b_{5j} & & & \end{matrix} \right] = \left[ \begin{matrix} & & * & & & \\ * & * & AB_{ij} & * & * & *\\ & & * & & & \\ & & * & & & \end{matrix} \right] \] 一行乘一列得到一个元素称作内积，也叫点积，一列乘一行得到一个矩阵称作外积。
列的组合
矩阵 AB 的每一列是 A 的列的组合 \[ A[b_1, \cdots, b_p] = [Ab_1, \cdots, Ab_p] \]
行的组合
矩阵 AB 的每一行是 B 的行的组合 \[ [row \ i \ of \ A] \ \left[ \begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6\\ 7 & 8 & 9 \end{matrix} \right] = [row \ i \ of \ AB] \]
列乘行
矩阵 A 的列 i 与矩阵 B 的行 j 相乘之后相加 \[ \left[ \begin{matrix} col\ 1 & col\ 2 & col\ 3 \\ \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot \end{matrix} \right] \left[ \begin{matrix} row\ 1 & \cdot & \cdot \\ row\ 2 & \cdot & \cdot \\ row\ 3 & \cdot & \cdot \end{matrix} \right] = (col \ 1)(row \ 1) + (col \ 2)(row \ 2) + (col \ 3)(row \ 3) \]
矩阵乘法规则
矩阵相乘遵循的规则： \[ \begin{array}{} AB \neq BA \\ A(B+C) = AB + AC \\ (A+B)C = AC + BC \\ (AB)C=A(BC) \\ A_p = AAA\cdots A(p \ factors) \quad (A^p)(A^q) = A^{p+q} \quad (A^p)^q = A^{pq} \end{array} \]
块矩阵及其乘法
\(4 \times 6\) 的矩阵可以切割为6个 \(2 \times 2\) 的矩阵。 \[ \left[\begin{array}{cc|cc|cc} 1 & 0 & 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1 & 0 & 1 \\ \hline 1 & 0 & 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1 & 0 & 1 \\ \end{array}\right] = \left[\begin{array}{} I & I & I \\ I & I & I \\ \end{array}\right] \] 如果 A 的块和 B 的块能够相乘，那么 AB 成立。AB 为 A 的列的切片乘 B 的行的切片。 \[ \left[\begin{array}{} A_{11} & A_{12} \\ A_{21} & A_{22} \\ \end{array}\right] \left[\begin{array}{} B_{11} \\ B_{21} \\ \end{array}\right] = \left[\begin{array}{} A_{11}B_{11} & A_{12}B_{21} \\ A_{21}B_{11} & A_{22}B_{21} \\ \end{array}\right] \]
Inverse Matrices
矩阵 A 可逆，如果有一个矩阵 \(A^{-1}\)： \[ A^{-1} A = I \quad \quad AA^{-1}=I \] 不是所有的矩阵都有逆矩阵，有以下几个条件或性质：
Note 1: 矩阵的逆存在当且仅当消元能产生 n 个主元。
Note 2: 矩阵 A 没有两个不同的逆。
Note 3: 如果 A 可逆，\(Ax=b\) 唯一的解是 \(x=A^{-1}b\).
Note 4: x 为非零向量，\(Ax=0\)，那么 A 没有逆。
Note 5: \(2 \times 2\) 的矩阵可逆当且仅当 \(ad-bc\) 非零。
\[ \left[\begin{array}{} a & b \\ c & d \\ \end{array}\right]^{-1} = \frac{1}{ad-bc} \left[\begin{array}{} d & -b \\ -c & a \\ \end{array}\right] \]
- Note 6: 对角矩阵有逆，该逆矩阵的对角线元素没有 0。
A 和 B 都可逆，他们的乘积 AB 是： \[ (AB)^{-1}=B^{-1}A^{-1} \]
消元矩阵的逆：如果 \(E\) 的行 2 减去 5 倍的行 1，\(E^{-1}\) 是行2 加上 5 倍的行 1。 \[ E =\left[\begin{array}{} 1 & 0 & 0 \\ -5 & 1 & 0 \\ 0 & 0 & 1 \\ \end{array}\right] and \quad E^{-1} = \left[\begin{array}{} 1 & 0 & 0 \\ 5 & 1 & 0 \\ 0 & 0 & 1 \\ \end{array}\right] \]
Gauss-Jordan method
\(A^{-1}\) 乘 \([A \quad I]\) 得到 \([I \quad A^{-1}]\). \[ \begin{aligned} \left[\begin{array}{} K & e_1 & e_2 & e_3 \\ \end{array}\right] &= \left[\begin{array}{} 2 & -1 & 0 & 1 & 0 & 0 \\ -1 & 2 & -1 & 0 & 1 & 0 \\ 0 & -1 & 2 & 0 & 0 & 1 \\ \end{array}\right] \\ &\rightarrow \left[\begin{array}{} 2 & -1 & 0 & 1 & 0 & 0 \\ 0 & \frac{3}{2} & -1 & \frac{1}{2} & 1 & 0 \\ 0 & -1 & 2 & 0 & 0 & 1 \\ \end{array}\right] \\ &\rightarrow \left[\begin{array}{} 2 & -1 & 0 & 1 & 0 & 0 \\ 0 & \frac{3}{2} & -1 & \frac{1}{2} & 1 & 0 \\ 0 & 0 & \frac{4}{3} & \frac{1}{3} & \frac{2}{3} & 1 \\ \end{array}\right] \\ &\rightarrow \left[\begin{array}{} 2 & -1 & 0 & 1 & 0 & 0 \\ 0 & \frac{3}{2} & 0 & \frac{3}{4} & \frac{3}{2} & \frac{3}{4} \\ 0 & 0 & \frac{4}{3} & \frac{1}{3} & \frac{2}{3} & 1 \\ \end{array}\right] \\ &\rightarrow \left[\begin{array}{} 2 & 0 & 0 & \frac{3}{2} & 1 & \frac{1}{2} \\ 0 & \frac{3}{2} & 0 & \frac{3}{4} & \frac{3}{2} & \frac{3}{4} \\ 0 & 0 & \frac{4}{3} & \frac{1}{3} & \frac{2}{3} & 1 \\ \end{array}\right] \\ &\rightarrow \left[\begin{array}{} 1 & 0 & 0 & \frac{3}{4} & \frac{1}{2} & \frac{1}{4} \\ 0 & 1 & 0 & \frac{1}{2} & 1 & \frac{1}{2} \\ 0 & 0 & 1 & \frac{1}{4} & \frac{1}{2} & \frac{3}{4} \\ \end{array}\right] \end{aligned} \] 关于 K，我们可以观察到以下几个现象：
- K 是沿着对角线对称，\(K^{-1}\) 也对称。
- K 是对角的（只有对角线三个非零元素），但是 \(K^{-1}\) 是没有零元素的稠密矩阵。
- 枢轴元素之积是 \(2 (\frac{3}{2})(\frac{4}{3}) = 4\). 4 是 K 的行列式。
\(K^{-1}\) 包括了被 K 的行列式的除： \[ K^{-1} = \frac{1}{4} \left[\begin{array}{} 3 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 3 \end{array}\right] \] 这是为什么可逆矩阵不能有一个零行列式，我们需要除。
Singular versus Invertible
\(A^{-1}\) 存在当 \(A\) 有全部的 \(n\) 个主元。
消元为方阵的可逆性提供了检验，A 有 n 个主元，\(A^{-1}\) 存在的情况下： \[ If \quad AC=I \quad then \quad CA=I \quad and \quad C=A^{-1} \]
如果 \(L\) 是下三角矩阵，对角线全为 1，那么 \(L^{-1}\) 具有同样形状。
对角占优矩阵是可逆的。
Elimination = Factorization: A = LU
\(L\) 和 \(U\) 分别是上三角和下三角矩阵，来自消元的分解是 \(A = LU\)。
\(L\) 的元素是乘子 \(l_{ij}\)，即行 \(i\) 减去枢轴行 j 的 \(l_{ij}\) 倍。
前向从 \(A\) 到 \(U\)： \[ E_{21}A = \left[\begin{array}{} 1 & 0 \\ -3 & 1 \end{array}\right] \left[\begin{array}{} 2 & 1 \\ 6 & 8 \end{array}\right]= \left[\begin{array}{} 2 & 1 \\ 0 & 5 \end{array}\right] = U \] 反向从 \(U\) 到 \(A\)： \[ E_{21}^{-1}U = \left[\begin{array}{} 1 & 0 \\ 3 & 1 \end{array}\right] \left[\begin{array}{} 2 & 1 \\ 0 & 5 \end{array}\right]= \left[\begin{array}{} 2 & 1 \\ 6 & 8 \end{array}\right] = A \] 第二行是我们的分解 \(LU=A\)，将 \(E^{-1}_{21}\) 写作 \(L\)。
把含有 \(E\) 的一侧放到另一边： \[ (E_{32}E_{31}E_{21})A=U \quad becomes \quad A=(E_{21}^{-1}E_{31}^{-1}E_{32}^{-1})U \quad which \quad is \quad A=LU. \]
Explanation and Examples
这是一个没有行交换的消元，上三角矩阵 \(U\) 在对角线上有枢轴，下三角矩阵 \(L\) 在对角线上全为 1，乘子 \(l_{ij}\) 在 \(L\) 的对角线下。 \[ A=LU \] 当 A 的一行以 0 开头，那么 L 的行也如此。
当 A 的一列以 0 开头，那么 U 的列也如此。
特殊模式： \[ B = \left[\begin{array}{} 1 & 1 & 0 & 0 \\ 1 & 2 & 1 & 0 \\ 0 & 1 & 2 & 1 \\ 0 & 0 & 1 & 2 \end{array}\right] = \left[\begin{array}{} 1 & & & \\ 1 & 1 & & \\ 0 & 1 & 1 & \\ 0 & 0 & 1 & 1 \end{array}\right] = \left[\begin{array}{} 1 & 1 & 0 & 0 \\ & 1 & 1 & 0 \\ & & 1 & 1 \\ & & & 1 \end{array}\right] \] \(A\) 等于 \(LU\) 的主要原因。当计算 \(U\) 的第三行，我们