LU 分解的定義

對於一個 $n \times n$ 的方陣 $A$，如果存在下三角矩陣 $L$ 和上三角矩陣 $U$，使得：

$$A = LU$$

其中：

• $L$ 是下三角矩陣，對角線元素為 1
• $U$ 是上三角矩陣

這就是 LU 分解

子式

對於一個 $n \times n$ 的矩陣 $A$，我們可以通過取出 $A$ 的某些行與列來得到較小的子矩陣，這些子矩陣的行列式就稱為子式(Minor)

$$M_{I,J}(A) = \det(A_{I,J})$$

其中 $I, J$ 代表從列與行中的元素取出來的 索引集合：

• 列的集合： $I = \{i_1, i_2, \dots, i_r\}$
• 行的集合： $J = \{j_1, j_2, \dots, j_c\}$

下面來看實際的例子會比較好理解

向量內積

向量內積(inner product) 又稱 點積(dot product)，是線性代數中最重要的向量運算之一，內積的結果是一個純量

對於兩個向量 $\mathbf{u}$ 和 $\mathbf{v}$，內積有兩種等價的定義方式：

定義一：分量形式

$$\mathbf{u} \cdot \mathbf{v} = u_1v_1 + u_2v_2 + \cdots + u_nv_n$$

其中 $\mathbf{u}$ 和 $\mathbf{v}$ 是 $n$ 維向量：

$$\mathbf{u} = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix} \quad \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

定義二：矩陣乘法形式

$$\mathbf{u} \cdot \mathbf{v} = \mathbf{u}^T \mathbf{v}$$

這可以表示為：

$$\mathbf{u} \cdot \mathbf{v} = \begin{bmatrix} u_1 & u_2 & \cdots & u_n \end{bmatrix} \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

定義

對於 $n \times n$ 矩陣 $A$，如果滿足：

$$A^T = A$$

則稱 $A$ 為對稱矩陣

例子

$$ A = \begin{bmatrix} 2 & 1 \\ 1 & 3 \end{bmatrix} $$ $$ B = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 5 \\ 3 & 5 & 6 \end{bmatrix} $$ 任何對角矩陣都是對稱的： $$ C = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{bmatrix} $$

背景：特徵值與特徵向量

對一個 $n \times n$ 矩陣 $A$，如果存在非零向量 $\mathbf{v}$ 和實數（或複數） $\lambda$，使得：

$$
A\mathbf{v} = \lambda \mathbf{v}
$$

其中：

• $\lambda$：特徵值 (eigenvalue)
• $\mathbf{v}$：特徵向量 (eigenvector)

代數重數（Algebraic Multiplicity）

定義

某個特徵值 $\lambda$ 的 代數重數 是：

$\lambda$ 在特徵多項式中的根出現的次數

特徵多項式

$$
p(\lambda) = \det(A - \lambda I)
$$

如果：

$$
p(\lambda) = (\lambda_1 - \lambda)^{m_1} (\lambda_2 - \lambda)^{m_2} \cdots (\lambda_k - \lambda)^{m_k}
$$

那麼每個 $m_i$ 就是對應特徵值 $\lambda_i$ 的 代數重數

定義

對一個 $m \times n$ 的矩陣 $A$，我們定義它的 零空間(Null space) 為：

$$
\text{Null}(A) = {\mathbf{v} \in V : A\mathbf{v} = \mathbf{0}}
$$

也就是所有能讓 $A\mathbf{v}=0$ 的向量集合

什麼是 Span？

線性生成空間(Span) 是線性代數中一個核心概念，它描述了給定向量集合能夠「生成」的所有可能向量的集合

定義

設 $S = {\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k}$ 是向量空間 $V$ 中的一個向量集合，則 $S$ 的 span 定義為：

$$\text{span}(S) = \text{span}\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\} = \{c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k : c_1, c_2, \ldots, c_k \in \mathbb{R}\}$$

換句話說，$\text{span}(S)$ 是所有 $S$ 中向量的線性組合所構成的集合

定義

對於 $n \times n$ 矩陣 $A$，如果存在 可逆矩陣 $P$ 和 對角矩陣 $D$，使得：

$$A = P D P^{-1}$$

則稱矩陣 $A$ 是 可對角化的(diagonalizable)，這個過程稱為 對角化(diagonalization)

定義

對於 $n \times n$ 實矩陣 $Q$，如果滿足：

$$Q^T Q = Q Q^T = I$$

其中 $I$ 是 $n \times n$ 單位矩陣，則稱 $Q$ 為正交矩陣

例子

$$ Q_1 = \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix} $$ $$ Q_2 = \begin{bmatrix} 1 & 0 \\ 0 & -1 \end{bmatrix} $$ $$ Q_3 = \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix} $$

定義

對於矩陣 $A$，其轉置矩陣表示為 $A^T$，其中：

$$A_{ij}^T = A_{ji}$$

換句話說，原矩陣的第 $i$ 行第 $j$ 列元素，在轉置矩陣中變成第 $j$ 行第 $i$ 列元素

例子

$$\begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}^T = \begin{bmatrix} 1 & 3 \\ 2 & 4 \end{bmatrix}$$ $$\begin{bmatrix} 1 & 2 \\ 3 & 4 \\ 5 & 6 \end{bmatrix}^T = \begin{bmatrix} 1 & 3 & 5 \\ 2 & 4 & 6 \end{bmatrix}$$