此為 正定矩陣與半正定矩陣 系列文章 - 第 3 篇：

1. 正定矩陣與半正定矩陣 (1) - 定義與性質
2. 正定矩陣與半正定矩陣 (2) - 橢球體的形狀
3. 正定矩陣與半正定矩陣 (3) - Cholesky 分解

前言

Cholesky 分解是線性代數中的矩陣分解方法，專門用於正定矩陣，它將一個正定矩陣分解為下三角矩陣與其轉置的乘積

定義

對於一個 $n \times n$ 的正定矩陣 $A$，存在唯一的下三角矩陣 $L$，使得：

$$A = LL^T$$

其中：

• $L$ 是下三角矩陣（對角線以下元素為零）
• $L^T$ 是 $L$ 的轉置矩陣
• $L$ 的對角線元素都是正數

此為 正定矩陣與半正定矩陣 系列文章 - 第 2 篇：

1. 正定矩陣與半正定矩陣 (1) - 定義與性質
2. 正定矩陣與半正定矩陣 (2) - 橢球體的形狀
3. 正定矩陣與半正定矩陣 (3) - Cholesky 分解

前言

在上一篇文章中，我們討論了正定矩陣的定義和性質。這次我們要探討正定矩陣在幾何上的意義：它們如何描述 橢球體(ellipsoid) 的形狀，透過二次型 $\mathbf{x}^T \mathbf{A} \mathbf{x} = 1$，我們可以將線性代數與橢球體的幾何圖形連結起來

橢球體的數學表示

對於一個 $n \times n$ 的正定對稱矩陣 $\mathbf{A}$，方程式

$$
\mathbf{x}^T \mathbf{A} \mathbf{x} = 1
$$

定義了一個在 $n$ 維空間中的橢球體（或在二維空間中的橢圓）

這個簡單的方程式蘊含了豐富的幾何資訊，包括：

• 橢球體的形狀和大小
• 各個主軸的方向
• 各個主軸的長度

下面我們用各種例子來探討二次型 $\mathbf{x}^T \mathbf{A} \mathbf{x} = 1$ 是如何代表橢球體的幾何圖形

此為 正定矩陣與半正定矩陣 系列文章 - 第 1 篇：

1. 正定矩陣與半正定矩陣 (1) - 定義與性質
2. 正定矩陣與半正定矩陣 (2) - 橢球體的形狀
3. 正定矩陣與半正定矩陣 (3) - Cholesky 分解

前言

我們知道數字可以分為正數、負數和零。對於矩陣來說是否也有類似「正負性」的概念呢？

正定矩陣(Positive definite matrix) 和 半正定矩陣(Positive semi-definite matrix) 就是用來描述矩陣「正負性」的重要概念。簡單來說：

• 正定矩陣：就像「恆正的矩陣」，對應的二次函數圖形是碗狀的（有最小值）
• 半正定矩陣：就像「非負的矩陣」，對應的二次函數圖形可能是碗狀的，也可能是平的

下面將從二次型的角度出發，深入探討這兩個概念的定義、等價條件，以及如何判斷一個矩陣是否為正定或半正定矩陣

二次型（Quadratic Form）

定義

對於 $n \times n$ 實對稱矩陣 $A$ 和 $n$ 維向量 $\mathbf{x}$，表達式：

$$Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x}$$

稱為矩陣 $A$ 的二次型

LU 分解的定義

對於一個 $n \times n$ 的方陣 $A$，如果存在下三角矩陣 $L$ 和上三角矩陣 $U$，使得：

$$A = LU$$

其中：

• $L$ 是下三角矩陣，對角線元素為 1
• $U$ 是上三角矩陣

這就是 LU 分解

子式

對於一個 $n \times n$ 的矩陣 $A$，我們可以通過取出 $A$ 的某些行與列來得到較小的子矩陣，這些子矩陣的行列式就稱為子式(Minor)

$$M_{I,J}(A) = \det(A_{I,J})$$

其中 $I, J$ 代表從列與行中的元素取出來的 索引集合：

• 列的集合： $I = \{i_1, i_2, \dots, i_r\}$
• 行的集合： $J = \{j_1, j_2, \dots, j_c\}$

下面來看實際的例子會比較好理解

向量內積

向量內積(inner product) 又稱 點積(dot product)，是線性代數中最重要的向量運算之一，內積的結果是一個純量

對於兩個向量 $\mathbf{u}$ 和 $\mathbf{v}$，內積有兩種等價的定義方式：

定義一：分量形式

$$\mathbf{u} \cdot \mathbf{v} = u_1v_1 + u_2v_2 + \cdots + u_nv_n$$

其中 $\mathbf{u}$ 和 $\mathbf{v}$ 是 $n$ 維向量：

$$\mathbf{u} = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix} \quad \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

定義二：矩陣乘法形式

$$\mathbf{u} \cdot \mathbf{v} = \mathbf{u}^T \mathbf{v}$$

這可以表示為：

$$\mathbf{u} \cdot \mathbf{v} = \begin{bmatrix} u_1 & u_2 & \cdots & u_n \end{bmatrix} \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

定義

對於 $n \times n$ 矩陣 $A$，如果滿足：

$$A^T = A$$

則稱 $A$ 為對稱矩陣

例子

$$ A = \begin{bmatrix} 2 & 1 \\ 1 & 3 \end{bmatrix} $$ $$ B = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 5 \\ 3 & 5 & 6 \end{bmatrix} $$ 任何對角矩陣都是對稱的： $$ C = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{bmatrix} $$

背景：特徵值與特徵向量

對一個 $n \times n$ 矩陣 $A$，如果存在非零向量 $\mathbf{v}$ 和實數（或複數） $\lambda$，使得：

$$
A\mathbf{v} = \lambda \mathbf{v}
$$

其中：

• $\lambda$：特徵值 (eigenvalue)
• $\mathbf{v}$：特徵向量 (eigenvector)

代數重數（Algebraic Multiplicity）

定義

某個特徵值 $\lambda$ 的 代數重數 是：

$\lambda$ 在特徵多項式中的根出現的次數

特徵多項式

$$
p(\lambda) = \det(A - \lambda I)
$$

如果：

$$
p(\lambda) = (\lambda_1 - \lambda)^{m_1} (\lambda_2 - \lambda)^{m_2} \cdots (\lambda_k - \lambda)^{m_k}
$$

那麼每個 $m_i$ 就是對應特徵值 $\lambda_i$ 的 代數重數

定義

對一個 $m \times n$ 的矩陣 $A$，我們定義它的 零空間(Null space) 為：

$$
\text{Null}(A) = {\mathbf{v} \in V : A\mathbf{v} = \mathbf{0}}
$$

也就是所有能讓 $A\mathbf{v}=0$ 的向量集合

什麼是 Span？

線性生成空間(Span) 是線性代數中一個核心概念，它描述了給定向量集合能夠「生成」的所有可能向量的集合

定義

設 $S = {\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k}$ 是向量空間 $V$ 中的一個向量集合，則 $S$ 的 span 定義為：

$$\text{span}(S) = \text{span}\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\} = \{c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k : c_1, c_2, \ldots, c_k \in \mathbb{R}\}$$

換句話說，$\text{span}(S)$ 是所有 $S$ 中向量的線性組合所構成的集合