前言

我們在看資料時，常常不只想知道「一個東西變化大不大」，還會好奇「兩個東西是不是一起變」。例如：天氣變熱時，飲料銷量會不會跟著上升? 讀書時間增加，成績會不會也變好? 這些「一起變」的現象，就是 共變異數 (Covariance) 想描述的內容

最基本的概念是 變異數 (Variance)，它告訴我們某個數據本身的波動有多大；但只看單一變數就像只看一個角色，很難了解整個故事。當我們把兩個變數放在一起，就可以用共變異數判斷它們是同方向動（一起變大或變小）、還是相互拉扯（一个變大、一个變小），或是根本沒什麼關聯

而當資料裡的變數不只兩個，而是三個、十個、甚至上百個時，我們就需要把所有變數之間的「一起變動關係」整理成一張表，那就是 共變異數矩陣 (Covariance Matrix)。這張矩陣像是一個地圖，描繪出每個變數之間的連動方式，幫助我們看出資料的真正結構。許多強大的資料分析方法（像 PCA）都是以它為核心，從中找出資料最重要的變化方向

此為 奇異值分解 SVD 系列文章 - 第 2 篇：

1. 奇異值分解 SVD (1) - 定義與性質
2. 奇異值分解 SVD (2) - 實際應用

前言

在上一篇文章中，我們詳細介紹了奇異值分解 (SVD) 的定義、性質和計算方法

本文將介紹 SVD 的兩個實際應用：

1. 圖像壓縮：利用 SVD 的低秩近似特性，大幅減少圖像存儲空間
2. 極分解：從 SVD 推導極分解，理解線性變換的幾何意義

此為 奇異值分解 SVD 系列文章 - 第 1 篇：

1. 奇異值分解 SVD (1) - 定義與性質
2. 奇異值分解 SVD (2) - 實際應用

前言

在前面的文章中，我們學習了多種矩陣分解方法，如 特徵值分解、矩陣對角化、對稱矩陣的譜分解、正定矩陣的 Cholesky 分解 等。然而，這些分解方法都有一個共同的限制：只能作用在方陣上。對於非方陣（如 $m \times n$ 矩陣，其中 $m \neq n$），這些方法都無法直接應用

相較之下，奇異值分解 (Singular Value Decomposition, SVD) 適用於 任意矩陣(包括非方陣)，這使得它成為線性代數中最普遍、最實用的分解方法。無論是瘦高矩陣（$m > n$）、矮胖矩陣（$m < n$），還是方陣（$m = n$），SVD 都能提供一個優雅的分解形式

下面我們來學習 SVD 的定義、性質、計算方法以及其代表的幾何意義

定義

對於任意 $m \times n$ 矩陣 $A$，存在分解：

$$A = Q_1\Sigma Q_2^T$$

其中：

• $Q_1$：$m \times m$ 正交矩陣
• $\Sigma$：$m \times n$ 對角矩陣（對角線元素稱為奇異值）
• $Q_2$：$n \times n$ 正交矩陣

此為 正定矩陣與半正定矩陣 系列文章 - 第 3 篇：

1. 正定矩陣與半正定矩陣 (1) - 定義與性質
2. 正定矩陣與半正定矩陣 (2) - 橢球體的形狀
3. 正定矩陣與半正定矩陣 (3) - Cholesky 分解

前言

Cholesky 分解是線性代數中的矩陣分解方法，專門用於正定矩陣，它將一個正定矩陣分解為下三角矩陣與其轉置的乘積

定義

對於一個 $n \times n$ 的正定矩陣 $A$，存在唯一的下三角矩陣 $L$，使得：

$$A = LL^T$$

其中：

• $L$ 是下三角矩陣（對角線以下元素為零）
• $L^T$ 是 $L$ 的轉置矩陣
• $L$ 的對角線元素都是正數

此為 正定矩陣與半正定矩陣 系列文章 - 第 2 篇：

1. 正定矩陣與半正定矩陣 (1) - 定義與性質
2. 正定矩陣與半正定矩陣 (2) - 橢球體的形狀
3. 正定矩陣與半正定矩陣 (3) - Cholesky 分解

前言

在上一篇文章中，我們討論了正定矩陣的定義和性質。這次我們要探討正定矩陣在幾何上的意義：它們如何描述 橢球體(ellipsoid) 的形狀，透過二次型 $\mathbf{x}^T \mathbf{A} \mathbf{x} = 1$，我們可以將線性代數與橢球體的幾何圖形連結起來

橢球體的數學表示

對於一個 $n \times n$ 的正定對稱矩陣 $\mathbf{A}$，方程式

$$
\mathbf{x}^T \mathbf{A} \mathbf{x} = 1
$$

定義了一個在 $n$ 維空間中的橢球體（或在二維空間中的橢圓）

這個簡單的方程式蘊含了豐富的幾何資訊，包括：

• 橢球體的形狀和大小
• 各個主軸的方向
• 各個主軸的長度

下面我們用各種例子來探討二次型 $\mathbf{x}^T \mathbf{A} \mathbf{x} = 1$ 是如何代表橢球體的幾何圖形

此為 正定矩陣與半正定矩陣 系列文章 - 第 1 篇：

1. 正定矩陣與半正定矩陣 (1) - 定義與性質
2. 正定矩陣與半正定矩陣 (2) - 橢球體的形狀
3. 正定矩陣與半正定矩陣 (3) - Cholesky 分解

前言

我們知道數字可以分為正數、負數和零。對於矩陣來說是否也有類似「正負性」的概念呢？

正定矩陣(Positive definite matrix) 和 半正定矩陣(Positive semi-definite matrix) 就是用來描述矩陣「正負性」的重要概念。簡單來說：

• 正定矩陣：就像「恆正的矩陣」，對應的二次函數圖形是碗狀的（有最小值）
• 半正定矩陣：就像「非負的矩陣」，對應的二次函數圖形可能是碗狀的，也可能是平的

下面將從二次型的角度出發，深入探討這兩個概念的定義、等價條件，以及如何判斷一個矩陣是否為正定或半正定矩陣

二次型（Quadratic Form）

定義

對於 $n \times n$ 實對稱矩陣 $A$ 和 $n$ 維向量 $\mathbf{x}$，表達式：

$$Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x}$$

稱為矩陣 $A$ 的二次型

LU 分解的定義

對於一個 $n \times n$ 的方陣 $A$，如果存在下三角矩陣 $L$ 和上三角矩陣 $U$，使得：

$$A = LU$$

其中：

• $L$ 是下三角矩陣，對角線元素為 1
• $U$ 是上三角矩陣

這就是 LU 分解

子式

對於一個 $n \times n$ 的矩陣 $A$，我們可以通過取出 $A$ 的某些行與列來得到較小的子矩陣，這些子矩陣的行列式就稱為子式(Minor)

$$M_{I,J}(A) = \det(A_{I,J})$$

其中 $I, J$ 代表從列與行中的元素取出來的 索引集合：

• 列的集合： $I = \{i_1, i_2, \dots, i_r\}$
• 行的集合： $J = \{j_1, j_2, \dots, j_c\}$

下面來看實際的例子會比較好理解

向量內積

向量內積(inner product) 又稱 點積(dot product)，是線性代數中最重要的向量運算之一，內積的結果是一個純量

對於兩個向量 $\mathbf{u}$ 和 $\mathbf{v}$，內積有兩種等價的定義方式：

定義一：分量形式

$$\mathbf{u} \cdot \mathbf{v} = u_1v_1 + u_2v_2 + \cdots + u_nv_n$$

其中 $\mathbf{u}$ 和 $\mathbf{v}$ 是 $n$ 維向量：

$$\mathbf{u} = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix} \quad \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

定義二：矩陣乘法形式

$$\mathbf{u} \cdot \mathbf{v} = \mathbf{u}^T \mathbf{v}$$

這可以表示為：

$$\mathbf{u} \cdot \mathbf{v} = \begin{bmatrix} u_1 & u_2 & \cdots & u_n \end{bmatrix} \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

定義

對於 $n \times n$ 矩陣 $A$，如果滿足：

$$A^T = A$$

則稱 $A$ 為對稱矩陣

例子

$$ A = \begin{bmatrix} 2 & 1 \\ 1 & 3 \end{bmatrix} $$ $$ B = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 5 \\ 3 & 5 & 6 \end{bmatrix} $$ 任何對角矩陣都是對稱的： $$ C = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{bmatrix} $$