定義

在矩陣中，軸元(pivot) 是指每列中的第一個非零元素

考慮以下矩陣：

$$A = \begin{bmatrix} 2 & 1 & 3 \\ 0 & 4 & 1 \\ 0 & 0 & 5 \end{bmatrix}$$

在這個矩陣中：

• 第 1 列的軸元是 $a_{11} = 2$（位置 (1,1)）
• 第 2 列的軸元是 $a_{22} = 4$（位置 (2,2)）
• 第 3 列的軸元是 $a_{33} = 5$（位置 (3,3)）

因此對於矩陣 $A$ 來說有三個軸元分別是 $2, 4, 5$

前言

特徵向量(Eigenvector) 與 特徵值(Eigenvalue) 是線性代數中最基礎的概念，這篇文章複習這兩者的計算方式

定義

給定一個 $n \times n$ 的方陣 $A$，如果存在一個非零向量 $\mathbf{x}$，使得：

$$A\mathbf{x} = \lambda \mathbf{x}$$

其中 $\lambda$ 是一個純量，則稱：

• $\mathbf{x}$ 為矩陣 $A$ 的 特徵向量
• $\lambda$ 為矩陣 $A$ 的 特徵值

定義

一個方陣 $A$ 如果 行列式為 0：

$$
\det(A) = 0
$$

那麼這個矩陣就是 奇異矩陣 (Singular matrix)

反之，如果 $\det(A) \neq 0$，則稱為 非奇異矩陣 (invertible matrix)

簡介

為了要了解如何用四元數推導出 3D 旋轉的公式，我找到了這篇文章 - 四元数与三维旋转 寫的相當詳細，這篇文章主要是希望跟著他一步步了解其中的推導過程，以後才不會對 3D 旋轉的矩陣公式為什麼是這樣寫而感到困惑

Introduction

Canvas fingerprinting is a powerful technique for detecting fraudsters and bots. This presentation explores how attackers modify canvas fingerprints to evade detection and the methods we can use to identify these manipulations.

What is Canvas Fingerprinting?

Canvas fingerprinting uses the HTML canvas API to draw invisible shapes and text that create unique identifiers based on your:

• Browser

• Operating system

• GPU

• Installed fonts

These fingerprints are stable and unique, making them valuable for tracking fraudsters even if they delete cookies.

For more information, Please redirect to Powerpoint - Detecting Noise in Canvas Fingerprinting

此為 機器學習中的優化器 系列文章 - 第 3 篇：

1. 機器學習中的優化器 (1) - Gradient descent 梯度下降與其變體
2. 機器學習中的優化器 (2) - 從梯度下降問題到動量優化
3. 機器學習中的優化器 (3) - AdaGrad、RMSProp 與 Adam

前言

上篇文章提到 動量(Momentum) 的引入可以有效逃離局部最小值進而幫助找到全局的最佳解，但 Momentum 對所有的參數都套用同樣的學習率，導致在某些狀況下可能過度衝刺而不易找到全局最佳解。因此後來出現了一些優化算法 - AdaGrad, RMSProp, Adam 等讓學習率可以隨著訓練迭代的過程中自適應調整以更快的找到全局最佳解

此為 機器學習中的優化器 系列文章 - 第 2 篇：

1. 機器學習中的優化器 (1) - Gradient descent 梯度下降與其變體
2. 機器學習中的優化器 (2) - 從梯度下降問題到動量優化
3. 機器學習中的優化器 (3) - AdaGrad、RMSProp 與 Adam

梯度下降面臨的問題

在上一篇 Gradient descent 梯度下降與其變體 文章中，我們介紹了梯度下降的基本原理和三種主要變形：Batch Gradient Descent、Stochastic Gradient Descent (SGD) 和 Mini-batch Gradient Descent。雖然這些方法在機器學習中發揮了重要作用，但在實際應用中仍然面臨一些挑戰：

1. 學習率選擇困難

問題描述：

• 學習率太小：收斂速度慢，需要大量迭代
• 學習率太大：可能導致震盪或發散
• 不同參數可能需要不同的學習率

數學表達：
$$w_{t+1} = w_t - \eta \nabla L(w_t)$$

其中 $\eta$ 是固定的學習率，但實際上：

• 在平坦區域需要較大學習率加速
• 在陡峭區域需要較小學習率避免震盪

此為 機器學習中的優化器 系列文章 - 第 1 篇：

1. 機器學習中的優化器 (1) - Gradient descent 梯度下降與其變體
2. 機器學習中的優化器 (2) - 從梯度下降問題到動量優化
3. 機器學習中的優化器 (3) - AdaGrad、RMSProp 與 Adam

什麼是優化器 Optimizer？

在機器學習和深度學習中，優化器（Optimizer） 是訓練模型的核心組件。它的主要任務是找到一組最佳的模型參數，使得損失函數達到最小值，從而讓模型能夠做出最準確的預測，此篇文章所要介紹的 Gradient descent 就是其中一種優化器

為什麼需要 Gradient descent？

在機器學習與深度學習中，我們常要找到一組最佳的模型參數，使 損失函數 (Loss function) 達到最小值，此時找到最佳的權重參數 $w$ 使得預測值 $\hat{y}$ 與實際值 $y$ 之間的誤差最小，這代表模型在預測時的誤差最小，預測效果最佳。而 梯度下降 (Gradient descent) 則是在尋找 損失函數 (Loss function) 最小值過程中的一個關鍵技術。

前言

L1 Loss 和 L2 Loss 是兩種常用的損失函數（Loss Function），主要用於衡量模型預測值與真實值之間的誤差，尤其廣泛用於回歸問題。

平均絕對誤差 (L1 Loss, MAE)

L1 Loss(Mean Absolute Error, MAE) 計算預測值與真實值誤差的 絕對值 的平均。

公式：

$$
\text{MAE} = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i|
$$

• $y_i$：真實值
• $\hat{y}_i$：預測值
• $n$：樣本數

今天中午前往台北府城隍廟，習俗上親人過世的百日內不能前往道教的寺廟拜拜，但由於需要詢問祖先牌位的問題所以在廟外先對城隍說明如有冒犯希望他能諒解，拜完一輪神明後接著到城隍前說明前因後果，詢問下週出殯時處理牌位的兩種方案：

方案 1. 將目前靈堂的牌位於出殯當天直接帶回家祭拜，但由於家裡無法燒香的因素，希望能於初一、十五拜飯以及供俸餅乾、水果、糖果等，詢問城隍這種不燒香的方式跟傳統習俗上不一樣是否可以呢？

方案 2. 將牌位於出殯當天火化掉成灰並裝進香火袋裡帶回家祭拜，這種方式就不需要早、晚進行燒香，但根據王老師的說法將牌位燒掉可能導致爺爺的靈無法跟隨回家，...