奇异值（Singular Values）是矩阵分解中的一个重要概念，特别是在**奇异值分解（SVD, Singular Value Decomposition）**中，它们用于描述矩阵的某些内在特性。奇异值可以看作是矩阵对向量进行线性变换时的“缩放因子”。
奇异值的定义：
给定一个 m×nm \times nm×n 的矩阵 AAA，通过奇异值分解，我们可以将矩阵 AAA 分解为：
A=UΣVT
A = U \Sigma V^T
A=UΣVT
其中：
AAA 是要分解的矩阵。UUU 是一个 m×mm \times mm×m 的正交矩阵，称为左奇异向量。VVV 是一个 n×nn \times nn×n 的正交矩阵，称为右奇异向量。Σ\SigmaΣ 是一个 m×nm \times nm×n 的对角矩阵，对角线上的是矩阵 AAA 的奇异值，且奇异值按非递增顺序排列（从大到小）。
奇异值是矩阵 Σ\SigmaΣ 的对角线上的元素，记作 σ1,σ2,…,σr\sigma_1, \sigma_2, \dots, \sigma_rσ1,σ2,…,σr，其中 rrr 是矩阵的秩。它们反映了矩阵在不同方向上的“伸缩”程度。
奇异值的性质：
非负实数：
奇异值始终是非负的实数，即 σi≥0\sigma_i \geq 0σi≥0。它们代表了矩阵的几何属性，比如向量在不同方向上的拉伸或压缩因子。
奇异值的数量：
对于一个 m×nm \times nm×n 的矩阵 AAA，奇异值的数量为 min(m,n)\min(m, n)min(m,n)，即矩阵的最小维度决定了奇异值的数量。
秩：
矩阵的非零奇异值的数量等于矩阵的秩。如果矩阵 AAA 的秩是 rrr，那么有 rrr 个非零奇异值，其余的奇异值为 0。
与特征值的关系：
对于方阵（或一般矩阵），奇异值与矩阵的特征值相关。具体来说，奇异值是矩阵 ATAA^T AATA 或 AATA A^TAAT 的非零特征值的平方根：
σi=λi
\sigma_i = \sqrt{\lambda_i}
σi=λi
其中 λi\lambda_iλi 是 ATAA^T AATA 或 AATA A^TAAT 的特征值。
对矩阵的范数有直接影响：
矩阵的谱范数等于矩阵的最大奇异值。矩阵的弗罗贝尼乌斯范数可以通过矩阵的所有奇异值来计算：
∥A∥F=∑i=1rσi2
\|A\|_F = \sqrt{\sum_{i=1}^{r} \sigma_i^2}
∥A∥F=i=1∑rσi2
其中 ∥A∥F\|A\|_F∥A∥F 是矩阵 AAA 的弗罗贝尼乌斯范数，σi\sigma_iσi 是奇异值。
举例说明：
假设我们有一个 2x2 的矩阵 AAA：
A=[3102]
A = \begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix}
A=[3012]
计算 ATAA^T AATA 或 AATA A^TAAT：
我们可以计算 ATAA^T AATA 或 AATA A^TAAT，然后计算它们的特征值，最后对特征值开平方，得到矩阵的奇异值。
ATA=[3102]T[3102]=[9335]
A^T A = \begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix}^T \begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix} = \begin{bmatrix} 9 & 3 \\ 3 & 5 \end{bmatrix}
ATA=[3012]T[3012]=[9335]
计算 ATAA^T AATA 的特征值，我们得到两个特征值 λ1\lambda_1λ1 和 λ2\lambda_2λ2。
奇异值是特征值的平方根：
通过开平方特征值，我们可以得到矩阵 AAA 的奇异值。
假设我们计算出的特征值为 λ1=10\lambda_1 = 10λ1=10，λ2=4\lambda_2 = 4λ2=4，那么矩阵 AAA 的奇异值为：
σ1=10,σ2=4=2
\sigma_1 = \sqrt{10}, \quad \sigma_2 = \sqrt{4} = 2
σ1=10,σ2=4=2
因此，矩阵 AAA 的奇异值为 10\sqrt{10}10 和 2。
奇异值的几何意义：
奇异值提供了关于矩阵如何将向量变换到新空间的信息。特别是，它们表示矩阵对不同方向上向量的缩放程度。奇异值为 1 表示该方向上的向量长度保持不变，奇异值大于 1 表示向量被拉伸，奇异值小于 1 表示向量被压缩。
奇异值的方向由奇异向量 UUU 和 VVV 决定：
左奇异向量（矩阵 UUU 的列向量）表示矩阵 AAA 在输出空间中的方向。右奇异向量（矩阵 VVV 的列向量）表示矩阵 AAA 在输入空间中的方向。
奇异值的应用：
数据压缩：
奇异值分解常用于数据压缩技术，例如图像压缩。通过保留较大的奇异值并忽略较小的奇异值，可以在压缩数据的同时保留尽可能多的重要信息。
主成分分析（PCA）：
PCA 是一种降维技术，背后依赖于奇异值分解。通过奇异值分解，可以找出数据集中最重要的方向（主成分），从而有效降低数据的维度。
矩阵求逆：
在求解伪逆矩阵时，奇异值分解是一种非常有效的工具。通过对奇异值取倒数，可以快速计算矩阵的伪逆。
信号处理：
奇异值分解在信号处理和噪声去除中有重要应用。通过识别和保留主要信号对应的奇异值，可以有效过滤噪声。
总结：
奇异值是矩阵通过奇异值分解得到的对角线上的非负数，表示矩阵对不同方向上的缩放比例。奇异值可以通过对矩阵 ATAA^T AATA 或 AATA A^TAAT 的特征值开平方得到。奇异值在许多应用中非常重要，如数据压缩、矩阵分解、主成分分析等。