📘 第 7 章：对称矩阵与二次型

Note

本章研究对称矩阵（$A^T=A$）——它在实际应用中出现的频率超过任何其他类型的矩阵。全章逻辑链是：7.1 证明对称矩阵总能正交对角化；7.2、7.3 用它处理二次型及其约束最值；7.4 把思想推广到任意矩阵，得到奇异值分解（SVD）；7.5 落地到**主成分分析（PCA）**与图像处理。全章假设所有向量和矩阵都是实的。读本章前建议先熟悉第 5 章的对角化与第 6 章的正交性。

开篇引例：多通道图像处理

Landsat 卫星以近极地轨道绕地球飞行，用 7 个不同波段（3 个可见光 + 4 个红外/热波段）同时拍摄同一地区，每幅图像被数字化为像素阵列，每个数字记录该点的信号强度。

图 7-1：图像被数字化成像素阵列，每个数字表示对应点的信号强度

这 7 幅图像信息高度冗余——很多地物特征会同时出现在多幅图中。**主成分分析（PCA）**的目标是：找到一组权重，把 7 幅图在每个像素处的值线性组合成少数几幅”合成图”，并让合成图承载原始数据尽可能多的”场景方差”。以美国内华达州 Railroad Valley 的三波段数据为例：

图 7-2：(a) 光谱波段 1——可见蓝光

图 7-3：(b) 光谱波段 4——近红外

图 7-4：(c) 光谱波段 7——中红外

图 7-5：(d) 第一主成分——承载了 93.5% 的场景方差

图 7-6：(e) 第二主成分——5.3%

图 7-7：(f) 第三主成分——仅 1.2%

三通道数据被压缩成一通道数据，信息损失（按方差计）仅约 6.5%。当地球卫星公司实验 224 个波段的高光谱数据时，PCA 能把数据缩减到大约 15 个可用主成分——没有本章的数学工具，这种规模的数据根本无法处理。

---

7.1 对角化对称矩阵

定义：若方阵 $A$ 满足 $A^T=A$，则称 $A$ 为对称矩阵。对称矩阵必为方阵；主对角线元素任意，而非对角线元素成对出现——关于主对角线对称的位置上取值相同。

例 1　下列矩阵中只有前三个是对称的。

对称：

$$\left[\begin{array}{cc}1& 0\\ 0& -3\end{array}\right],\left[\begin{array}{ccc}0& -1& 0\\ -1& 5& 8\\ 0& 8& -7\end{array}\right],\left[\begin{array}{ccc}a& b& c\\ b& d& e\\ c& e& f\end{array}\right]$$

非对称：

$$\left[\begin{array}{cc}1& -3\\ 3& 0\end{array}\right],\left[\begin{array}{ccc}1& -4& 0\\ -6& 1& -4\\ 0& -6& 1\end{array}\right],\left[\begin{array}{cccc}5& 4& 3& 2\\ 4& 3& 2& 1\\ 3& 2& 1& 0\end{array}\right]$$

第二个非对称例子值得注意：它”看起来”很对称，但 $a_{12}=-4\ne -6=a_{21}$，所以不是。判断标准永远是逐对检查 $a_{ij}$ 与 $a_{ji}$ 是否相等。

复习：一般对角化

例 2　若可能，将对角化矩阵 $A=\left[\begin{array}{ccc}6& -2& -1\\ -2& 6& -1\\ -1& -1& 5\end{array}\right]$。

解　$A$ 的特征方程为

$$0=-{\lambda }^3+17{\lambda }^2-90\lambda +144=-(\lambda -8)(\lambda -6)(\lambda -3)$$

常规计算给出每个特征空间的基：

$$\lambda =8:{\mathbf{v}}_1=\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right];\lambda =6:{\mathbf{v}}_2=\left[\begin{array}{c}-1\\ -1\\ 2\end{array}\right];\lambda =3:{\mathbf{v}}_3=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$

这三个向量构成 ${\mathbb{R}}^3$ 的一组基，而且容易验证 $\{{\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3\}$ 是 ${\mathbb{R}}^3$ 的正交基。第 6 章的经验告诉我们，标准正交基便于计算，于是把它们单位化：

$${\mathbf{u}}_1=\left[\begin{array}{c}-1/\sqrt{2}\\ 1/\sqrt{2}\\ 0\end{array}\right],{\mathbf{u}}_2=\left[\begin{array}{c}-1/\sqrt{6}\\ -1/\sqrt{6}\\ 2/\sqrt{6}\end{array}\right],{\mathbf{u}}_3=\left[\begin{array}{c}1/\sqrt{3}\\ 1/\sqrt{3}\\ 1/\sqrt{3}\end{array}\right]$$

令

$$P=\left[\begin{array}{ccc}-1/\sqrt{2}& -1/\sqrt{6}& 1/\sqrt{3}\\ 1/\sqrt{2}& -1/\sqrt{6}& 1/\sqrt{3}\\ 0& 2/\sqrt{6}& 1/\sqrt{3}\end{array}\right],D=\left[\begin{array}{ccc}8& 0& 0\\ 0& 6& 0\\ 0& 0& 3\end{array}\right]$$

则照常有 $A=PD{P}^{-1}$。但这次不同：$P$ 是方阵且各列标准正交，所以 $P$ 是正交矩阵，$P^{-1}$ 就是 $P^T$。

定理 1：不同特征值的特征向量正交

定理 1　若 $A$ 对称，则来自不同特征空间的任意两个特征向量正交。

证明　设 ${\mathbf{v}}_1,{\mathbf{v}}_2$ 分别是属于不同特征值 ${\lambda }_1,{\lambda }_2$ 的特征向量。要证 ${\mathbf{v}}_1\cdot {\mathbf{v}}_2=0$，计算：

$$\begin{array}{rlrl}{\lambda }_1{\mathbf{v}}_1\cdot {\mathbf{v}}_2& =({\lambda }_1{\mathbf{v}}_1{)}^T{\mathbf{v}}_2=(A{\mathbf{v}}_1{)}^T{\mathbf{v}}_2& & \text{（v1 是特征向量）}\\ & =({\mathbf{v}}_1^T{A}^T){\mathbf{v}}_2={\mathbf{v}}_1^T(A{\mathbf{v}}_2)& & \text{（AT=A）}\\ & ={\mathbf{v}}_1^T({\lambda }_2{\mathbf{v}}_2)={\lambda }_2{\mathbf{v}}_1^T{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_1\cdot {\mathbf{v}}_2& & \text{（v2 是特征向量）}\end{array}$$

于是 $({\lambda }_1-{\lambda }_2){\mathbf{v}}_1\cdot {\mathbf{v}}_2=0$。而 ${\lambda }_1\ne {\lambda }_2$，故 ${\mathbf{v}}_1\cdot {\mathbf{v}}_2=0$。$■$

这个定理解释了例 2 中特征向量为何自动正交——它们来自不同特征值。这是对称矩阵独有的福利：一般矩阵的不同特征值的特征向量没有任何正交性保证。

正交对角化与定理 2

例 2 中那种特殊的对角化值得命名：若存在正交矩阵 $P$（满足 $P^{-1}=P^T$）和对角矩阵 $D$，使得

$$A=PD{P}^T=PD{P}^{-1}\text{\hspace{1em}(1)}$$

则称 $A$ 可正交对角化。这样的分解要求 $n$ 个线性无关且标准正交的特征向量。什么时候可能呢？若 $A$ 可如 (1) 正交对角化，则

$$A^T=(PD{P}^T{)}^T=P^{TT}{D}^T{P}^T=PD{P}^T=A$$

即 $A$ 必对称。反之也成立：

定理 2　$n\times n$ 矩阵 $A$ 可正交对角化 当且仅当 $A$ 是对称矩阵。

这个定理相当惊人：第 5 章的工作表明，判断一个矩阵能否对角化通常很困难；但对对称矩阵来说这件事永远成立，不用检查任何条件。

例 3　正交对角化矩阵 $A=\left[\begin{array}{ccc}3& -2& 4\\ -2& 6& 2\\ 4& 2& 3\end{array}\right]$，其特征方程为

$$0=-{\lambda }^3+12{\lambda }^2-21\lambda -98=-(\lambda -7{)}^2(\lambda +2)$$

解　常规计算给出各特征空间的基：

$$\lambda =7:{\mathbf{v}}_1=\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}-1/2\\ 1\\ 0\end{array}\right];\lambda =-2:{\mathbf{v}}_3=\left[\begin{array}{c}-1\\ -1/2\\ 1\end{array}\right]$$

注意这里的困难点：$\lambda =7$ 是重特征值（重数 2），${\mathbf{v}}_1$ 与 ${\mathbf{v}}_2$ 线性无关但不正交。由第 6.2 节，${\mathbf{v}}_2$ 在 ${\mathbf{v}}_1$ 上的正交分量为

$${\mathbf{z}}_2={\mathbf{v}}_2-\frac{{\mathbf{v}}_2\cdot {\mathbf{v}}_1}{{\mathbf{v}}_1\cdot {\mathbf{v}}_1}{\mathbf{v}}_1=\left[\begin{array}{c}-1/2\\ 1\\ 0\end{array}\right]-\frac{-1/2}{2}\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}-1/4\\ 1\\ 1/4\end{array}\right]$$

这就是 Gram–Schmidt 正交化。${\mathbf{z}}_2$ 仍是 ${\mathbf{v}}_1,{\mathbf{v}}_2$ 的线性组合，所以仍属于 $\lambda =7$ 的特征空间；由于该特征空间是二维的，$\{{\mathbf{v}}_1,{\mathbf{z}}_2\}$ 就是它的正交基。单位化得到

$${\mathbf{u}}_1=\left[\begin{array}{c}1/\sqrt{2}\\ 0\\ 1/\sqrt{2}\end{array}\right],{\mathbf{u}}_2=\left[\begin{array}{c}-1/\sqrt{18}\\ 4/\sqrt{18}\\ 1/\sqrt{18}\end{array}\right]$$

$\lambda =-2$ 的特征空间的标准正交基为

$${\mathbf{u}}_3=\frac{1}{\Vert 2{\mathbf{v}}_3\Vert }2{\mathbf{v}}_3=\frac{1}{3}\left[\begin{array}{c}-2\\ -1\\ 2\end{array}\right]=\left[\begin{array}{c}-2/3\\ -1/3\\ 2/3\end{array}\right]$$

由定理 1，${\mathbf{u}}_3$ 自动与 ${\mathbf{u}}_1,{\mathbf{u}}_2$ 正交，故 $\{{\mathbf{u}}_1,{\mathbf{u}}_2,{\mathbf{u}}_3\}$ 是标准正交组。令

$$P=\left[\begin{array}{ccc}1/\sqrt{2}& -1/\sqrt{18}& -2/3\\ 0& 4/\sqrt{18}& -1/3\\ 1/\sqrt{2}& 1/\sqrt{18}& 2/3\end{array}\right],D=\left[\begin{array}{ccc}7& 0& 0\\ 0& 7& 0\\ 0& 0& -2\end{array}\right]$$

则 $P$ 正交对角化 $A$，即 $A=PD{P}^{-1}$。

Warning

重特征值是对称矩阵对角化的唯一”坎”：同一特征空间内的特征向量未必正交，必须在特征空间内部做 Gram–Schmidt；而不同特征空间之间由定理 1 自动正交，千万不要对它们再做无谓的正交化。

谱定理

矩阵 $A$ 的全体特征值称为 $A$ 的谱。

定理 3（对称矩阵的谱定理）　$n\times n$ 对称矩阵 $A$ 具有如下性质：

a. $A$ 有 $n$ 个实特征值（计重数）。 b. 每个特征值的特征空间的维数，等于该特征值作为特征方程根的重数。 c. 各特征空间相互正交，即属于不同特征值的特征向量正交。 d. $A$ 可正交对角化。

a 说明对称矩阵的特征值必为实数（一般实矩阵可能有复特征值）；b 说明特征空间”足够大”，不会出现几何重数 < 代数重数导致的不可对角化；c 即定理 1；d 是前面一切结论的汇总。

谱分解

设 $A=PD{P}^{-1}$，其中 $P$ 的列是标准正交特征向量 ${\mathbf{u}}_1,\dots ,{\mathbf{u}}_n$，对应的特征值 ${\lambda }_1,\dots ,{\lambda }_n$ 排在对角矩阵 $D$ 上。由 $P^{-1}=P^T$：

$$A=PD{P}^T=\left[\begin{array}{ccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_n\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& & 0\\ & \ddots & \\ 0& & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{\mathbf{u}}_1^T\\ ⋮\\ {\mathbf{u}}_n^T\end{array}\right]=\left[\begin{array}{ccc}{\lambda }_1{\mathbf{u}}_1& \cdots & {\lambda }_n{\mathbf{u}}_n\end{array}\right]\left[\begin{array}{c}{\mathbf{u}}_1^T\\ ⋮\\ {\mathbf{u}}_n^T\end{array}\right]$$

利用列-行展开（第 2.4 节定理 10）：

$$A={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^T+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^T\text{\hspace{1em}(2)}$$

这称为 $A$ 的谱分解：$A$ 被拆成由它自己的谱（特征值）决定的若干块之和。其中每一项 ${\lambda }_j{\mathbf{u}}_j{\mathbf{u}}_j^T$ 都是秩 1 的 $n\times n$ 矩阵，且 ${\mathbf{u}}_j{\mathbf{u}}_j^T$ 是投影矩阵——它把任意 $\mathbf{x}$ 投影到 ${\mathbf{u}}_j$ 张成的一维子空间上。

例 4　构造矩阵 $A$ 的谱分解，已知 $A$ 的正交对角化为

$$A=\left[\begin{array}{cc}7& 2\\ 2& 4\end{array}\right]=\left[\begin{array}{cc}2/\sqrt{5}& -1/\sqrt{5}\\ 1/\sqrt{5}& 2/\sqrt{5}\end{array}\right]\left[\begin{array}{cc}8& 0\\ 0& 3\end{array}\right]\left[\begin{array}{cc}2/\sqrt{5}& 1/\sqrt{5}\\ -1/\sqrt{5}& 2/\sqrt{5}\end{array}\right]$$

解　记 $P$ 的列为 ${\mathbf{u}}_1,{\mathbf{u}}_2$，则

$$A=8{\mathbf{u}}_1{\mathbf{u}}_1^T+3{\mathbf{u}}_2{\mathbf{u}}_2^T$$

验证这个分解：分别计算两个秩 1 矩阵，

$${\mathbf{u}}_1{\mathbf{u}}_1^T=\left[\begin{array}{c}2/\sqrt{5}\\ 1/\sqrt{5}\end{array}\right]\left[\begin{array}{cc}2/\sqrt{5}& 1/\sqrt{5}\end{array}\right]=\left[\begin{array}{cc}4/5& 2/5\\ 2/5& 1/5\end{array}\right]$$ $${\mathbf{u}}_2{\mathbf{u}}_2^T=\left[\begin{array}{c}-1/\sqrt{5}\\ 2/\sqrt{5}\end{array}\right]\left[\begin{array}{cc}-1/\sqrt{5}& 2/\sqrt{5}\end{array}\right]=\left[\begin{array}{cc}1/5& -2/5\\ -2/5& 4/5\end{array}\right]$$

于是

$$8{\mathbf{u}}_1{\mathbf{u}}_1^T+3{\mathbf{u}}_2{\mathbf{u}}_2^T=\left[\begin{array}{cc}32/5& 16/5\\ 16/5& 8/5\end{array}\right]+\left[\begin{array}{cc}3/5& -6/5\\ -6/5& 12/5\end{array}\right]=\left[\begin{array}{cc}7& 2\\ 2& 4\end{array}\right]=A$$

数值注记

当 $A$ 对称且规模不太大时，现代高性能算法通过一系列正交相似变换计算特征值与特征向量，精度极高——正交变换不会累积舍入误差。非对称矩阵不可能有完整的正交特征向量组，算法仍能较准确地算出特征值，但特征向量需要非正交技术补充计算。

随堂练习（7.1）

练习 1　证明：若 $A$ 对称，则 $A^2$ 对称。

解　$(A^2{)}^T=(AA{)}^T=A^T{A}^T$（转置的性质）。由假设 $A^T=A$，所以 $(A^2{)}^T=AA=A^2$，即 $A^2$ 对称。

练习 2　证明：若 $A$ 可正交对角化，则 $A^2$ 也可正交对角化。

解　若 $A$ 可正交对角化，则由定理 2 知 $A$ 对称。由练习 1，$A^2$ 也对称，再由定理 2，$A^2$ 可正交对角化。

通关标准

能一眼判断矩阵是否对称；能独立完成对称矩阵的正交对角化（含重特征值时在特征空间内做 Gram–Schmidt）；能写出谱分解 $A=\sum {\lambda }_j{\mathbf{u}}_j{\mathbf{u}}_j^T$，并说出定理 1–3 各自讲了什么。本节习题见原书 7.1 EXERCISES。

---

7.2 二次型

到目前为止，本书关注的都是线性方程；但应用中同样常见的是平方和及其推广。这类表达式出现在工程（设计准则与优化）、信号处理（输出噪声功率）、物理（势能与动能）、微分几何（曲面的法曲率）、经济（效用函数）和统计（置信椭球）中。

定义　${\mathbb{R}}^n$ 上的二次型是一个函数 $Q$，其在 $\mathbf{x}\in {\mathbb{R}}^n$ 处的值可写成

$$Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$$

其中 $A$ 是 $n\times n$ 对称矩阵，称为该二次型的矩阵。最简单的非零例子是 $Q(\mathbf{x})={\mathbf{x}}^{T}I\mathbf{x}=\Vert \mathbf{x}{\Vert }^2$。

例 1　设 $\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，对下列矩阵计算 ${\mathbf{x}}^{T}A\mathbf{x}$：

$$\text{a. }A=\left[\begin{array}{cc}4& 0\\ 0& 3\end{array}\right]\text{b. }A=\left[\begin{array}{cc}3& -2\\ -2& 7\end{array}\right]$$

解

a. 对角矩阵不产生交叉项：

$${\mathbf{x}}^{T}A\mathbf{x}=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}4& 0\\ 0& 3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{c}4x_1\\ 3x_2\end{array}\right]=4x_1^2+3x_2^2$$

b. 非对角元 $-2$（成对出现）会产生交叉项：

$$\begin{array}{rl}{\mathbf{x}}^{T}A\mathbf{x}& =\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}3& -2\\ -2& 7\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{c}3x_1-2x_2\\ -2x_1+7x_2\end{array}\right]\\ & =x_1(3x_1-2x_2)+x_2(-2x_1+7x_2)\\ & =3x_1^2-2x_1{x}_2-2x_2{x}_1+7x_2^2\\ & =3x_1^2-4x_1{x}_2+7x_2^2\end{array}$$

关键观察：交叉项 $-4x_1{x}_2$ 来自矩阵中成对的非对角元 $-2$；对角矩阵对应的二次型没有交叉项。

例 2　对 $\mathbf{x}\in {\mathbb{R}}^3$，设 $Q(\mathbf{x})=5x_1^2+3x_2^2+2x_3^2-x_1{x}_2+8x_2{x}_3$。把这个二次型写成 ${\mathbf{x}}^{T}A\mathbf{x}$。

解　平方项系数 $5,3,2$ 放在 $A$ 的对角线上；为使 $A$ 对称，交叉项系数必须对半分到 $(i,j)$ 与 $(j,i)$ 两个位置。$x_1{x}_3$ 的系数为 0。容易验证：

$$Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}=\left[\begin{array}{ccc}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{ccc}5& -1/2& 0\\ -1/2& 3& 4\\ 0& 4& 2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

例 3　设 $Q(\mathbf{x})=x_1^2-8x_1{x}_2-5x_2^2$。计算 $\mathbf{x}=\left[\begin{array}{c}-3\\ 1\end{array}\right],\left[\begin{array}{c}2\\ -2\end{array}\right],\left[\begin{array}{c}1\\ -3\end{array}\right]$ 处的 $Q(\mathbf{x})$。

解

$$\begin{array}{rl}Q(-3,1)& =(-3{)}^2-8(-3)(1)-5(1{)}^2=28\\ Q(2,-2)& =(2{)}^2-8(2)(-2)-5(-2{)}^2=16\\ Q(1,-3)& =(1{)}^2-8(1)(-3)-5(-3{)}^2=-20\end{array}$$

注意 $Q$ 既能取正值也能取负值——这正是后面”不定型”概念的直观来源。

二次型中的变量代换

交叉项常常碍事，幸运的是可以通过变量代换消掉。若 $\mathbf{x}$ 是 ${\mathbb{R}}^n$ 中的变量向量，变量代换指形如

$$\mathbf{x}=P\mathbf{y},\text{等价地}\mathbf{y}=P^{-1}\mathbf{x}\text{\hspace{1em}(1)}$$

的方程，其中 $P$ 可逆，$\mathbf{y}$ 是新的变量向量（$\mathbf{y}$ 是 $\mathbf{x}$ 关于 $P$ 的列所确定的基的坐标向量）。代入二次型：

$${\mathbf{x}}^{T}A\mathbf{x}=(P\mathbf{y}{)}^{T}A(P\mathbf{y})={\mathbf{y}}^T{P}^{T}AP\mathbf{y}={\mathbf{y}}^T(P^{T}AP)\mathbf{y}\text{\hspace{1em}(2)}$$

新矩阵是 $P^{T}AP$。由于 $A$ 对称，定理 2 保证存在正交矩阵 $P$ 使 $P^{T}AP=D$ 为对角矩阵，于是二次型变成没有交叉项的 ${\mathbf{y}}^{T}D\mathbf{y}$。

例 4　做变量代换，把例 3 的二次型变成没有交叉项的二次型。

解　例 3 二次型的矩阵为

$$A=\left[\begin{array}{cc}1& -4\\ -4& -5\end{array}\right]$$

第一步是正交对角化 $A$。其特征值为 $\lambda =3$ 与 $\lambda =-7$，相应的单位特征向量为

$$\lambda =3:\left[\begin{array}{c}2/\sqrt{5}\\ -1/\sqrt{5}\end{array}\right];\lambda =-7:\left[\begin{array}{c}1/\sqrt{5}\\ 2/\sqrt{5}\end{array}\right]$$

它们对应不同特征值，故自动正交，构成 ${\mathbb{R}}^2$ 的标准正交基。令

$$P=\left[\begin{array}{cc}2/\sqrt{5}& 1/\sqrt{5}\\ -1/\sqrt{5}& 2/\sqrt{5}\end{array}\right],D=\left[\begin{array}{cc}3& 0\\ 0& -7\end{array}\right]$$

则 $A=PD{P}^{-1}$，且 $D=P^{-1}AP=P^{T}AP$。取变量代换 $\mathbf{x}=P\mathbf{y}$，其中 $\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$。于是

$$x_1^2-8x_1{x}_2-5x_2^2={\mathbf{x}}^{T}A\mathbf{x}=(P\mathbf{y}{)}^{T}A(P\mathbf{y})={\mathbf{y}}^T{P}^{T}AP\mathbf{y}={\mathbf{y}}^{T}D\mathbf{y}=3y_1^2-7y_2^2$$

为体会两个二次型”相等”的含义，用新二次型重新计算例 3 中 $\mathbf{x}=(2,-2)$ 处的值。由 $\mathbf{x}=P\mathbf{y}$ 得 $\mathbf{y}=P^{-1}\mathbf{x}=P^T\mathbf{x}$，故

$$\mathbf{y}=\left[\begin{array}{cc}2/\sqrt{5}& -1/\sqrt{5}\\ 1/\sqrt{5}& 2/\sqrt{5}\end{array}\right]\left[\begin{array}{c}2\\ -2\end{array}\right]=\left[\begin{array}{c}6/\sqrt{5}\\ -2/\sqrt{5}\end{array}\right]$$

从而

$$3y_1^2-7y_2^2=3(6/\sqrt{5}{)}^2-7(-2/\sqrt{5}{)}^2=\frac{108-28}{5}=16$$

与例 3 中 $Q(2,-2)=16$ 完全一致——变量代换不改变 $Q$ 的值，只是换了一组坐标。

图 7-8：${\mathbf{x}}^{T}A\mathbf{x}$ 中的变量代换——同一函数在两套坐标系下的表达

例 4 阐明了下面的定理：

定理 4（主轴定理）　设 $A$ 为 $n\times n$ 对称矩阵，则存在正交变量代换 $\mathbf{x}=P\mathbf{y}$，把二次型 ${\mathbf{x}}^{T}A\mathbf{x}$ 化为没有交叉项的二次型 ${\mathbf{y}}^{T}D\mathbf{y}$。

定理中 $P$ 的列称为二次型 ${\mathbf{x}}^{T}A\mathbf{x}$ 的主轴；$\mathbf{y}$ 是 $\mathbf{x}$ 关于这组主轴（${\mathbb{R}}^n$ 的一组标准正交基）的坐标向量。

主轴的几何观点

设 $Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$，$A$ 为可逆的 $2\times 2$ 对称矩阵，$c$ 为常数。可以证明，满足

$${\mathbf{x}}^{T}A\mathbf{x}=c\text{\hspace{1em}(3)}$$

的全体 $\mathbf{x}\in {\mathbb{R}}^2$ 的图形，只能是一个椭圆（或圆）、一条双曲线、两条相交直线、一个点，或者根本不存在。若 $A$ 是对角矩阵，图形处于标准位置：

图 7-9：标准位置的椭圆与双曲线

若 $A$ 不是对角矩阵，图形就被旋转出了标准位置：

图 7-10：非标准位置的椭圆与双曲线

求主轴（由 $A$ 的特征向量确定）本质上就是找一组新坐标系，使图形在新坐标下回到标准位置。图 7-10(b) 的双曲线正是例 4 中方程 ${\mathbf{x}}^{T}A\mathbf{x}=16$ 的图形：新 $y_1$ 轴的正方向是 $P$ 的第一列，新 $y_2$ 轴的正方向是 $P$ 的第二列。

例 5　图 7-10(a) 的椭圆是方程 $5x_1^2-4x_1{x}_2+5x_2^2=48$ 的图形。求一个变量代换，消去方程中的交叉项。

解　二次型的矩阵为 $A=\left[\begin{array}{cc}5& -2\\ -2& 5\end{array}\right]$，特征值为 3 和 7，相应的单位特征向量为

$${\mathbf{u}}_1=\left[\begin{array}{c}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right],{\mathbf{u}}_2=\left[\begin{array}{c}-1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$$

令 $P=\left[\begin{array}{cc}{\mathbf{u}}_1& {\mathbf{u}}_2\end{array}\right]=\left[\begin{array}{cc}1/\sqrt{2}& -1/\sqrt{2}\\ 1/\sqrt{2}& 1/\sqrt{2}\end{array}\right]$，则 $P$ 正交对角化 $A$，变量代换 $\mathbf{x}=P\mathbf{y}$ 把方程化为 $3y_1^2+7y_2^2=48$——一个标准位置的椭圆。新坐标轴见图 7-10(a)。

二次型的分类

$Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$ 是定义在 ${\mathbb{R}}^n$ 上的实值函数。图 7-11 到图 7-14 展示了四个定义在 ${\mathbb{R}}^2$ 上的二次型的图像：对每个点 $(x_1,x_2)$，图像画出点 $(x_1,x_2,z)$，其中 $z=Q(\mathbf{x})$。

图 7-11：(a) 正定型——除原点外 $Q(\mathbf{x})$ 处处为正，水平截面是椭圆

图 7-12：(b) $z=3x_1^2$——半正定型（抛物柱面，某些非零点处 $Q=0$）

图 7-13：(c) $z=3x_1^2-7x_2^2$——不定型（马鞍面，水平截面是双曲线）

图 7-14：(d) $z=-3x_1^2-7x_2^2$——负定型

由此引出定义：

定义　二次型 $Q$ 是：

a. 正定的，若对所有 $\mathbf{x}\ne 0$ 有 $Q(\mathbf{x})>0$； b. 负定的，若对所有 $\mathbf{x}\ne 0$ 有 $Q(\mathbf{x})<0$； c. 不定的，若 $Q(\mathbf{x})$ 既能取正值也能取负值。

此外，若对所有 $\mathbf{x}$ 有 $Q(\mathbf{x})\ge 0$，称 $Q$ 为半正定的；若 $Q(\mathbf{x})\le 0$ 对所有 $\mathbf{x}$ 成立，称 $Q$ 为半负定的。图 7-11(a)(b) 都是半正定的，但 (a) 更准确地说是正定的。

定理 5 用特征值刻画了这些类别——这是本章最实用的判据之一。

定理 5（二次型与特征值）　设 $A$ 为 $n\times n$ 对称矩阵，则二次型 ${\mathbf{x}}^{T}A\mathbf{x}$：

a. 正定 $⟺$ $A$ 的特征值全为正； b. 负定 $⟺$ $A$ 的特征值全为负； c. 不定 $⟺$ $A$ 既有正特征值又有负特征值。

图 7-15：正定型——特征值全为正

图 7-16：负定型——特征值全为负

图 7-17：不定型——正负特征值并存

证明　由主轴定理，存在正交代换 $\mathbf{x}=P\mathbf{y}$ 使

$$Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}={\mathbf{y}}^{T}D\mathbf{y}={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2\text{\hspace{1em}(4)}$$

其中 ${\lambda }_1,\dots ,{\lambda }_n$ 是 $A$ 的特征值。因为 $P$ 可逆，非零的 $\mathbf{x}$ 与非零的 $\mathbf{y}$ 一一对应，所以 $Q(\mathbf{x})$（$\mathbf{x}\ne 0$）取值的全体与 (4) 右边的表达式相同，而后者显然完全由特征值的符号决定。$■$

例 6　$Q(\mathbf{x})=3x_1^2+2x_2^2+x_3^2+4x_1{x}_2+4x_2{x}_3$ 是正定的吗？

解　满眼都是加号，“看起来”应该是正定的。但二次型的矩阵是

$$A=\left[\begin{array}{ccc}3& 2& 0\\ 2& 2& 2\\ 0& 2& 1\end{array}\right]$$

其特征值为 5、2 和 $-1$。所以 $Q$ 是不定二次型，不是正定的。

Warning

例 6 是最常见的陷阱：不能靠系数的正负判断正定性，交叉项会在某些方向上”吃掉”平方项。唯一可靠的判据是特征值的符号（定理 5）。

二次型的分类通常会转嫁给它的矩阵：若 ${\mathbf{x}}^{T}A\mathbf{x}$ 正定，就称对称矩阵 $A$ 为正定矩阵，其余术语类推。

数值注记

判断对称矩阵 $A$ 是否正定的一个快速方法是尝试将其分解为 $A=R^{T}R$（$R$ 是对角元全为正的上三角矩阵）。这样的 Cholesky 分解存在当且仅当 $A$ 正定。

随堂练习（7.2）

练习　用特征值描述半正定矩阵 $A$。

解　做正交变量代换 $\mathbf{x}=P\mathbf{y}$，并写成

$${\mathbf{x}}^{T}A\mathbf{x}={\mathbf{y}}^{T}D\mathbf{y}={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2$$

图 7-18：半正定型——特征值非负，曲面不低于水平面

若某个特征值 ${\lambda }_i<0$，取 $\mathbf{y}={\mathbf{e}}_i$（$I_n$ 的第 $i$ 列）对应的 $\mathbf{x}$，则 ${\mathbf{x}}^{T}A\mathbf{x}={\lambda }_i<0$，与半正定矛盾。所以半正定二次型的特征值必全为非负。反之，若特征值全为非负，上面的展开式表明 ${\mathbf{x}}^{T}A\mathbf{x}\ge 0$ 恒成立，即半正定。结论：$A$ 半正定 $⟺$ $A$ 的特征值全部 $\ge 0$。

通关标准

会”双向翻译”：给定二次型写出对称矩阵（交叉项系数对半分），给定对称矩阵展开二次型；会用正交变量代换消去交叉项；会用特征值符号判断正定/负定/不定。本节习题见原书 7.2 EXERCISES。

---

7.3 约束优化

工程师、经济学家、科学家常常需要在某个指定集合上求二次型 $Q(\mathbf{x})$ 的最大或最小值。典型做法是把问题安排成：$\mathbf{x}$ 在单位向量集合上变化。”$\mathbf{x}$ 是单位向量”有几种等价说法：

$$\Vert \mathbf{x}\Vert =1,\Vert \mathbf{x}{\Vert }^2=1,{\mathbf{x}}^T\mathbf{x}=1$$

以及展开形式

$$x_1^2+x_2^2+\cdots +x_n^2=1\text{\hspace{1em}(1)}$$

当二次型没有交叉项时，约束最值很好求。

例 1　求 $Q(\mathbf{x})=9x_1^2+4x_2^2+3x_3^2$ 在约束 ${\mathbf{x}}^T\mathbf{x}=1$ 下的最大值与最小值。

解　由于 $x_2^2,x_3^2\ge 0$，注意

$$4x_2^2\le 9x_2^2\text{且}3x_3^2\le 9x_3^2$$

于是当 $x_1^2+x_2^2+x_3^2=1$ 时：

$$Q(\mathbf{x})=9x_1^2+4x_2^2+3x_3^2\le 9x_1^2+9x_2^2+9x_3^2=9(x_1^2+x_2^2+x_3^2)=9$$

所以最大值不超过 9；且 $\mathbf{x}=(1,0,0)$ 时 $Q(\mathbf{x})=9$。故最大值为 9。类似地，

$$Q(\mathbf{x})\ge 3x_1^2+3x_2^2+3x_3^2=3(x_1^2+x_2^2+x_3^2)=3$$

且 $x_3=1$（其余为 0）时 $Q=3$，故最小值为 3。

例 1 中 $Q$ 的矩阵特征值恰为 9、4、3——最大、最小特征值正好等于约束最大值与最小值。这对任意二次型都成立。

例 2　设 $A=\left[\begin{array}{cc}3& 0\\ 0& 7\end{array}\right]$，$Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$。图 7-19 画出 $Q$ 的图像；图 7-20 只显示圆柱面 $x_1^2+x_2^2=1$ 内部的部分——圆柱面与曲面的交线上的点满足 $z=Q(x_1,x_2)$ 且 $x_1^2+x_2^2=1$，这些点的”高度”就是 $Q$ 的约束值。几何上，约束优化问题就是找交线上最高与最低的点。

图 7-19：$z=3x_1^2+7x_2^2$ 的图像

图 7-20：$z=3x_1^2+7x_2^2$ 与圆柱面 $x_1^2+x_2^2=1$ 的交线

交线上最高的两点比 $x_1{x}_2$ 平面高 7 个单位，出现在 $x_1=0,x_2=\pm 1$ 处，对应特征值 7 及特征向量 $(0,\pm 1)$；最低的两点高 3 个单位，对应特征值 3 及特征向量 $(\pm 1,0)$。交线上每点的 $z$ 坐标介于 3 与 7 之间，而且 3 到 7 之间的每个值 $t$ 都会被某个单位向量取到——即 $\{{\mathbf{x}}^{T}A\mathbf{x}:\Vert \mathbf{x}\Vert =1\}$ 是闭区间 $[3,7]$。

一般地，对任意对称矩阵 $A$，$\{{\mathbf{x}}^{T}A\mathbf{x}:\Vert \mathbf{x}\Vert =1\}$ 是实轴上的闭区间。记其左右端点为

$$m=\min \{{\mathbf{x}}^{T}A\mathbf{x}:\Vert \mathbf{x}\Vert =1\},M=\max \{{\mathbf{x}}^{T}A\mathbf{x}:\Vert \mathbf{x}\Vert =1\}\text{\hspace{1em}(2)}$$

可以证明 $A$ 的每个特征值 $\lambda$ 都满足 $m\le \lambda \le M$。更强的结论是：

定理 6　设 $A$ 对称，$m,M$ 如 (2) 定义。则 $M$ 是 $A$ 的最大特征值 ${\lambda }_1$，$m$ 是最小特征值。当 $\mathbf{x}$ 是属于 $M$ 的单位特征向量 ${\mathbf{u}}_1$ 时，${\mathbf{x}}^{T}A\mathbf{x}=M$；当 $\mathbf{x}$ 是属于 $m$ 的单位特征向量时，${\mathbf{x}}^{T}A\mathbf{x}=m$。

证明　正交对角化 $A=PD{P}^{-1}$。当 $\mathbf{x}=P\mathbf{y}$ 时

$${\mathbf{x}}^{T}A\mathbf{x}={\mathbf{y}}^{T}D\mathbf{y}\text{\hspace{1em}(3)}$$

又因为 $P^{T}P=I$，有 $\Vert P\mathbf{y}{\Vert }^2={\mathbf{y}}^T{P}^{T}P\mathbf{y}={\mathbf{y}}^T\mathbf{y}=\Vert \mathbf{y}{\Vert }^2$，即正交代换保持长度：$\Vert \mathbf{x}\Vert =1⟺\Vert \mathbf{y}\Vert =1$。于是 ${\mathbf{x}}^{T}A\mathbf{x}$ 与 ${\mathbf{y}}^{T}D\mathbf{y}$ 在单位向量上取值相同。

不妨设 $A$ 是 $3\times 3$，特征值 $a\ge b\ge c$，并调整 $P$ 的列的顺序使 $P=\left[\begin{array}{ccc}{\mathbf{u}}_1& {\mathbf{u}}_2& {\mathbf{u}}_3\end{array}\right]$，$D=\mathrm{diag}(a,b,c)$。对任意单位向量 $\mathbf{y}=(y_1,y_2,y_3)$，由 $a$ 最大得 $b{y}_2^2\le a{y}_2^2$、$c{y}_3^2\le a{y}_3^2$，故

$${\mathbf{y}}^{T}D\mathbf{y}=a{y}_1^2+b{y}_2^2+c{y}_3^2\le a(y_1^2+y_2^2+y_3^2)=a\Vert \mathbf{y}{\Vert }^2=a$$

所以 $M\le a$；而 $\mathbf{y}={\mathbf{e}}_1=(1,0,0)$ 时 ${\mathbf{y}}^{T}D\mathbf{y}=a$，故 $M=a$。对应的 $\mathbf{x}=P{\mathbf{e}}_1={\mathbf{u}}_1$ 正是属于 $a$ 的单位特征向量。同理 $m=c$，在 $\mathbf{x}={\mathbf{u}}_3$ 处取到。$■$

例 3　设 $A=\left[\begin{array}{ccc}3& 2& 1\\ 2& 3& 1\\ 1& 1& 4\end{array}\right]$。求二次型 ${\mathbf{x}}^{T}A\mathbf{x}$ 在约束 ${\mathbf{x}}^T\mathbf{x}=1$ 下的最大值，并求取到该最大值的单位向量。

解　由定理 6，所求最大值是 $A$ 的最大特征值。特征方程为

$$0=-{\lambda }^3+10{\lambda }^2-27\lambda +18=-(\lambda -6)(\lambda -3)(\lambda -1)$$

最大特征值为 6。约束最大值在 $\lambda =6$ 的单位特征向量处取到：解 $(A-6I)\mathbf{x}=0$ 得特征向量 $\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$，单位化得

$${\mathbf{u}}_1=\left[\begin{array}{c}1/\sqrt{3}\\ 1/\sqrt{3}\\ 1/\sqrt{3}\end{array}\right]$$

第二大特征值：再加一个约束

定理 7　设 $A,{\lambda }_1,{\mathbf{u}}_1$ 如定理 6。则 ${\mathbf{x}}^{T}A\mathbf{x}$ 在约束

$${\mathbf{x}}^T\mathbf{x}=1,{\mathbf{x}}^T{\mathbf{u}}_1=0$$

下的最大值是第二大特征值 ${\lambda }_2$，且在属于 ${\lambda }_2$ 的特征向量 ${\mathbf{u}}_2$ 处取到。

例 4　求 $9x_1^2+4x_2^2+3x_3^2$ 在约束 ${\mathbf{x}}^T\mathbf{x}=1$ 与 ${\mathbf{x}}^T{\mathbf{u}}_1=0$（其中 ${\mathbf{u}}_1=(1,0,0)$ 是最大特征值 $\lambda =9$ 的单位特征向量）下的最大值。

解　约束 ${\mathbf{x}}^T{\mathbf{u}}_1=0$ 就是 $x_1=0$。此时 $x_2^2+x_3^2=1$，且

$$9x_1^2+4x_2^2+3x_3^2=4x_2^2+3x_3^2\le 4x_2^2+4x_3^2=4(x_2^2+x_3^2)=4$$

故最大值不超过 4，且在 $\mathbf{x}=(0,1,0)$ 处取到——它正是第二大特征值的特征向量。

例 5　设 $A$ 为例 3 的矩阵，${\mathbf{u}}_1$ 是最大特征值的单位特征向量。求 ${\mathbf{x}}^{T}A\mathbf{x}$ 在条件 ${\mathbf{x}}^T\mathbf{x}=1$ 与 ${\mathbf{x}}^T{\mathbf{u}}_1=0$ 下的最大值。

解　由例 3，第二大特征值为 $\lambda =3$。解 $(A-3I)\mathbf{x}=0$ 并单位化：

$${\mathbf{u}}_2=\left[\begin{array}{c}1/\sqrt{6}\\ 1/\sqrt{6}\\ -2/\sqrt{6}\end{array}\right]$$

${\mathbf{u}}_2$ 与 ${\mathbf{u}}_1$ 对应不同特征值，自动正交。故约束最大值为 3，在 $\mathbf{x}={\mathbf{u}}_2$ 处取到。

定理 8　设 $A$ 为对称 $n\times n$ 矩阵，$A=PD{P}^{-1}$ 为其正交对角化，其中 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$，$P$ 的列是相应的单位特征向量 ${\mathbf{u}}_1,\dots ,{\mathbf{u}}_n$。则对 $k=2,\dots ,n$，${\mathbf{x}}^{T}A\mathbf{x}$ 在约束

$${\mathbf{x}}^T\mathbf{x}=1,{\mathbf{x}}^T{\mathbf{u}}_1=0,\dots ,{\mathbf{x}}^T{\mathbf{u}}_{k-1}=0$$

下的最大值是特征值 ${\lambda }_k$，且在 $\mathbf{x}={\mathbf{u}}_k$ 处取到。

定理 8 逐层”剥”出所有特征值，将在 7.4、7.5 节派上大用场。下面这个应用只需定理 6。

例 6（公共工程计划）　某县计划下一年修缮 $x$ 百英里的道路桥梁，改造 $y$ 百英亩的公园休闲区。若同时推进两个项目更划算，$x,y$ 可能满足约束

$$4x^2+9y^2\le 36$$

阴影可行集（图 7-21、7-22）中的每个点 $(x,y)$ 都是一个可能的年度工程计划；约束曲线 $4x^2+9y^2=36$ 上的点用满了全部可用资源。

图 7-21：约束 $4x^2+9y^2\le 36$ 下的可行计划集

图 7-22：公共工程计划——边界上的点用尽全部资源

为衡量居民对各种计划 $(x,y)$ 的评价（效用），经济学家常用函数 $q(x,y)=xy$。使 $q(x,y)$ 等于常数的点集称为无差异曲线（图 7-23 中的三条曲线）：同一条曲线上居民对各种方案的满意程度相同。求使效用函数 $q$ 最大的公共工程计划。

图 7-23：最优公共工程计划是 $(2.1,1.4)$——约束曲线与无差异曲线 $q(x,y)=3$ 相切之处

解　约束 $4x^2+9y^2=36$ 描述的不是单位向量集合，但换元可以解决。把它改写为

$${\left(\frac{x}{3}\right)}^2+{\left(\frac{y}{2}\right)}^2=1$$

并定义 $x_1=x/3$，$x_2=y/2$，即 $x=3x_1$，$y=2x_2$。约束变为 $x_1^2+x_2^2=1$，效用函数变为 $q(3x_1,2x_2)=6x_1{x}_2$。令 $\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，问题变成：在 ${\mathbf{x}}^T\mathbf{x}=1$ 下最大化 $Q(\mathbf{x})=6x_1{x}_2$。注意 $Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$，其中

$$A=\left[\begin{array}{cc}0& 3\\ 3& 0\end{array}\right]$$

$A$ 的特征值为 $\pm 3$：$\lambda =3$ 对应 $\left[\begin{array}{c}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$，$\lambda =-3$ 对应 $\left[\begin{array}{c}-1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$。由定理 6，$Q$ 的最大值是 3，在 $x_1=x_2=1/\sqrt{2}$ 处取到。

换回原变量：最优计划是 $x=3/\sqrt{2}\approx 2.1$ 百英里道路桥梁，$y=\sqrt{2}\approx 1.4$ 百英亩公园。它正是约束曲线与无差异曲线 $q(x,y)=3$ 相切的点——效用更高的无差异曲线根本碰不到约束曲线（见图 7-23）。

随堂练习（7.3）

图 7-24：随堂练习中 $Q(\mathbf{x})=3x_1^2+3x_2^2+2x_1{x}_2$ 的图像——开口向上的椭圆抛物面，特征值 4 和 2 全为正

练习 1　设 $Q(\mathbf{x})=3x_1^2+3x_2^2+2x_1{x}_2$。求一个变量代换把 $Q$ 化为无交叉项的二次型，并写出新二次型。

解　二次型的矩阵为 $A=\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right]$，特征值为 4 和 2，相应的单位特征向量为 $\left[\begin{array}{c}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$ 与 $\left[\begin{array}{c}-1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$。所以取

$$P=\left[\begin{array}{cc}1/\sqrt{2}& -1/\sqrt{2}\\ 1/\sqrt{2}& 1/\sqrt{2}\end{array}\right],\mathbf{x}=P\mathbf{y}$$

新二次型为 ${\mathbf{y}}^{T}D\mathbf{y}=4y_1^2+2y_2^2$。

Warning

本题最常见的错误是忘记把特征向量单位化就直接放进 $P$——那样 $P$ 不是正交矩阵，$P^{T}AP$ 不会等于 $D$。

练习 2　接练习 1，求 $Q(\mathbf{x})$ 在约束 ${\mathbf{x}}^T\mathbf{x}=1$ 下的最大值及取到最大值的单位向量。

解　最大值是最大特征值 4，在单位特征向量 $\left[\begin{array}{c}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$ 处取到。常见的错误答案是 $\left[\begin{array}{c}1\\ 0\end{array}\right]$——那个向量最大化的是新二次型 ${\mathbf{y}}^{T}D\mathbf{y}$，而不是原来的 $Q(\mathbf{x})$；原问题的最大值点必须回到 $\mathbf{x}$ 坐标中去找。

通关标准

会用定理 6：约束在 $\Vert \mathbf{x}\Vert =1$ 上的最大/最小值 = 最大/最小特征值，且在相应单位特征向量处取到；理解”再多正交一个方向就轮到第二大特征值”（定理 7、8）；能把非单位球约束（如椭圆）换元成单位球约束。本节习题见原书 7.3 EXERCISES。

---

7.4 奇异值分解

第 5.3 与 7.1 节的对角化定理在很多应用中发挥作用，但遗憾的是并非所有矩阵都能分解为 $A=PD{P}^{-1}$。然而对任意 $m\times n$ 矩阵，形如 $A=QD{P}^{-1}$ 的分解总是存在！其中最特殊、最有用的一个叫做奇异值分解（SVD）——它是应用线性代数中最重要的矩阵分解之一。

SVD 的出发点是普通对角化的一个可以推广到长方形矩阵的性质：对称矩阵 $A$ 的特征值的绝对值衡量 $A$ 对某些向量（特征向量）的拉伸/压缩量。若 $A\mathbf{x}=\lambda \mathbf{x}$ 且 $\Vert \mathbf{x}\Vert =1$，则

$$\Vert A\mathbf{x}\Vert =\Vert \lambda \mathbf{x}\Vert =|\lambda |\Vert \mathbf{x}\Vert =|\lambda |\text{\hspace{1em}(1)}$$

若 ${\lambda }_1$ 是绝对值最大的特征值，相应的单位特征向量 ${\mathbf{v}}_1$ 指出 $A$ 拉伸效果最大的方向：$\mathbf{x}={\mathbf{v}}_1$ 时 $\Vert A\mathbf{x}\Vert$ 达到最大，且 $\Vert A{\mathbf{v}}_1\Vert =|{\lambda }_1|$。

例 1　设 $A=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$，线性变换 $\mathbf{x}\mapsto A\mathbf{x}$ 把 ${\mathbb{R}}^3$ 中的单位球面映成 ${\mathbb{R}}^2$ 中的一个椭圆（图 7-25）。求使 $\Vert A\mathbf{x}\Vert$ 最大的单位向量 $\mathbf{x}$，并计算这个最大长度。

图 7-25：从 ${\mathbb{R}}^3$ 到 ${\mathbb{R}}^2$ 的变换把单位球面压成椭圆

解　$\Vert A\mathbf{x}{\Vert }^2$ 与 $\Vert A\mathbf{x}\Vert$ 在同一个 $\mathbf{x}$ 处最大，而前者更好研究：

$$\Vert A\mathbf{x}{\Vert }^2=(A\mathbf{x}{)}^T(A\mathbf{x})={\mathbf{x}}^T{A}^{T}A\mathbf{x}={\mathbf{x}}^T(A^{T}A)\mathbf{x}$$

$A^{T}A$ 是对称矩阵（$(A^{T}A{)}^T=A^{T}A$）。于是问题变成：在约束 $\Vert \mathbf{x}\Vert =1$ 下最大化二次型 ${\mathbf{x}}^T(A^{T}A)\mathbf{x}$。由 7.3 节定理 6，最大值是 $A^{T}A$ 的最大特征值 ${\lambda }_1$，且在相应的单位特征向量处取到。

对本例的 $A$：

$$A^{T}A=\left[\begin{array}{cc}4& 8\\ 11& 7\\ 14& -2\end{array}\right]\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]=\left[\begin{array}{ccc}80& 100& 40\\ 100& 170& 140\\ 40& 140& 200\end{array}\right]$$

$A^{T}A$ 的特征值为 ${\lambda }_1=360$，${\lambda }_2=90$，${\lambda }_3=0$，相应的单位特征向量分别为

$${\mathbf{v}}_1=\left[\begin{array}{c}1/3\\ 2/3\\ 2/3\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}-2/3\\ -1/3\\ 2/3\end{array}\right],{\mathbf{v}}_3=\left[\begin{array}{c}2/3\\ -2/3\\ 1/3\end{array}\right]$$

所以 $\Vert A\mathbf{x}{\Vert }^2$ 的最大值是 360，在 $\mathbf{x}={\mathbf{v}}_1$ 处取到。$A{\mathbf{v}}_1$ 是图 7-25 椭圆上离原点最远的点：

$$A{\mathbf{v}}_1=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}1/3\\ 2/3\\ 2/3\end{array}\right]=\left[\begin{array}{c}18\\ 6\end{array}\right]$$

$\Vert \mathbf{x}\Vert =1$ 时 $\Vert A\mathbf{x}\Vert$ 的最大值为 $\Vert A{\mathbf{v}}_1\Vert =\sqrt{360}=6\sqrt{10}$。

$m\times n$ 矩阵的奇异值

设 $A$ 为 $m\times n$ 矩阵，则 $A^{T}A$ 对称、可正交对角化。设 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n\}$ 是由 $A^{T}A$ 的特征向量组成的 ${\mathbb{R}}^n$ 的标准正交基，${\lambda }_1,\dots ,{\lambda }_n$ 是相应的特征值。对 $1\le i\le n$：

$$\Vert A{\mathbf{v}}_i{\Vert }^2=(A{\mathbf{v}}_i{)}^T(A{\mathbf{v}}_i)={\mathbf{v}}_i^T{A}^{T}A{\mathbf{v}}_i={\mathbf{v}}_i^T({\lambda }_i{\mathbf{v}}_i)={\lambda }_i\text{\hspace{1em}(2)}$$

所以 $A^{T}A$ 的特征值全都非负。不妨重排使 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$。

定义　$A$ 的奇异值是 $A^{T}A$ 的特征值的平方根，记作 ${\sigma }_1,\dots ,{\sigma }_n$，按递减顺序排列：${\sigma }_i=\sqrt{{\lambda }_i}$。由 (2)，奇异值正是向量 $A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_n$ 的长度。

例 2　设 $A$ 为例 1 的矩阵。$A^{T}A$ 的特征值为 360、90、0，故奇异值为

$${\sigma }_1=\sqrt{360}=6\sqrt{10},{\sigma }_2=\sqrt{90}=3\sqrt{10},{\sigma }_3=0$$

图 7-26：$A{\mathbf{v}}_1$ 落在椭圆长轴上，$A{\mathbf{v}}_2$ 落在短轴上

第一个奇异值是 $\Vert A\mathbf{x}\Vert$ 在全体单位向量上的最大值（在 ${\mathbf{v}}_1$ 处取到）；由 7.3 节定理 7，第二个奇异值是 $\Vert A\mathbf{x}\Vert$ 在与 ${\mathbf{v}}_1$ 正交的单位向量上的最大值（在 ${\mathbf{v}}_2$ 处取到）。对例 1 的 ${\mathbf{v}}_2$：

$$A{\mathbf{v}}_2=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}-2/3\\ -1/3\\ 2/3\end{array}\right]=\left[\begin{array}{c}3\\ -9\end{array}\right]$$

这一点在椭圆的短轴上，正如 $A{\mathbf{v}}_1$ 在长轴上——前两个奇异值就是椭圆长、短半轴的长度。$A{\mathbf{v}}_1$ 与 $A{\mathbf{v}}_2$ 互相垂直并非巧合：

定理 9　设 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n\}$ 是由 $A^{T}A$ 的特征向量组成的 ${\mathbb{R}}^n$ 的标准正交基，特征值按 ${\lambda }_1\ge \cdots \ge {\lambda }_n$ 排列，且 $A$ 有 $r$ 个非零奇异值。则 $\{A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_r\}$ 是 $\mathrm{Col}A$ 的正交基，且 $\mathrm{rank}A=r$。

证明　因为 $i\ne j$ 时 ${\mathbf{v}}_i$ 与 ${\lambda }_j{\mathbf{v}}_j$ 正交：

$$(A{\mathbf{v}}_i{)}^T(A{\mathbf{v}}_j)={\mathbf{v}}_i^T{A}^{T}A{\mathbf{v}}_j={\mathbf{v}}_i^T({\lambda }_j{\mathbf{v}}_j)=0$$

所以 $\{A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_n\}$ 是正交组。又这些向量的长度就是奇异值，而只有 $r$ 个非零奇异值，故 $A{\mathbf{v}}_i\ne 0⟺1\le i\le r$，即 $A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_r$ 线性无关且都在 $\mathrm{Col}A$ 中。最后，对 $\mathrm{Col}A$ 中任意 $\mathbf{y}=A\mathbf{x}$，把 $\mathbf{x}=c_1{\mathbf{v}}_1+\cdots +c_n{\mathbf{v}}_n$ 代入：

$$\mathbf{y}=A\mathbf{x}=c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_r+c_{r+1}A{\mathbf{v}}_{r+1}+\cdots +c_{n}A{\mathbf{v}}_n=c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_r$$

（后 $n-r$ 项全为零）。故 $\{A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_r\}$ 张成 $\mathrm{Col}A$，是它的（正交）基，于是 $\mathrm{rank}A=\dim \mathrm{Col}A=r$。$■$

数值注记

矩阵的秩对元素的小扰动可能非常敏感：直接对 $A$ 做行化简数主元列，舍入误差常常制造出”满秩”的假象。实践中估计大矩阵秩的最可靠方法是数非零奇异值的个数——极小的非零奇异值在实践中按零处理。

奇异值分解

分解中需要一个 $m\times n$ 的”对角”矩阵 $\Sigma$：

$$\Sigma =\left[\begin{array}{cc}D& 0\\ 0& 0\end{array}\right]\leftarrow m-r\text{ 行},\uparrow n-r\text{ 列}\text{\hspace{1em}(3)}$$

其中 $D$ 是 $r\times r$ 对角矩阵，$r$ 不超过 $m,n$ 中较小者（若 $r=m$ 或 $r=n$，某些零块自然不出现）。

定理（奇异值分解定理）　设 $A$ 是秩为 $r$ 的 $m\times n$ 矩阵，则存在 (3) 中的 $m\times n$ 矩阵 $\Sigma$（$D$ 的对角元是 $A$ 的前 $r$ 个奇异值 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$），以及 $m\times m$ 正交矩阵 $U$ 和 $n\times n$ 正交矩阵 $V$，使得

$$A=U\Sigma V^T$$

任何这样的分解（$U,V$ 正交，$\Sigma$ 如 (3)，$D$ 对角元为正）称为 $A$ 的奇异值分解（SVD）。$U$ 的列称为 $A$ 的左奇异向量，$V$ 的列称为右奇异向量。

证明　设 ${\lambda }_i,{\mathbf{v}}_i$ 如定理 9，则 $\{A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_r\}$ 是 $\mathrm{Col}A$ 的正交基。把每个 $A{\mathbf{v}}_i$ 单位化，得标准正交组 $\{{\mathbf{u}}_1,\dots ,{\mathbf{u}}_r\}$：

$${\mathbf{u}}_i=\frac{1}{\Vert A{\mathbf{v}}_i\Vert }A{\mathbf{v}}_i=\frac{1}{{\sigma }_i}A{\mathbf{v}}_i,\text{即}A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i(1\le i\le r)\text{\hspace{1em}(4)}$$

把 $\{{\mathbf{u}}_1,\dots ,{\mathbf{u}}_r\}$ 扩充为 ${\mathbb{R}}^m$ 的标准正交基 $\{{\mathbf{u}}_1,\dots ,{\mathbf{u}}_m\}$，令 $U=\left[\begin{array}{ccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_m\end{array}\right]$，$V=\left[\begin{array}{ccc}{\mathbf{v}}_1& \cdots & {\mathbf{v}}_n\end{array}\right]$。由构造 $U,V$ 都是正交矩阵，且由 (4)：

$$AV=\left[\begin{array}{cccccc}A{\mathbf{v}}_1& \cdots & A{\mathbf{v}}_r& 0& \cdots & 0\end{array}\right]=\left[\begin{array}{cccccc}{\sigma }_1{\mathbf{u}}_1& \cdots & {\sigma }_r{\mathbf{u}}_r& 0& \cdots & 0\end{array}\right]=U\Sigma$$

由 $V$ 正交，$U\Sigma V^T=AV{V}^T=A$。$■$

例 3　利用例 1、例 2 的结果构造 $A=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$ 的奇异值分解。

解　构造分三步。

第 1 步：正交对角化 $A^{T}A$，即求其特征值与标准正交特征向量组。例 1 已给出：特征值 360、90、0，特征向量 ${\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3$。

第 2 步：搭建 $V$ 与 $\Sigma$。特征值已按递减排列，相应的单位特征向量就是右奇异向量：

$$V=\left[\begin{array}{ccc}{\mathbf{v}}_1& {\mathbf{v}}_2& {\mathbf{v}}_3\end{array}\right]=\left[\begin{array}{ccc}1/3& -2/3& 2/3\\ 2/3& -1/3& -2/3\\ 2/3& 2/3& 1/3\end{array}\right]$$

特征值的平方根即奇异值 ${\sigma }_1=6\sqrt{10}$，${\sigma }_2=3\sqrt{10}$，${\sigma }_3=0$。非零奇异值放上 $D$ 的对角线；$\Sigma$ 与 $A$ 同型，$D$ 放在左上角：

$$D=\left[\begin{array}{cc}6\sqrt{10}& 0\\ 0& 3\sqrt{10}\end{array}\right],\Sigma =\left[\begin{array}{cc}D& 0\end{array}\right]=\left[\begin{array}{ccc}6\sqrt{10}& 0& 0\\ 0& 3\sqrt{10}& 0\end{array}\right]$$

第 3 步：搭建 $U$。$A$ 的秩为 2（两个非零奇异值），$U$ 的前 2 列是 $A{\mathbf{v}}_1,A{\mathbf{v}}_2$ 的单位化。由 $\Vert A{\mathbf{v}}_i\Vert ={\sigma }_i$ 及例 1 算出的 $A{\mathbf{v}}_1=\left[\begin{array}{c}18\\ 6\end{array}\right]$、$A{\mathbf{v}}_2=\left[\begin{array}{c}3\\ -9\end{array}\right]$：

$${\mathbf{u}}_1=\frac{1}{{\sigma }_1}A{\mathbf{v}}_1=\frac{1}{6\sqrt{10}}\left[\begin{array}{c}18\\ 6\end{array}\right]=\left[\begin{array}{c}3/\sqrt{10}\\ 1/\sqrt{10}\end{array}\right],{\mathbf{u}}_2=\frac{1}{{\sigma }_2}A{\mathbf{v}}_2=\frac{1}{3\sqrt{10}}\left[\begin{array}{c}3\\ -9\end{array}\right]=\left[\begin{array}{c}1/\sqrt{10}\\ -3/\sqrt{10}\end{array}\right]$$

$\{{\mathbf{u}}_1,{\mathbf{u}}_2\}$ 已是 ${\mathbb{R}}^2$ 的基，$U=\left[\begin{array}{cc}{\mathbf{u}}_1& {\mathbf{u}}_2\end{array}\right]$。于是

$$A=\left[\begin{array}{cc}3/\sqrt{10}& 1/\sqrt{10}\\ 1/\sqrt{10}& -3/\sqrt{10}\end{array}\right]\left[\begin{array}{ccc}6\sqrt{10}& 0& 0\\ 0& 3\sqrt{10}& 0\end{array}\right]\left[\begin{array}{ccc}1/3& 2/3& 2/3\\ -2/3& -1/3& 2/3\\ 2/3& -2/3& 1/3\end{array}\right]$$

例 4　求 $A=\left[\begin{array}{cc}1& -1\\ -2& 2\\ 2& -2\end{array}\right]$ 的奇异值分解。

解　先算 $A^{T}A=\left[\begin{array}{cc}9& -9\\ -9& 9\end{array}\right]$，特征值为 18 和 0，相应的单位特征向量为

$${\mathbf{v}}_1=\left[\begin{array}{c}1/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$$ $$V=\left[\begin{array}{cc}{\mathbf{v}}_1& {\mathbf{v}}_2\end{array}\right]=\left[\begin{array}{cc}1/\sqrt{2}& 1/\sqrt{2}\\ -1/\sqrt{2}& 1/\sqrt{2}\end{array}\right]$$

奇异值为 ${\sigma }_1=\sqrt{18}=3\sqrt{2}$ 与 ${\sigma }_2=0$。只有一个非零奇异值，$D$ 就是一个数 $3\sqrt{2}$；$\Sigma$ 与 $A$ 同型（$3\times 2$）：

$$\Sigma =\left[\begin{array}{cc}3\sqrt{2}& 0\\ 0& 0\\ 0& 0\end{array}\right]$$

构造 $U$：先算

$$A{\mathbf{v}}_1=\left[\begin{array}{c}2/\sqrt{2}\\ -4/\sqrt{2}\\ 4/\sqrt{2}\end{array}\right],A{\mathbf{v}}_2=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$$

（验证：$\Vert A{\mathbf{v}}_1\Vert ={\sigma }_1=3\sqrt{2}$；$A{\mathbf{v}}_2=0$ 因为 $\Vert A{\mathbf{v}}_2\Vert ={\sigma }_2=0$。）目前 $U$ 只有一列：

$${\mathbf{u}}_1=\frac{1}{3\sqrt{2}}A{\mathbf{v}}_1=\left[\begin{array}{c}1/3\\ -2/3\\ 2/3\end{array}\right]$$

其余各列要把 $\{{\mathbf{u}}_1\}$ 扩充成 ${\mathbb{R}}^3$ 的标准正交基：需要两个与 ${\mathbf{u}}_1$ 正交的单位向量（图 7-27），它们满足 ${\mathbf{u}}_1^T\mathbf{x}=0$，即 $x_1-2x_2+2x_3=0$。该方程解集的一组基为

$${\mathbf{w}}_1=\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right],{\mathbf{w}}_2=\left[\begin{array}{c}-2\\ 0\\ 1\end{array}\right]$$

对 $\{{\mathbf{w}}_1,{\mathbf{w}}_2\}$ 做 Gram–Schmidt（含单位化）得

$${\mathbf{u}}_2=\left[\begin{array}{c}2/\sqrt{5}\\ 1/\sqrt{5}\\ 0\end{array}\right],{\mathbf{u}}_3=\left[\begin{array}{c}-2/\sqrt{45}\\ 4/\sqrt{45}\\ 5/\sqrt{45}\end{array}\right]$$

图 7-27：$\{{\mathbf{u}}_1\}$ 扩充为 ${\mathbb{R}}^3$ 的标准正交基

最后令 $U=\left[\begin{array}{ccc}{\mathbf{u}}_1& {\mathbf{u}}_2& {\mathbf{u}}_3\end{array}\right]$，写出

$$A=\left[\begin{array}{cc}1& -1\\ -2& 2\\ 2& -2\end{array}\right]=\left[\begin{array}{ccc}1/3& 2/\sqrt{5}& -2/\sqrt{45}\\ -2/3& 1/\sqrt{5}& 4/\sqrt{45}\\ 2/3& 0& 5/\sqrt{45}\end{array}\right]\left[\begin{array}{cc}3\sqrt{2}& 0\\ 0& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}1/\sqrt{2}& -1/\sqrt{2}\\ 1/\sqrt{2}& 1/\sqrt{2}\end{array}\right]$$

Warning

手工构造 SVD 的三个易错点：① 特征值必须从大到小排列后再放进 $\Sigma$；② ${\mathbf{u}}_i$ 必须用 $A{\mathbf{v}}_i$ 除以 ${\sigma }_i$ 得到，而不是随便取 $\mathrm{Col}A$ 的正交基；③ $U$ 的列数是 $m$、$V$ 的列数是 $n$，$\Sigma$ 的形状是 $m\times n$——三者的尺寸不要弄反。

SVD 的应用

例 5（条件数）　涉及方程 $A\mathbf{x}=\mathbf{b}$ 的数值计算，使用 $A$ 的 SVD 时可靠性最高：$U,V$ 是正交矩阵，不改变向量长度与夹角，数值计算中一切潜在的不稳定性都体现在 $\Sigma$ 里。若 $A$ 可逆，最大与最小奇异值之比 ${\sigma }_1/{\sigma }_n$ 就是 $A$ 的条件数——它衡量 $A\mathbf{x}=\mathbf{b}$ 的解对 $A$ 的元素误差的敏感程度。

例 6（基本子空间的基）　设 $A$ 的 SVD 已知，${\mathbf{u}}_1,\dots ,{\mathbf{u}}_m$ 是左奇异向量，${\mathbf{v}}_1,\dots ,{\mathbf{v}}_n$ 是右奇异向量，${\sigma }_1,\dots ,{\sigma }_n$ 是奇异值，$r=\mathrm{rank}A$。由定理 9：

$$\{{\mathbf{u}}_1,\dots ,{\mathbf{u}}_r\}\text{\hspace{1em}(5)}$$

是 $\mathrm{Col}A$ 的标准正交基。又由 $(\mathrm{Col}A{)}^{\perp }=\mathrm{Nul}{A}^T$：

$$\{{\mathbf{u}}_{r+1},\dots ,{\mathbf{u}}_m\}\text{\hspace{1em}(6)}$$

是 $\mathrm{Nul}{A}^T$ 的标准正交基。由 $\Vert A{\mathbf{v}}_i\Vert ={\sigma }_i$ 及 ${\sigma }_i=0⟺i>r$，向量 ${\mathbf{v}}_{r+1},\dots ,{\mathbf{v}}_n$ 张成 $\mathrm{Nul}A$ 的一个 $n-r$ 维子空间；结合秩定理 $\dim \mathrm{Nul}A=n-\mathrm{rank}A$：

$$\{{\mathbf{v}}_{r+1},\dots ,{\mathbf{v}}_n\}\text{\hspace{1em}(7)}$$

是 $\mathrm{Nul}A$ 的标准正交基。由 (7) 与 $(\mathrm{Nul}A{)}^{\perp }=\mathrm{Col}{A}^T=\mathrm{Row}A$：

$$\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_r\}\text{\hspace{1em}(8)}$$

是 $\mathrm{Row}A$ 的标准正交基。

图 7-28：例 4 中矩阵 $A$ 的基本子空间

图 7-29：四个基本子空间与 $A$ 的作用——${\mathbf{v}}_i\mapsto {\sigma }_i{\mathbf{u}}_i$

一句话总结：一组 SVD 同时给出四个基本子空间的标准正交基，这在约束优化等问题中非常有用。四个基本子空间与奇异值还补全了可逆矩阵定理的最后几条（$u$–$x$ 条）：$A$ 可逆 $⟺$ $(\mathrm{Col}A{)}^{\perp }=\{0\}$ $⟺$ $(\mathrm{Nul}A{)}^{\perp }={\mathbb{R}}^n$ $⟺$ $\mathrm{Row}A={\mathbb{R}}^n$ $⟺$ $A$ 有 $n$ 个非零奇异值。

例 7（紧凑 SVD 与伪逆）　当 $\Sigma$ 带有全零的行或列时，可以有更紧凑的分解。设 $r=\mathrm{rank}A$，把 $U,V$ 按前 $r$ 列分块：

$$U=\left[\begin{array}{cc}{U}_r& U_{m-r}\end{array}\right],U_r=\left[\begin{array}{ccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_r\end{array}\right];V=\left[\begin{array}{cc}{V}_r& V_{n-r}\end{array}\right],V_r=\left[\begin{array}{ccc}{\mathbf{v}}_1& \cdots & {\mathbf{v}}_r\end{array}\right]$$

分块矩阵乘法给出

$$A=U_{r}D{V}_r^T\text{\hspace{1em}(9)}$$

称为 $A$ 的紧凑奇异值分解。由于 $D$ 的对角元非零、$D$ 可逆，矩阵

$$A^{+}=V_r{D}^{-1}{U}_r^T\text{\hspace{1em}(10)}$$

称为 $A$ 的伪逆（Moore–Penrose 逆）。注意即使 $A$ 不是方阵、不可逆，$A^{+}$ 也存在。

例 8（最小二乘解）　对方程 $A\mathbf{x}=\mathbf{b}$，用伪逆定义

$$\hat{\mathbf{x}}=A^{+}\mathbf{b}=V_r{D}^{-1}{U}_r^T\mathbf{b}$$

由 (9)：

$$A\hat{\mathbf{x}}=(U_{r}D{V}_r^T)(V_r{D}^{-1}{U}_r^T\mathbf{b})=U_{r}D{D}^{-1}{U}_r^T\mathbf{b}=U_r{U}_r^T\mathbf{b}$$

（因 $V_r^T{V}_r=I_r$）。由 (5)，$U_r{U}_r^T\mathbf{b}$ 是 $\mathbf{b}$ 到 $\mathrm{Col}A$ 的正交投影 $\hat{\mathbf{b}}$，所以 $\hat{\mathbf{x}}$ 是 $A\mathbf{x}=\mathbf{b}$ 的最小二乘解——而且在所有最小二乘解中，它的长度最小。

数值注记

例 1–4 介绍了奇异值的概念和手工算法。实践中应避免直接计算 $A^{T}A$——$A$ 中的任何误差都会在 $A^{T}A$ 中被平方放大；快速的迭代方法能直接、高精度地产生 $A$ 的奇异值和奇异向量。

随堂练习（7.4）

练习 1　已知 $A=U\Sigma V^T$，求 $A^T$ 的一个 SVD。$A$ 与 $A^T$ 的奇异值有何关系？

解　设 $A=U\Sigma V^T$（$\Sigma$ 为 $m\times n$），则

$$A^T=(V^T{)}^T{\Sigma }^T{U}^T=V{\Sigma }^T{U}^T$$

由于 $V,U$ 都是正交矩阵，${\Sigma }^T$ 是 $n\times m$ 的”对角”矩阵，这正是 $A^T$ 的一个 SVD。$\Sigma$ 与 ${\Sigma }^T$ 的非零对角元相同，故 $A$ 与 $A^T$ 有相同的非零奇异值。（提示：若 $A$ 是 $2\times n$ 矩阵，$A{A}^T$ 只有 $2\times 2$，手算其特征值往往比算 $A^{T}A$ 的更容易。）

练习 2　对任意 $n\times n$ 矩阵 $A$，用 SVD 证明：存在 $n\times n$ 正交矩阵 $Q$ 使得 $Q^T(A^{T}A)Q=A{A}^T$。

解　写 $A=U\Sigma V^T$，其中 $U,V$ 是 $n\times n$ 正交矩阵，$\Sigma$ 是 $n\times n$ 对角矩阵；注意 ${\Sigma }^T=\Sigma$。代入计算：

$$A{A}^T=U\Sigma V^T(U\Sigma V^T{)}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U{\Sigma }^2{U}^T$$ $$A^{T}A=(U\Sigma V^T{)}^{T}U\Sigma V^T=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$$

令 $Q=V{U}^T$（正交矩阵之积仍是正交矩阵），则

$$Q^T(A^{T}A)Q=(V{U}^T{)}^T(V{\Sigma }^2{V}^T)(V{U}^T)=U{\Sigma }^2{U}^T=A{A}^T$$

这说明对任意方阵 $A$，$A{A}^T$ 与 $A^{T}A$ 总是正交相似的。

通关标准

会求任意矩阵的奇异值（算 $A^{T}A$ 的特征值开方）；能按三步（对角化 $A^{T}A$ → 搭 $V,\Sigma$ → 搭 $U$）写出完整的 SVD；知道 SVD 一次性给出四个基本子空间的标准正交基，以及伪逆 $A^{+}=V_r{D}^{-1}{U}_r^T$ 给出最小长度最小二乘解。本节习题见原书 7.4 EXERCISES。

---

7.5 图像处理与统计学的应用：主成分分析

本章开篇的卫星照片是多维（多元）数据的例子——数据集中每个数据点对应 ${\mathbb{R}}^n$ 中的一个向量。本节的目标是解释分析这类数据的技术：主成分分析（PCA），其计算正好用上正交对角化与奇异值分解。

PCA 适用于”对一批对象做多项测量”的任何数据。例如：化工过程生产塑料，抽取 300 个样本，每个样本做 8 项测试（熔点、密度、延展性、拉伸强度……），每个样本的化验单是 ${\mathbb{R}}^8$ 中的一个向量，全体构成 $8\times 300$ 的观测矩阵。可以说这批过程控制数据是”八维”的。下面两例是可以画出来的低维数据。

例 1　二维数据的例子：$N$ 名大学生的体重与身高。${\mathbf{X}}_j$ 是列出第 $j$ 名学生体重和身高的观测向量，观测矩阵形如

$$\left[\begin{array}{cccc}{w}_1& w_2& \cdots & w_N\\ h_1& h_2& \cdots & h_N\end{array}\right]$$

观测向量集可画成二维散点图（图 7-30）。

图 7-30：观测向量 ${\mathbf{X}}_1,\dots ,{\mathbf{X}}_N$ 的散点图

图 7-31：卫星图像光谱数据的散点图——每个点是一个像素的三波段读数

例 2　章首 Railroad Valley 的前三张照片可以看成同一地区的”一幅”具有三个光谱分量的图像：左上角第一像素在每张照片里对应地面上同一块约 30 米见方的区域，每个像素对应一个 ${\mathbb{R}}^3$ 观测向量，记录它在三个波段的信号强度。典型图像为 $2000\times 2000$ 像素，即 400 万个像素，数据构成 3 行、400 万列的矩阵。这里”多维”指三个光谱维度而非照片的空间维度——数据可想象为 ${\mathbb{R}}^3$ 中 400 万个点组成的点团（图 7-31）。

均值与协方差

设 $\left[\begin{array}{ccc}{\mathbf{X}}_1& \cdots & {\mathbf{X}}_N\end{array}\right]$ 是 $p\times N$ 观测矩阵。观测向量的样本均值为

$$\mathbf{M}=\frac{1}{N}({\mathbf{X}}_1+\cdots +{\mathbf{X}}_N)$$

它是散点图”中心”处的点。对 $k=1,\dots ,N$，令

$${\hat{\mathbf{X}}}_k={\mathbf{X}}_k-\mathbf{M}$$

$p\times N$ 矩阵

$$B=\left[\begin{array}{cccc}{\hat{\mathbf{X}}}_1& {\hat{\mathbf{X}}}_2& \cdots & {\hat{\mathbf{X}}}_N\end{array}\right]$$

的列的样本均值为零，称 $B$ 处于均值偏差形式。从数据中减去均值后，散点图形状如图 7-32。

图 7-32：均值偏差形式下的体重–身高数据——原点移到了数据中心

（样本）协方差矩阵是 $p\times p$ 矩阵

$$S=\frac{1}{N-1}B{B}^T$$

因为 $B{B}^T$ 型的矩阵总是半正定的，所以 $S$ 也半正定。

例 3　对随机样本中的 4 个人各做 3 项测量，观测向量为

$${\mathbf{X}}_1=\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right],{\mathbf{X}}_2=\left[\begin{array}{c}4\\ 2\\ 13\end{array}\right],{\mathbf{X}}_3=\left[\begin{array}{c}7\\ 8\\ 1\end{array}\right],{\mathbf{X}}_4=\left[\begin{array}{c}8\\ 4\\ 5\end{array}\right]$$

计算样本均值与协方差矩阵。

解　样本均值：

$$\mathbf{M}=\frac{1}{4}\left(\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right]+\left[\begin{array}{c}4\\ 2\\ 13\end{array}\right]+\left[\begin{array}{c}7\\ 8\\ 1\end{array}\right]+\left[\begin{array}{c}8\\ 4\\ 5\end{array}\right]\right)=\frac{1}{4}\left[\begin{array}{c}20\\ 16\\ 20\end{array}\right]=\left[\begin{array}{c}5\\ 4\\ 5\end{array}\right]$$

从各观测向量中减去均值：

$${\hat{\mathbf{X}}}_1=\left[\begin{array}{c}-4\\ -2\\ -4\end{array}\right],{\hat{\mathbf{X}}}_2=\left[\begin{array}{c}-1\\ -2\\ 8\end{array}\right],{\hat{\mathbf{X}}}_3=\left[\begin{array}{c}2\\ 4\\ -4\end{array}\right],{\hat{\mathbf{X}}}_4=\left[\begin{array}{c}3\\ 0\\ 0\end{array}\right]$$ $$B=\left[\begin{array}{cccc}-4& -1& 2& 3\\ -2& -2& 4& 0\\ -4& 8& -4& 0\end{array}\right]$$

样本协方差矩阵：

$$S=\frac{1}{3}\left[\begin{array}{cccc}-4& -1& 2& 3\\ -2& -2& 4& 0\\ -4& 8& -4& 0\end{array}\right]\left[\begin{array}{ccc}-4& -2& -4\\ -1& -2& 8\\ 2& 4& -4\\ 3& 0& 0\end{array}\right]=\frac{1}{3}\left[\begin{array}{ccc}30& 18& 0\\ 18& 24& -24\\ 0& -24& 96\end{array}\right]=\left[\begin{array}{ccc}10& 6& 0\\ 6& 8& -8\\ 0& -8& 32\end{array}\right]$$

方差、协方差与总方差

设 $\mathbf{X}$ 在观测向量集合上变化，坐标为 $x_1,\dots ,x_p$。对 $j=1,\dots ,p$，$S$ 的对角元 $s_{jj}$ 称为 $x_j$ 的方差，衡量 $x_j$ 取值的分散程度。例 3 中 $x_1$ 的方差是 10，$x_3$ 的方差是 32——说明第 3 项测量值的波动远大于第 1 项。

数据的总方差是 $S$ 对角元之和，即矩阵的迹：

$$\{\text{总方差}\}=\mathrm{tr}(S)$$

非对角元 $s_{ij}$（$i\ne j$）称为 $x_i$ 与 $x_j$ 的协方差。例 3 中 $x_1$ 与 $x_3$ 的协方差为 0，统计上称二者不相关。当多数变量互不相关（协方差矩阵是对角或近似对角矩阵）时，多元数据的分析会大大简化。

主成分分析

设观测矩阵已处于均值偏差形式。PCA 的目标是找一个正交 $p\times p$ 矩阵 $P=\left[\begin{array}{ccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_p\end{array}\right]$，做变量代换 $\mathbf{X}=P\mathbf{Y}$，使新变量 $y_1,\dots ,y_p$ 互不相关，且按方差递减排列。

代换 $\mathbf{X}=P\mathbf{Y}$ 相当于给每个观测向量 ${\mathbf{X}}_k$ 起一个”新名字” ${\mathbf{Y}}_k=P^T{\mathbf{X}}_k$（${\mathbf{Y}}_k$ 是 ${\mathbf{X}}_k$ 关于 $P$ 的列的坐标向量）。不难验证：对任何正交 $P$，新数据的协方差矩阵是 $P^{T}SP$。所以所需的 $P$ 就是使 $P^{T}SP$ 成为对角矩阵的那个。取 $D$ 为 $S$ 的特征值按 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$ 排列的对角矩阵，$P$ 的列为相应的单位特征向量 ${\mathbf{u}}_1,\dots ,{\mathbf{u}}_p$，则 $S=PD{P}^T$，$P^{T}SP=D$。

$S$ 的单位特征向量 ${\mathbf{u}}_1,\dots ,{\mathbf{u}}_p$ 称为数据的主成分：第一主成分是 $S$ 最大特征值对应的特征向量，第二主成分是第二大特征值对应的特征向量，依此类推。

第一主成分 ${\mathbf{u}}_1$（设其分量为 $c_1,\dots ,c_p$）确定的新变量为

$$y_1={\mathbf{u}}_1^T\mathbf{X}=c_1{x}_1+c_2{x}_2+\cdots +c_p{x}_p$$

即以特征向量 ${\mathbf{u}}_1$ 的分量为权重的原变量的线性组合；${\mathbf{u}}_2$ 类似地确定 $y_2$，等等。

例 4　Railroad Valley 多光谱图像的初始数据是 ${\mathbb{R}}^3$ 中的 400 万个向量，协方差矩阵为

$$S=\left[\begin{array}{ccc}2382.78& 2611.84& 2136.20\\ 2611.84& 3106.47& 2553.90\\ 2136.20& 2553.90& 2650.71\end{array}\right]$$

求数据的主成分，并写出第一主成分确定的新变量。

解　$S$ 的特征值与相应的主成分（单位特征向量）为

$$\begin{array}{lll}{\lambda }_1=7614.23& {\lambda }_2=427.63& {\lambda }_3=98.10\\ {\mathbf{u}}_1=\left[\begin{array}{c}.5417\\ .6295\\ .5570\end{array}\right]& {\mathbf{u}}_2=\left[\begin{array}{c}-.4894\\ -.3026\\ .8179\end{array}\right]& {\mathbf{u}}_3=\left[\begin{array}{c}.6834\\ -.7157\\ .1441\end{array}\right]\end{array}$$

取两位小数，第一主成分确定的变量为

$$y_1=.54x_1+.63x_2+.56x_3$$

章首照片 (d) 正是用这个方程生成的：$x_1,x_2,x_3$ 是三个波段的信号强度，各自的灰度图是照片 (a)(b)(c)；照片 (d) 中每个像素的灰度值由 $y_1$（$x_1,x_2,x_3$ 的加权线性组合）算出——照片 (d) “显示”的就是数据的第一主成分。

变换后数据（变量 $y_1,y_2,y_3$）的协方差矩阵是

$$D=\left[\begin{array}{ccc}7614.23& 0& 0\\ 0& 427.63& 0\\ 0& 0& 98.10\end{array}\right]$$

$D$ 显然比 $S$ 简单，但构造新变量的真正好处在于：$y_1$ 的方差（7614.23）远远大于其他两个——这一事实让我们能把数据当作本质上是一维的来看待。

降低多元数据的维数

当数据的大部分”变化”只集中在少数新变量 $y_1,\dots ,y_p$ 上时，PCA 就特别有价值。可以证明正交变量代换 $\mathbf{X}=P\mathbf{Y}$ 不改变总方差（粗略地说，左乘 $P$ 不改变向量长度和夹角）。于是若 $S=PD{P}^T$：

$$\{x_1,\dots ,x_p\text{ 的总方差}\}=\{y_1,\dots ,y_p\text{ 的总方差}\}=\mathrm{tr}(D)={\lambda }_1+\cdots +{\lambda }_p$$

$y_j$ 的方差是 ${\lambda }_j$，比值 ${\lambda }_j/\mathrm{tr}(S)$ 衡量 $y_j$ “解释”或”捕获”的总方差比例。

例 5　计算 Railroad Valley 多光谱数据显示在章首主成分照片 (d)–(f) 中的各方差百分比。

解　数据总方差：

$$\mathrm{tr}(D)=7614.23+427.63+98.10=8139.96$$

（可验证它也等于 $\mathrm{tr}(S)$。）各主成分解释的方差比例为

$$\text{第一成分}：\frac{7614.23}{8139.96}=93.5\%,\text{第二成分}：\frac{427.63}{8139.96}=5.3\%,\text{第三成分}：\frac{98.10}{8139.96}=1.2\%$$

某种意义上，Landsat 为 Railroad Valley 收集的信息有 93.5% 显示在照片 (d) 中，5.3% 在 (e)，只剩 1.2% 在 (f)。

例 5 的计算表明数据在第三个新坐标上几乎没有方差（$y_3$ 的值都接近 0）——数据点几乎位于平面 $y_3=0$ 内，知道 $y_1,y_2$ 就能相当准确地定位它们。而 $y_2$ 的方差也较小，意味着点团近似沿一条直线分布，数据本质上是一维的（见图 7-31，数据点团细长得像根冰棒棍）。

主成分变量的刻画

若 $y_1,\dots ,y_p$ 来自 PCA，则 $y_1$ 的方差在以下意义下尽可能大：对任意单位向量 $\mathbf{u}$，变量 $y={\mathbf{u}}^T\mathbf{X}$ 在数据上的方差恰为 ${\mathbf{u}}^{T}S\mathbf{u}$；由 7.3 节定理 8，${\mathbf{u}}^{T}S\mathbf{u}$ 在全体单位向量上的最大值是 $S$ 的最大特征值 ${\lambda }_1$，且在相应特征向量 ${\mathbf{u}}_1$ 处取到。同样由定理 8，$y_2$ 在所有与 $y_1$ 不相关的变量 $y={\mathbf{u}}^T\mathbf{X}$ 中方差最大；$y_3$ 在所有与 $y_1,y_2$ 都不相关的变量中方差最大，依此类推。PCA 就是在”方差最大化 + 层层正交约束”下逐个选出最优方向——这正是 7.3 节约束优化的直接应用。

数值注记

实际计算中，SVD 是执行 PCA 的主要工具。设 $B$ 是均值偏差形式的 $p\times N$ 观测矩阵，令 $A=\left(1/\sqrt{N-1}\right)B^T$，则 $A^{T}A$ 就是协方差矩阵 $S$；$A$ 的奇异值的平方是 $S$ 的 $p$ 个特征值，$A$ 的右奇异向量就是数据的主成分。迭代法计算 $A$ 的 SVD 比对 $S$ 做特征值分解更快更准——对章首提到的 $p=224$ 的高光谱图像处理尤其如此，专用工作站上几秒即可完成。

随堂练习（7.5）

下表列出 5 名男孩的体重（磅）与身高（英寸）：

男孩	#1	#2	#3	#4	#5
体重	120	125	125	135	145
身高	61	60	64	68	72

练习 1　求这组数据的协方差矩阵。

解　先把数据化成均值偏差形式。样本均值显然为 $\mathbf{M}=\left[\begin{array}{c}130\\ 65\end{array}\right]$，从每个观测向量中减去 $\mathbf{M}$ 得

$$B=\left[\begin{array}{ccccc}-10& -5& -5& 5& 15\\ -4& -5& -1& 3& 7\end{array}\right]$$

样本协方差矩阵：

$$S=\frac{1}{5-1}\left[\begin{array}{ccccc}-10& -5& -5& 5& 15\\ -4& -5& -1& 3& 7\end{array}\right]\left[\begin{array}{cc}-10& -4\\ -5& -5\\ -5& -1\\ 5& 3\\ 15& 7\end{array}\right]=\frac{1}{4}\left[\begin{array}{cc}400& 190\\ 190& 100\end{array}\right]=\left[\begin{array}{cc}100.0& 47.5\\ 47.5& 25.0\end{array}\right]$$

练习 2　对数据做主成分分析，找出解释数据大部分变化的一个”体型指数”。

解　$S$ 的特征值（保留两位小数）为

$${\lambda }_1=123.02,{\lambda }_2=1.98$$

${\lambda }_1$ 对应的单位特征向量为 $\mathbf{u}=\left[\begin{array}{c}.900\\ .436\end{array}\right]$。取体型指数为

$$y=.900\hat{w}+.436\hat{h}$$

其中 $\hat{w},\hat{h}$ 分别是均值偏差形式的体重和身高。该指数在数据上的方差为 123.02，而总方差为 $\mathrm{tr}(S)=100+25=125$，所以这一个指数就解释了数据的 $123.02/125\approx 98.4\%$ 的方差。

图 7-33：原始数据与第一主成分 $\mathbf{u}$ 确定的正交回归直线（参数形式 $\mathbf{x}=\mathbf{M}+t\mathbf{u}$）

原始数据和第一主成分确定的直线见图 7-33。可以证明这条直线是对数据的最佳直线逼近——各数据点到直线的正交距离平方和最小。事实上 PCA 等价于所谓”正交回归”，那就是另一个故事了。

通关标准

会把观测矩阵化成均值偏差形式并算出 $S=\frac{1}{N-1}B{B}^T$；能说出方差、协方差、总方差（迹）各在 $S$ 的什么位置；明白主成分 = 协方差矩阵的单位特征向量，且 ${\lambda }_j/\mathrm{tr}(S)$ 是第 $j$ 个主成分解释的方差比例。本节习题见原书 7.5 EXERCISES；章末补充习题（Cholesky 分解、Gram 矩阵、极分解、伪逆的性质等）见原书 CHAPTER 7 SUPPLEMENTARY EXERCISES。

---

自测一下

为什么对称矩阵做正交对角化时，重特征值反而要额外小心？具体要做哪一步？

因为定理 1 只保证不同特征空间之间的特征向量互相正交；同一个重特征值的特征空间内部，求出来的基础解系一般不正交。必须在该特征空间内部对基础解系做 Gram–Schmidt 正交化（如 7.1 节例 3 中对 $\lambda =7$ 的 ${\mathbf{v}}_1,{\mathbf{v}}_2$），再把全部向量单位化，才能拼出正交矩阵 $P$。

二次型 $Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$ 中的交叉项 $x_i{x}_j$ 是怎么来的？如何用变量代换消掉它？

交叉项来自矩阵 $A$ 中成对的非对角元 $a_{ij}=a_{ji}\ne 0$（两项合并后系数为 $2a_{ij}$）。消掉它的方法是：正交对角化 $A=PD{P}^T$，取变量代换 $\mathbf{x}=P\mathbf{y}$（$P$ 的列是单位特征向量），则 $Q={\mathbf{y}}^{T}D\mathbf{y}={\lambda }_1{y}_1^2+\cdots +{\lambda }_n{y}_n^2$，没有任何交叉项——这就是主轴定理（定理 4）。注意 $P$ 的列必须单位化，否则 $P^{T}AP\ne D$。

${\mathbf{x}}^{T}A\mathbf{x}$ 在约束 $\Vert \mathbf{x}\Vert =1$ 下的最大值是多少？在哪里取到？如果还要求 $\mathbf{x}$ 与最大值方向正交呢？

最大值是 $A$ 的最大特征值 ${\lambda }_1$，在相应的单位特征向量 ${\mathbf{u}}_1$ 处取到（定理 6）。若再附加约束 ${\mathbf{x}}^T{\mathbf{u}}_1=0$（即排除最大值方向），则最大值变为第二大特征值 ${\lambda }_2$，在 ${\mathbf{u}}_2$ 处取到（定理 7）；继续逐个正交约束下去就得到定理 8——这正是 PCA 挑选主成分的逻辑。

任意 $m\times n$ 矩阵的奇异值是怎么定义的？为什么说 SVD 比普通对角化"普适"？

奇异值是 $A^{T}A$ 的特征值（必然非负）按从大到小排列后的平方根：${\sigma }_i=\sqrt{{\lambda }_i}$。普通对角化 $A=PD{P}^{-1}$ 要求 $A$ 是有 $n$ 个线性无关特征向量的方阵；而 SVD $A=U\Sigma V^T$ 对任意形状、任意秩的矩阵都存在，因为 $A^{T}A$ 永远对称、永远可正交对角化。SVD 还同时给出四个基本子空间的标准正交基，并且 ${\sigma }_1/{\sigma }_n$ 给出可逆方阵的条件数。

PCA 中"第一主成分解释了 93.5% 的方差"这句话里的百分比是怎么算的？它意味着什么？

对协方差矩阵 $S$ 正交对角化得特征值 ${\lambda }_1\ge {\lambda }_2\ge \cdots$，正交代换不改变总方差，所以第 $j$ 个主成分解释的方差比例是 ${\lambda }_j/\mathrm{tr}(S)$。93.5% 意味着：把原变量按第一主成分方向（${\mathbf{u}}_1$ 的分量为权重）线性组合成单一新变量 $y_1$ 后，这一维就保留了原始多维数据 93.5% 的信息（按方差计），于是可以把高维数据近似压缩成一维或二维来观察和存储。