📘 第 7 章：对称矩阵与二次型

Note

本章研究对称矩阵（$A^T=A$）——它在实际应用中出现的频率超过任何其他类型的矩阵。全章逻辑链是：7.1 证明对称矩阵总能正交对角化；7.2、7.3 用它处理二次型及其约束最值；7.4 把思想推广到任意矩阵，得到奇异值分解（SVD）；7.5 落地到**主成分分析（PCA）**与图像处理。全章假设所有向量和矩阵都是实的。读本章前建议先熟悉第 5 章的对角化与第 6 章的正交性。

开篇引例：多通道图像处理

Landsat 卫星以近极地轨道绕地球飞行，用 7 个不同波段（3 个可见光 + 4 个红外/热波段）同时拍摄同一地区，每幅图像被数字化为像素阵列，每个数字记录该点的信号强度。

图 7-1：图像被数字化成像素阵列，每个数字表示对应点的信号强度

这 7 幅图像信息高度冗余——很多地物特征会同时出现在多幅图中。**主成分分析（PCA）**的目标是：找到一组权重，把 7 幅图在每个像素处的值线性组合成少数几幅”合成图”，并让合成图承载原始数据尽可能多的”场景方差”。以美国内华达州 Railroad Valley 的三波段数据为例：

图 7-2：(a) 光谱波段 1——可见蓝光

图 7-3：(b) 光谱波段 4——近红外

图 7-4：(c) 光谱波段 7——中红外

图 7-5：(d) 第一主成分——承载了 93.5% 的场景方差

图 7-6：(e) 第二主成分——5.3%

图 7-7：(f) 第三主成分——仅 1.2%

三通道数据被压缩成一通道数据，信息损失（按方差计）仅约 6.5%。当地球卫星公司实验 224 个波段的高光谱数据时，PCA 能把数据缩减到大约 15 个可用主成分——没有本章的数学工具，这种规模的数据根本无法处理。

---

7.1 对角化对称矩阵

定义：若方阵 $A$ 满足 $A^T=A$，则称 $A$ 为对称矩阵。对称矩阵必为方阵；主对角线元素任意，而非对角线元素成对出现——关于主对角线对称的位置上取值相同。

例 1　下列矩阵中只有前三个是对称的。

对称：

$$\left[\begin{array}{cc}1& 0\\ 0& -3\end{array}\right],\left[\begin{array}{ccc}0& -1& 0\\ -1& 5& 8\\ 0& 8& -7\end{array}\right],\left[\begin{array}{ccc}a& b& c\\ b& d& e\\ c& e& f\end{array}\right]$$

非对称：

$$\left[\begin{array}{cc}1& -3\\ 3& 0\end{array}\right],\left[\begin{array}{ccc}1& -4& 0\\ -6& 1& -4\\ 0& -6& 1\end{array}\right],\left[\begin{array}{cccc}5& 4& 3& 2\\ 4& 3& 2& 1\\ 3& 2& 1& 0\end{array}\right]$$

第二个非对称例子值得注意：它”看起来”很对称，但 $a_{12}=-4\ne -6=a_{21}$，所以不是。判断标准永远是逐对检查 $a_{ij}$ 与 $a_{ji}$ 是否相等。

复习：一般对角化

例 2　若可能，将对角化矩阵 $A=\left[\begin{array}{ccc}6& -2& -1\\ -2& 6& -1\\ -1& -1& 5\end{array}\right]$。

解　$A$ 的特征方程为

$$0=-{\lambda }^3+17{\lambda }^2-90\lambda +144=-(\lambda -8)(\lambda -6)(\lambda -3)$$

常规计算给出每个特征空间的基：

$$\lambda =8:{\mathbf{v}}_1=\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right];\lambda =6:{\mathbf{v}}_2=\left[\begin{array}{c}-1\\ -1\\ 2\end{array}\right];\lambda =3:{\mathbf{v}}_3=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$

这三个向量构成 ${\mathbb{R}}^3$ 的一组基，而且容易验证 $\{{\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3\}$ 是 ${\mathbb{R}}^3$ 的正交基。第 6 章的经验告诉我们，标准正交基便于计算，于是把它们单位化：

$${\mathbf{u}}_1=\left[\begin{array}{c}-1/\sqrt{2}\\ 1/\sqrt{2}\\ 0\end{array}\right],{\mathbf{u}}_2=\left[\begin{array}{c}-1/\sqrt{6}\\ -1/\sqrt{6}\\ 2/\sqrt{6}\end{array}\right],{\mathbf{u}}_3=\left[\begin{array}{c}1/\sqrt{3}\\ 1/\sqrt{3}\\ 1/\sqrt{3}\end{array}\right]$$

令

$$P=\left[\begin{array}{ccc}-1/\sqrt{2}& -1/\sqrt{6}& 1/\sqrt{3}\\ 1/\sqrt{2}& -1/\sqrt{6}& 1/\sqrt{3}\\ 0& 2/\sqrt{6}& 1/\sqrt{3}\end{array}\right],D=\left[\begin{array}{ccc}8& 0& 0\\ 0& 6& 0\\ 0& 0& 3\end{array}\right]$$

则照常有 $A=PD{P}^{-1}$。但这次不同：$P$ 是方阵且各列标准正交，所以 $P$ 是正交矩阵，$P^{-1}$ 就是 $P^T$。

定理 1：不同特征值的特征向量正交

定理 1　若 $A$ 对称，则来自不同特征空间的任意两个特征向量正交。

证明　设 ${\mathbf{v}}_1,{\mathbf{v}}_2$ 分别是属于不同特征值 ${\lambda }_1,{\lambda }_2$ 的特征向量。要证 ${\mathbf{v}}_1\cdot {\mathbf{v}}_2=0$，计算：

$$\begin{array}{rlrl}{\lambda }_1{\mathbf{v}}_1\cdot {\mathbf{v}}_2& =({\lambda }_1{\mathbf{v}}_1{)}^T{\mathbf{v}}_2=(A{\mathbf{v}}_1{)}^T{\mathbf{v}}_2& & \text{（v1 是特征向量）}\\ & =({\mathbf{v}}_1^T{A}^T){\mathbf{v}}_2={\mathbf{v}}_1^T(A{\mathbf{v}}_2)& & \text{（AT=A）}\\ & ={\mathbf{v}}_1^T({\lambda }_2{\mathbf{v}}_2)={\lambda }_2{\mathbf{v}}_1^T{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_1\cdot {\mathbf{v}}_2& & \text{（v2 是特征向量）}\end{array}$$

于是 $({\lambda }_1-{\lambda }_2){\mathbf{v}}_1\cdot {\mathbf{v}}_2=0$。而 ${\lambda }_1\ne {\lambda }_2$，故 ${\mathbf{v}}_1\cdot {\mathbf{v}}_2=0$。$■$

这个定理解释了例 2 中特征向量为何自动正交——它们来自不同特征值。这是对称矩阵独有的福利：一般矩阵的不同特征值的特征向量没有任何正交性保证。

正交对角化与定理 2

例 2 中那种特殊的对角化值得命名：若存在正交矩阵 $P$（满足 $P^{-1}=P^T$）和对角矩阵 $D$，使得

$$A=PD{P}^T=PD{P}^{-1}\text{\hspace{1em}(1)}$$

则称 $A$ 可正交对角化。这样的分解要求 $n$ 个线性无关且标准正交的特征向量。什么时候可能呢？若 $A$ 可如 (1) 正交对角化，则

$$A^T=(PD{P}^T{)}^T=P^{TT}{D}^T{P}^T=PD{P}^T=A$$

即 $A$ 必对称。反之也成立：

定理 2　$n\times n$ 矩阵 $A$ 可正交对角化 当且仅当 $A$ 是对称矩阵。

这个定理相当惊人：第 5 章的工作表明，判断一个矩阵能否对角化通常很困难；但对对称矩阵来说这件事永远成立，不用检查任何条件。

例 3　正交对角化矩阵 $A=\left[\begin{array}{ccc}3& -2& 4\\ -2& 6& 2\\ 4& 2& 3\end{array}\right]$，其特征方程为

$$0=-{\lambda }^3+12{\lambda }^2-21\lambda -98=-(\lambda -7{)}^2(\lambda +2)$$

解　常规计算给出各特征空间的基：

$$\lambda =7:{\mathbf{v}}_1=\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}-1/2\\ 1\\ 0\end{array}\right];\lambda =-2:{\mathbf{v}}_3=\left[\begin{array}{c}-1\\ -1/2\\ 1\end{array}\right]$$

注意这里的困难点：$\lambda =7$ 是重特征值（重数 2），${\mathbf{v}}_1$ 与 ${\mathbf{v}}_2$ 线性无关但不正交。由第 6.2 节，${\mathbf{v}}_2$ 在 ${\mathbf{v}}_1$ 上的正交分量为