Note

本篇是《Linear Algebra and its Applications》(David C. Lay, 5th Edition) 第 5 章 Eigenvalues and Eigenvectors 的中文初学者精讲笔记。这一章要回答的核心问题是:一个矩阵 作用在向量上时,是否有些”特殊方向”上的向量只会被拉伸或压缩、不改变方向?答案是肯定的,这些方向就叫特征向量,拉伸倍数叫特征值。找到它们之后,矩阵的幂 、离散动力系统 的长期行为、微分方程组 的解,全都会变得一目了然。全章例题、练习题(Practice Problems)均完整保留并逐步讲解;本节习题列表见原书。

引入例:动力系统与斑点猫头鹰

图 5-1

图 5-1:北方斑点猫头鹰——本章引入例研究的物种

1990 年,北方斑点猫头鹰成为美国太平洋西北地区森林政策争论的焦点:环保主义者认为若继续砍伐老生林,猫头鹰将面临灭绝;木材行业则担心数十万个工作岗位流失。数学生态学家因此加紧研究猫头鹰种群的动力学。

猫头鹰的一生分为三个阶段:幼鸟(1 岁以内)、亚成鸟(1~2 岁)、成鸟(2 岁以上)。按年统计雌性数量,令 表示第 年三个阶段的雌鸟数量。Lamberson 等人根据野外数据建立了如下阶段矩阵模型

含义:每对成鸟平均每年新增 0.33 只幼鸟;18% 的幼鸟能活到亚成鸟阶段;71% 的亚成鸟与 94% 的成鸟继续存活为成鸟。这是一个形如

的**(离散线性)动力系统**。模型中受森林砍伐影响最大的就是 0.18 这个幼鸟存活率。5.6 节将证明:在上述参数下模型预测猫头鹰终将灭绝;但若把幼鸟找到新领地的比例提高到 50%,种群反而会繁荣。答案的钥匙,正是本章的特征值与特征向量。

5.1 特征向量与特征值

变换 会把向量搬向各种方向,但常常存在一些特殊向量, 对它们的作用非常简单——只做伸缩。

例 1。则 作用在 上只是把它”拉伸”为原来的 2 倍,方向不变。

图 5-2

图 5-2:矩阵 乘法对 的不同作用

还记得 4.9 节的结论吗?若 是随机矩阵,其稳态向量 满足 。这说明”稳态向量”其实就是即将定义的特征向量的特例。本节研究形如

的方程:某些特殊向量被 变换成了自己的数量倍。

定义 矩阵 特征向量是非零向量 ,使得对某个标量 。若方程 有非平凡解,则标量 称为 特征值,这个 称为对应于 的特征向量。

Warning

特征向量必须非零。零向量对任何 都满足 ,若允许零向量,“特征值”就失去意义了。另外,一个特征向量只对应一个特征值;但一个特征值可以对应无穷多个特征向量(它们的任意非零倍数都还是特征向量)。

判断”某个向量是不是特征向量""某个数是不是特征值”都很容易:直接验证定义即可。

图 5-3

图 5-3: 是特征向量,而 不是 的倍数

例 2 的特征向量吗?

所以 是对应于特征值 的特征向量,而 不是特征向量,因为 不是 的倍数。■

例 3 证明 7 是例 2 中矩阵 的特征值,并求出相应的特征向量。

:7 是 的特征值当且仅当方程

有非平凡解。把 (1) 改写为 ,即

为解这个齐次方程,构造矩阵

的两列显然线性相关,所以 (2) 有非平凡解,故 7 是特征值。用行化简求特征向量:

通解形如 。凡此形式且 的向量都是对应于 的特征向量。■

Warning

行化简可以用来求特征向量(解 ),但不能用来求特征值:把 化成阶梯形后,阶梯形矩阵的对角元一般不再是原矩阵的特征值。行变换会改变特征值!求特征值必须走 5.2 节的特征方程路线。

把 (1)(2) 的等价性推广到任意 矩阵 的特征值当且仅当方程

有非平凡解。(3) 的全部解构成的集合恰好是矩阵 的零空间,它是 的子空间,称为 对应于 特征空间。特征空间由零向量和所有对应于 的特征向量组成。

由例 2 和例 3:对应 的特征空间是过 与原点的直线;对应 的特征空间是过 的直线。下图展示了这两个特征空间以及 在其上的几何作用。

图 5-4

图 5-4: 对应的特征空间( 在每条直线上只做伸缩)

例 4,已知 2 是 的一个特征值,求相应特征空间的一组基。

:构造

的增广矩阵做行化简:

出现自由变量,说明 2 确实是特征值。通解为

特征空间是 的二维子空间(一个过原点的平面),一组基为

图 5-5

图 5-5: 在整个特征空间(平面)上起到拉伸作用

数值注记

例 4 展示了”特征值已知时手工求特征向量”的好方法。用软件对指定的 做行化简求特征空间通常也可行,但不完全可靠:舍入误差偶尔会导致阶梯形主元个数出错。成熟的程序会把特征值和特征向量的近似同时计算出来。

定理 1三角矩阵的特征值就是其主对角线上的元素。

证明:以 上三角为例:

是特征值当且仅当 有非平凡解,即方程有自由变量。由于 的零结构,方程有自由变量当且仅当对角线上至少有一个元素为零,即 等于某个 。下三角情形见原书习题 28(利用 特征值相同)。■

例 5 的特征值为 3、0、2(上三角), 的特征值为 4 和 1(下三角,4 重复出现)。■

特征值为 0 意味着什么? 的特征值当且仅当 有非平凡解,当且仅当 不可逆。这条事实会加入 5.2 节的可逆矩阵定理。

定理 2:若 矩阵 互不相同特征值 对应的特征向量,则集合 线性无关。

证明(反证法):假设其线性相关。因 ,取最小的下标 使 是前面(线性无关的)向量的线性组合:

两边乘 并利用

再用 乘 (5) 并与 (6) 相减:

线性无关,(7) 中系数全为零;而特征值互异使 ,故 ,于是 (5) 给出 ,矛盾。■

这条定理是 5.3 节对角化理论的基石。

特征向量与差分方程

对一阶差分方程(动力系统)

取一个特征向量 及其特征值 ,令

就是 (8) 的一组解,因为

而且这类解的线性组合也是解(见 5.6 节的一般理论)。这就是特征值能”预测未来”的第一个迹象。

5.1 练习题(Practice Problems)

1. 5 是 的特征值吗?

2. 的对应于 的特征向量, 是什么?

3. 是互异特征值 的特征向量, 是第三个互异特征值 的两个线性无关特征向量。 一定线性无关吗?

4. 的特征值,证明 的特征值。

练习题解答

1. 5 是特征值当且仅当 有非平凡解。计算

对增广矩阵行化简:

没有自由变量, 可逆,所以 5 不是 的特征值

2.;再算一次 。一般地 (归纳可证)。也就是说:特征向量的身份在 的幂下不变,特征值变成 的同次幂——这是幂法(5.8 节)的核心原理。

3. 是的,一定线性无关。。同一特征值的特征向量的线性组合仍在该特征空间中,所以 要么是 ,要么是 的特征向量。若它是 的特征向量,则由定理 2, 线性无关,迫使 ,与它是特征向量矛盾。故 ,进而 。由定理 2 得 ;又 线性无关,得 。四个系数全为零,故线性无关。

4. 因为 的特征值,存在 中非零向量 使 。两边同乘 2:,即 。所以 的特征值。

图 5-6

图 5-6:原书习题 35 的示意图—— 分别是特征值 2 和 3 的特征向量

关于习题

原书 5.1 节习题 35 用上图练习”几何作图”:已知 是特征值 2 和 3 的特征向量,,要求在同一坐标系下画出 并由线性性推出 ——这正是”特征方向上只伸缩”的直接应用。其余习题列表见原书。

通关标准

  • 给一个向量,能快速验证它是不是特征向量(算 看是否为倍数);
  • 给一个数 ,能通过判断 是否有非平凡解来确认它是不是特征值,并求出特征空间的一组基;
  • 知道三角矩阵的特征值就是对角元;0 是特征值 矩阵不可逆;
  • 能复述并使用定理 2(互异特征值的特征向量线性无关)。

5.2 特征方程

矩阵 的特征值被编码在一个特殊的标量方程——特征方程里。先用一个简单例子引出一般情形。

例 1 的特征值。

:要找所有使 有非平凡解的 。由可逆矩阵定理,这等价于找所有使 不可逆。而方阵不可逆当且仅当其行列式为零:

利用二阶行列式公式

令其为零得 。所以 的特征值是 3 和 。■

行列式把含两个未知量()的矩阵方程变成只含一个未知量的标量方程。同样的想法对任意 矩阵都成立,但先补充所需的行列式知识。

行列式

矩阵, 是对 只做行替换和行交换(不做倍乘缩放)得到的任一阶梯形, 为行交换次数。则 的行列式 等于 乘以 的对角元之积:

例 2 的行列式。

:下面的行化简用了一次行交换:

所以 。若换一条路线避免行交换(最后一步把第 2 行的 倍加到第 3 行):

此时 ,结果一致。■

由公式 (1), 可逆当且仅当 。这与 5.1 节的结论一起并入可逆矩阵定理(续):

定理(可逆矩阵定理(续)):设 矩阵,则 可逆当且仅当:s. 0 不是 的特征值;t.

几何直观:当 矩阵时, 恰好是 的三个列向量 张成的平行六面体的体积。体积非零当且仅当三列线性无关,即 可逆。

图 5-7

图 5-7: 等于由列向量 张成的平行六面体体积

定理 3(行列式的性质):设 矩阵。 a. 可逆当且仅当 ; b. ; c. ; d. 若 是三角矩阵,则 等于主对角元之积; e. 行替换不改变行列式;行交换使行列式变号;行的倍乘把行列式乘以同一倍数。

特征方程

由定理 3(a), 不可逆当且仅当 。标量方程

称为 特征方程。于是得到本章最重要的结论之一:

矩阵 的特征值当且仅当 满足特征方程

例 3 的特征方程。

:构造 ,并用定理 3(d)(三角矩阵行列式 = 对角元之积):

特征方程为 ,即 。展开也可写成

例 1 和例 3 中 都是 的多项式。一般地,若 矩阵,则 次多项式,称为 特征多项式。例 3 中特征值 5 出现了两次,称其**(代数)重数**为 2——重数即特征值作为特征方程根的重数。

例 4 矩阵的特征多项式为 ,求特征值及其重数。

:因式分解:

特征值为 0(重数 4)、6(重数 1)、(重数 1)。也可以按重数把特征值列表为 。■

矩阵的特征方程是 次多项式方程,计入重数与复根后恰有 个根。复根即复特征值,将在 5.5 节讨论;在那之前只考虑实特征值。

Warning

理论上特征方程很漂亮,实践中 以上的矩阵应该交给计算机求特征值(除非矩阵是三角形的或有特殊结构):三次多项式好列难分解;而且当 时根本没有求根的通用公式。MATLAB 等软件实际上反过来做:先算特征值,再展开 得到特征多项式。

相似性

若存在可逆矩阵 使 (等价地 ),则称 相似;把 变成 的操作叫相似变换

定理 4:若 矩阵 相似,则它们有相同的特征多项式,从而有相同的特征值(连同相同的重数)。

证明:若 ,则

于是

因为 。■

Warning

  1. 特征值相同不代表相似。 特征值都是 2(重数 2),但二者不相似。
  2. 相似不等于行等价。 对矩阵做行变换通常会改变它的特征值,千万不要用行化简去”求”特征值(呼应 5.1 的警告)。

应用于动力系统

特征值与特征向量是打开动力系统长期演化之谜的钥匙。

例 5,分析 的长期行为。

:第一步:求特征值与特征空间。特征方程:

由求根公式 。容易验证对应特征向量分别是 )与 )的倍数。

第二步:把 表示(它们显然构成 的一组基):

第三步:利用 ,逐项迭代得显式公式:

,故 。■

这正是 4.9 节马尔可夫链稳态定理的”为什么”:稳态向量 是特征值 1 的特征向量的倍数,而其余模小于 1 的特征值分量随迭代消失。

数值注记

  • 时不存在解特征方程的通用公式(阿贝尔定理的含义);
  • 优秀的数值方法完全绕开特征多项式:MATLAB 先算特征值再反推特征多项式;
  • QR 算法等迭代方法(见 5.8 节与原书习题)通过不断做相似变换 ,让非对角元趋于 0、对角元趋于特征值。

5.2 练习题(Practice Problem)

的特征方程与特征值。

练习题解答

特征方程:

由求根公式 ,无实根。所以 没有实特征值:它作用在实向量空间 上,不存在非零实向量 使 。这个矩阵其实隐藏着一个旋转——5.5 节会揭开谜底。

通关标准

  • 会用 (以及三角矩阵)的特征值;
  • 理解”代数重数”的含义,能从特征多项式的因式分解读出全部特征值及重数;
  • 记住相似矩阵同特征值(但反之不成立)、行变换会破坏特征值;
  • 能用”分解 “分析 动力系统的长期行为。

5.3 对角化

若能把矩阵 分解成 为对角矩阵),那么 的计算将变得极其轻松——这是线性代数最重要的应用思想之一,5.6、5.7 节将用它去”解耦”动力系统。

先看对角矩阵的幂有多好算。

例 1,则 ,一般地 )。对角矩阵的幂就是各对角元分别取幂。■

例 2,已知 ,其中

的公式。

:先求 。利用结合律,中间的 相互抵消:

一般地,对

不用做一次 次矩阵乘法,就把 这样的结果写成了公式。■

定义:若 相似于某个对角矩阵,即 可逆, 对角),则称 可对角化

定理 5(对角化定理) 矩阵 可对角化当且仅当 个线性无关的特征向量。此时 ,其中 的列恰是 个线性无关特征向量, 的对角元是与 各列依次对应的特征值。

换言之: 可对角化当且仅当特征向量够多到能拼成 的一组基(称为特征向量基)。

证明:关键观察——若 的列是 的对角元是 ,则

,两边右乘 ,逐列比较得 ;由 可逆知各列线性无关且非零,故它们确实是特征向量。反之,任取 个特征向量排成 、相应特征值排成 ,总有 ;若它们线性无关,则 可逆,于是 。■

对角化的四步法

例 3 对角化

第 1 步:求特征值。 特征方程 ,特征值为

第 2 步:找三个线性无关特征向量(这是关键一步,若失败则 不可对角化)。用 5.1 的方法求各特征空间的基:

可验证 线性无关。

第 3 步:用特征向量构造 (顺序不重要):

第 4 步:用对应特征值构造 (顺序必须与 的列一一对应, 要用两次):

检验:不直接算 ,改为验证

(当然还要确认 可逆,即三列线性无关。)■

例 4 对角化

:特征方程与例 3 完全相同:,特征值 1 和 。但这次每个特征空间都只有一维:

没有其他特征值, 的每个特征向量都是 的倍数,无法用特征向量拼出 的基。由定理 5, 不可对角化。■

例 3 与例 4 对比鲜明:两个矩阵有完全相同的特征多项式,一个可对角化、一个不行。差别全在特征空间的维数上—— 的代数重数是 2,例 3 中它的特征空间维数也是 2(几何重数跟上了),例 4 中只有 1(跟丢了)。

定理 6:若 矩阵 个互不相同的特征值,则 可对角化。

证明 个互异特征值对应的特征向量线性无关(定理 2 与定理 5.1 节定理 2),故由定理 5 立得。■

注意定理 6 只是充分条件:有 个互异特征值一定可对角化,但可对角化不要求互异——例 3 只有两个不同特征值照样可对角化。

例 5 判断 是否可对角化。

:太简单了! 是三角矩阵,特征值为 5、0、,三个互异特征值,由定理 6 立即可对角化。■

特征值不互异的情形

定理 7:设 矩阵 的互异特征值为 。 a. 对每个 的特征空间维数 的(代数)重数; b. 可对角化 各特征空间维数之和等于 特征多项式完全分解为一次因式,且每个 的特征空间维数恰等于其重数; c. 把各特征空间的基全部并起来,就构成 的一组特征向量基。

例 6 对角化

是三角矩阵,特征值为 5 和 ,各重数 2。求各特征空间的基:

四个特征空间维数 ,且由定理 7(c) 它们合起来线性无关。于是 可逆,

。■

5.3 练习题(Practice Problems)

1. 计算 ,其中

2.,已知 的特征向量,用它对角化

3. 矩阵特征值为 5、3、,且已知 的特征空间是二维的。能否判断 可对角化?

练习题解答

1. 先对角化。,特征值 2 和 1,对应特征向量 。取

,于是

2. 先算出每个特征向量对应的特征值:

所以

(构造 时特征值顺序必须与 的列对应。)

3. 可以判断, 一定可对角化。 的特征空间二维,给出两个线性无关特征向量 ;再为 各取一个特征向量 。由定理 2 及 5.1 练习题 3 的推广, 线性无关。 中不可能再有更多线性无关特征向量,所以 的特征空间都是一维的,特征空间维数总和 ,由定理 7(b) 可对角化。

通关标准

  • 背下对角化四步法:求特征值 → 求各特征空间的基 → 拼 → 按列对应拼 ,并会用 检验;
  • 牢记唯一判据: 个线性无关特征向量(等价说法见定理 7b);
  • 明白”互异特征值 可对角化”只是充分条件;重数对不上(几何重数 < 代数重数)才是不可对角化的典型原因。

5.4 特征向量与线性变换

本节要从线性变换的角度重新理解分解 :选对基之后,变换 与一个极简单的映射 本质上是同一个变换

回忆 1.9 节: 的线性变换都可用矩阵左乘实现。现在要对任意两个有限维向量空间之间的线性变换做同样的事。

线性变换的矩阵

维向量空间, 维向量空间, 是线性变换。给 取基 、给 取基 ,任何 都有坐标向量 ,其像也有坐标向量

图 5-8

图 5-8:从 的线性变换(借助坐标向量进入

两者的联系容易求出。设 ,若 ,则由 的线性:

称为 相对于基 的矩阵。它把”求 “变成了纯矩阵乘法:先取坐标、左乘 、再去解释。

图 5-9

图 5-9: 相对于基 的矩阵

例 1 的基, 的基, 满足

相对于 的矩阵。

:把像的 -坐标向量并排摆好即可:

是同一空间 的两组基且 是恒等变换 ,则 就是 4.7 节的坐标变换矩阵。

到其自身的变换

最常见的情形是 。此时 称为 相对于 的矩阵,记作 ,满足

图 5-10

图 5-10: 到自身的线性变换与 -矩阵

例 2 映射 定义为

(学过微积分的同学一眼认出:这就是求导算子。) a. 求 相对于基 的矩阵;b. 验证

:a. 算基向量的像:

写出各自的 -坐标并并排:

b. 对

图 5-11

图 5-11:线性变换的矩阵表示——坐标层面的乘法

上的线性变换与对角化

应用问题中, 上的线性变换 通常以矩阵变换 的面目出现。若 可对角化,则 有由 的特征向量组成的基,下一定理说明:此时 -矩阵是对角矩阵。对角化 的本质,就是给变换 找一个对角的矩阵表示。

定理 8(对角矩阵表示):设 为对角矩阵)。若 是由 的列组成的 的基,则 是变换 -矩阵。

证明:记 的列为 ,则 正是坐标变换矩阵:。若 ,则

。■

例 3 定义 。求 的一组基 ,使 -矩阵是对角矩阵。

:由 5.3 节例 2 知 ,其中 的列是 的特征向量,由定理 8,取 (即 的两列),则 -矩阵就是 。也就是说,同一个线性变换在不同基下的两副面孔。■

矩阵表示的相似性

定理 8 的证明根本没用 ” 是对角的” 这一事实:只要 就是(以 的列为基 时)变换 -矩阵。反过来,对任意基 都与 相似。结论: 相似的全部矩阵 = 变换 的全部矩阵表示

图 5-12

图 5-12:两个矩阵表示的相似关系

例 4 的特征多项式为 ,但特征值 的特征空间只有一维,所以 不可对角化。不过基 能让 -矩阵成为三角矩阵——称为 若尔当形。求这个 -矩阵。

-矩阵为 。先算

再左乘 ):

注意特征值 出现在对角线上。■

数值注记

计算 -矩阵 的高效方法:先算 ,再对增广矩阵 做行化简得 ——不必单独求

5.4 练习题(Practice Problems)

1. 相对于基 的矩阵为

2. 验证:“相似于”是等价关系:(a) 相似于 ;(b) 相似于 相似于 ,则 相似于

练习题解答

1.,则

所以 。注意 的第 列就是 的坐标。

2. (a) ,故 相似于自身。(b) 由条件存在可逆矩阵 使 。代入并利用

这正是” 相似于 “的形式。

通关标准

  • 会构造 相对于给定基的矩阵(把 的坐标当列);
  • 理解定理 8 的双重含义: 的列 = 特征向量基, = 对角矩阵表示;
  • 能说出”所有与 相似的矩阵都是同一个变换在不同基下的表示”,并明白不可对角化时退而求其次可得(若尔当)三角表示。

5.5 复特征值

实矩阵的特征方程也可能没有实根。要读懂这些”隐藏信息”,就得让 作用在复向量空间 上——许多涉及周期运动、振动、旋转的真实系统都依赖这套理论。

好消息是:前面为 建立的特征值—特征向量理论原封不动地搬到 。复标量 满足 当且仅当存在非零复向量 使

例 1 把平面逆时针旋转 90°,转四次回到原处。显然没有非零向量被转到自己的倍数方向上,所以 中没有特征向量、没有实特征值。特征方程为 ,根是复数 。但若允许 作用在 上:

所以 是(复)特征值,对应特征向量为 。■

例 2,求 的特征值及各特征空间的基。

:特征方程:

求根公式:

构造 。含复数的手工行化简很痛苦,但有个漂亮的观察:既然 是特征值,方程组

必有非平凡解,因此两个方程给出同一个 之间的关系,随便用哪个都行。用第二个:

消去小数,得 。于是 的特征空间基为

同理得 。验证: ✓。■

例 3 取初始点 ,反复乘 ……把 及后续迭代点画出来,序列沿一条椭圆轨道绕原点旋转——出人意料:特征值为复数的实矩阵,其作用本质上是一个旋转

图 5-13

图 5-13:复特征值矩阵作用下点 的迭代轨道(椭圆)

向量的实部与虚部

复向量 共轭 是把每个分量取共轭得到的向量;实部 虚部 是由各分量的实部/虚部组成的实向量。

例 4,则

共轭运算与矩阵运算兼容:。■

实矩阵的复特征值成对共轭出现

是实矩阵, 是特征值、 是相应特征向量,则对两边取共轭并用

所以 也是特征值, 是相应特征向量。实矩阵的复特征值与特征向量总是成对共轭出现 时)。

例 5 例 2 的两个特征值 互为共轭,对应的特征向量 也互为共轭。■

基本构件:形如 的矩阵

例 6 为实数且不全为零),则 的特征值为 (本节练习题会证明)。令 ,则

其中 是从正 轴到射线 的角度(称为 辐角)。所以 = 先旋转角 ,再缩放 倍。

图 5-14

图 5-14:矩阵 的旋转角 (复特征值的辐角)

图 5-15

图 5-15:先旋转、后缩放

现在可以揭开藏在复特征值里的旋转了。

例 7 沿用例 2 的 。构造实矩阵

并计算

由例 6, 是纯旋转,因为 。由

——旋转就”藏在” 内部!做变量替换 后, 的作用 = 换到 坐标 → 旋转 → 换回 坐标。轨道呈椭圆而非正圆,是因为 的两列构成的坐标系不是等长的直角坐标系。

图 5-16

图 5-16:复特征值带来的旋转(藏在 内部)

定理 9:设 是有复特征值 的实 矩阵, 是相应特征向量。则

(证明利用 ,以及 线性无关。)

图 5-17

图 5-17:定理 9 的分解——特征值实部 决定伸缩、虚部 决定旋转角

高维情形同样如此:若 实矩阵有复特征值,则 中存在一个平面, 在该平面上就是旋转(可带缩放),且该平面在 不变

例 8 矩阵 的特征值为 和 1.07。-平面上的向量被 在平面内旋转;平面外的向量,其 坐标被乘以 1.07(螺旋上升)。■

5.5 练习题(Practice Problem)

证明:若 为实数,则 的特征值为 ,对应特征向量为

练习题解答

判断特征向量根本不用碰特征方程,直接验证定义:

所以 的特征向量。由共轭成对原理, 也是特征值, 是相应特征向量。

通关标准

  • 会求 实矩阵的复特征值(求根公式)和复特征空间的一组基(利用”两行等价”的技巧避开复数行化简);
  • 记住实矩阵的复特征值/特征向量共轭成对;
  • 掌握定理 9:,并能把 的作用解读为”旋转 缩放 ”;
  • 理解动力系统里的几何语言: 椭圆轨道, 外旋, 内旋。

5.6 离散动力系统

特征值与特征向量是理解差分方程 长期行为的钥匙——无论是人口迁移、马尔可夫链,还是本章开头的斑点猫头鹰模型, 记录着系统在时刻 的状态。

应用背景

本节以生态问题为例,因为它们最直观。但动力系统遍布各个学科:控制理论课程里的现代状态空间设计方法就大量依赖矩阵代数,工程上所说的”稳态响应”正是这里的”长期行为”。

特征向量分解决定一切

可对角化,有线性无关特征向量 及相应特征值 ,且按 排列。任何初始向量都能唯一分解:

由于 ,逐次迭代得

这个公式把系统的未来完全摊开了:每一项按 独立演化。当 会发生什么,就看各 与 1 的大小关系。

图 5-18

图 5-18:捕食者—猎物系统:斑点猫头鹰以林鼠为主要食物

捕食者—猎物系统

例 1 加州红杉林中,林鼠为斑点猫头鹰提供多达 80% 的食物。设 为猫头鹰数量, 为林鼠数量(千只),模型为

其中 是捕食参数:没有鼠时每月一半的猫头鹰存活;没有鹰时鼠群每月增长 10%; 表示食物充足时鹰群上升; 表示被鹰捕食的鼠( ≈ 一只鹰一个月吃掉的老鼠数)。取 ,分析系统演化。

:系数矩阵 的特征值为 ,对应特征向量

分解为 ,则

。设 ,则充分大的 之后:

即最终每月鹰和鼠都按约 2% 增长;且 的两个分量之比趋近 ——每 10 只鹰对应约 1.3 万只鼠。■

例 1 体现了一般规律:若 而其余 ,且 ,则充分大的

决定系统的最终增长率, 决定最终的分量比例。

解的图形描述

时,可以把 的图像(称为轨道)画出来,直观地看系统的走向。

例 2 的若干轨道,

:特征值 0.8 与 0.64,特征向量 。若 ,则 。两个特征值的模都小于 1 时,原点称为系统的吸引子:所有轨道都奔向原点,其中吸引最强的方向是模较小特征值的特征向量所在直线( 轴)。

图 5-19

图 5-19:原点作为吸引子(所有轨道收向 0)

例 3 的典型轨道,

:特征值 1.44 与 1.2 都大于 1,除零解外一切解都发散远离原点。原点称为排斥子排斥最强的方向是模较大特征值的特征向量所在直线。

图 5-20

图 5-20:原点作为排斥子(轨道四散离去)

例 4 的典型轨道,,并证明初始点不在 -轴上的解都无界。

:特征值 2 与 0.5。若 ,则

-轴上时 ;否则第一项无限增大,解无界。这种”有的方向吸、有的方向斥”的原点称为鞍点:一个特征值模大于 1、另一个小于 1 时出现。最强吸引方向 = 小模特征值的特征向量方向;最强排斥方向 = 大模特征值的特征向量方向。

图 5-21

图 5-21:原点作为鞍点(沿一个轴被吸入、沿另一个轴被弹出)

换元解耦

上面三个例子的 都是对角的。对非对角但可对角化的 :取 为相应特征值构成的对角矩阵。令 (即 ),代入

各分量彻底解耦,互不干扰。 其实就是 在特征向量基下的坐标向量—— 时相当于把坐标纸的轴换到两个特征向量方向上再画图。

例 5 证明 )的原点是鞍点,并求最强吸引/排斥方向。

的特征值为 2 与 0.5,特征向量 。因 ,原点是鞍点。若 ,则

在过 0 与 的”斜坐标纸”上,图形与例 4 完全同构:最强排斥方向是过 的直线(),最强吸引方向是过 的直线()。

图 5-22

图 5-22:用特征向量方向作坐标轴后,鞍点图样与对角情形一模一样

复特征值的情形

矩阵若有复特征值,在 上不可对角化,但轨道照样好描述:特征值模为 1 时绕原点沿椭圆轨道旋转(5.5 节例 3);模大于 1 时向外螺旋,原点是排斥子;模小于 1 时向内螺旋,原点是吸引子。

例 6 可验证 的特征值为 (模 )。图中三条轨道的初始向量分别为 ,全部向内螺旋收缩。

图 5-23

图 5-23:复特征值对应的向内螺旋轨道

斑点猫头鹰的命运

回到引入例:阶段矩阵

计算得特征值约为 。三个特征值的模都小于 1()。在 中三个互异特征值给出线性无关的特征向量 ,通解为

虽然右端是复向量的和,但由于 是实的,每个 都是实向量。三项全都趋于零向量,所以 ——这个模型预测斑点猫头鹰终将灭绝

还有希望吗?18% 那一项的来历是:60% 的幼鸟能离巢,但其中只有 30% 能找到新领地(林中皆伐空地使迁徙危险陡增)。若栖息地管理得当,存活率可以提高。

例 7 假设幼鸟搜寻存活率提高到 50%,即 元从 0.18 变为 0.3,模型有何预言?

:新的特征值约为 的特征向量约为 。由公式 (11),后两项随 消失, 越来越像 (可证 非负时 )。于是猫头鹰种群将缓慢增长,长期增长率 1.01;最终各阶段比例为:每 31 只成鸟对应约 10 只幼鸟和 3 只亚成鸟。只需把一个参数从 0.18 提到 0.30,命运就完全翻转——这就是特征值分析的威力。■

5.6 练习题(Practice Problems)

1. 矩阵 的特征值为 ,对应特征向量

时的解。

2. 上述 时如何?

练习题解答

1. 第一步:把 写成 的线性组合。对 行化简得权重

于是通解为

2. 时后两项趋于零向量:

(特征值为 1 的那一份保留下来,正是”稳态”的来源。)

通关标准

  • 会用公式 (2) 写出动力系统的显式解,并据此判断 时的行为;
  • 会分类原点:全部 → 吸引子;全部 → 排斥子;一个大于 1 一个小于 1 → 鞍点(复特征值则看模,轨道为螺旋);
  • 能说出最强吸引/排斥方向对应哪条特征向量直线;
  • 理解斑点猫头鹰例子的完整逻辑链:存活率 → 特征值 → 增长或灭绝。

5.7 微分方程的应用

5.6 节处理的是离散时间(差分方程);当若干量随时间连续变化时,得到线性微分方程组:

其中 的可微函数。求导与矩阵乘法都是线性运算,所以解的线性组合仍是解(工程师称之为叠加原理):若 是解,则 也是解。

微分方程理论保证 (1) 存在基本解组 个线性无关的解,任何解都是它们的唯一线性组合;指定 初值问题有唯一解。

特征函数:微分方程的”积木”

是对角矩阵时中学微积分就能解:比如 解耦的,解为 。这启发我们猜测 (1) 有形如

的解( 为固定非零向量)。求导得 ,而 ;因 恒不为零, 当且仅当 —— 是特征值、 是特征向量。每个特征值—特征向量对给出一个解 (4),称为微分方程的特征函数

例 1 下图的电路可用微分方程描述:

图 5-24

图 5-24:例 1 中的双电容电路

F, F,初始电压 V、 V。求电压随时间变化的公式。

:代入数据得 的特征值为 ,对应特征向量

特征函数的线性组合仍是解,设 ,由

所以

两个特征函数都衰减到零,但 衰减更快:若初始电压大小相等、符号相反,电压将以最快速度归零。■

的图像(轨道)如下图:原点称为吸引子(汇)最强吸引方向是更负特征值 的特征函数所在直线(过 0 与 );其他轨道因 分量迅速衰减而渐近于过 的直线。

图 5-25

图 5-25:微分方程系统的吸引子轨道

若特征值全为正,轨道形状相同但方向朝外,原点称为排斥子(源),最强排斥方向对应最正的特征值。

例 2 粒子在平面力场中运动,位置向量满足

解初值问题并画出轨迹。

的特征值为 ,特征向量 。设

解得

正、负特征值并存时原点是鞍点:最强排斥方向为正特征值对应的 直线,最强吸引方向为负特征值对应的 直线。一些轨迹先靠近原点再折返离去。

图 5-26

图 5-26:微分方程系统的鞍点轨道

解耦动力系统

可对角化,特征函数 线性无关)就构成基本解组。令 ,做变量替换 (即 在特征向量基下的坐标):

系统被解耦,逐个解出 ,其中 。换回原坐标:

正是例 1 的特征函数展开。

复特征值

实矩阵的复特征值 与共轭特征向量 给出两个复解 。利用幂级数 ,可以把 拆成两个实解

时二者线性无关。)正弦、余弦的出现,正是旋转的来源。

例 3 下图的电路满足

图 5-27

图 5-27:例 3 中的电感—电容电路

F, H,初始电流 3 A,初始电压 3 V,求

:代入得 。复特征值 ,特征向量 。复解为

取实部、虚部得两个实解:

通解 。代入 ,即

原点是螺旋点:正弦/余弦带来旋转, 使轨道向内盘旋( 是特征值的实部)。实部为正则向外盘旋,实部为零则绕椭圆。

图 5-28

图 5-28:原点作为螺旋点

5.7 练习题(Practice Problems)

矩阵 的特征值为 ,对应特征向量

1. 用复矩阵意义下的 判断 是否可对角化。 2. 写出 的复特征函数通解,再求一般实解。 3. 描述典型轨道的形状。

练习题解答

1. 可以。三个特征值互异,特征向量线性无关(定理 2 对复标量同样成立),所以 可对角化。

2. 复通解:

取第二项 的实部与虚部,得实通解( 为实数):

3. 的解被负指数吸向原点;其他解含增长因子 (实部 ),轨道向外螺旋。

Warning

别把 5.6 与 5.7 的判据搞混:离散系统看 与 1 比();连续系统看 实部正负()。

图 5-29

图 5-29:原书习题 22 的电路图——同一套”特征对 → 解”的流程可用来求 RLC 电路中 随时间的变化

关于习题

原书 5.7 节习题 22 以上图电路为背景:方程 ,给定 F、 H 与初始条件后,按本节方法求特征对、构造通解再定系数即可。其余习题列表见原书。

通关标准

  • 会解初值问题:通解 = 特征函数线性组合,再用 定系数;
  • 会给原点分类:全负特征值 → 汇(吸引子),全正 → 源(排斥子),正负混合 → 鞍点,复特征值 → 螺旋(实部定进出、虚部定旋转);
  • 会把复解拆成实部/虚部两个实解。

5.8 特征值的迭代估计

科学计算中特征值很少能精确已知,但通常只需一个足够好的近似——尤其经常只需要最大特征值的近似。本节介绍两个经典迭代算法:幂法与反幂法。

幂法(Power Method)

幂法适用于有严格占优特征值 的矩阵,即 严格大于其余所有特征值的模:

可对角化,)。由 5.6 节公式 (2):

除以

因为 ,各项比值的幂趋于零,所以 。也就是说,方向越来越对齐特征向量 (或 )。

例 1 的特征值为 2 和 1, 的特征空间是过 0 与 的直线。计算 ),观察方向的变化。

:前三次计算:

完整的迭代序列如下表:

012345678

向量越来越长画不下,但把它们确定的方向(过原点的直线)画出来:这些直线越来越贴近 张成的特征空间,夹角趋于零。

图 5-30

图 5-30: 确定的方向逐步逼近特征方向

实际操作中不知道 ,没法按 缩放。替代方案:每次把 缩放到最大分量为 1。可以证明这样得到的序列 收敛于最大分量为 1 的那个 的倍数;且当 接近特征向量时, 的最大分量近似为

图 5-31

图 5-31:按最大分量缩放后的迭代向量序列,方向趋于一致

幂法算法(估计严格占优特征值):

  1. 选初始向量 ,其最大分量为 1;
  2. :(a) 计算 ;(b) 取 中绝对值最大的分量记为 ;(c) 令
  3. 对几乎所有初始向量, 趋于占优特征值, 趋于相应特征向量。

例 2 用幂法处理 ,算到 ,估计占优特征值与特征向量。

继续迭代,结果汇总:

012345
587.1257.01757.00257.00036

。验证: ✓。占优特征值为 7,特征向量为 的倍数。■

收敛快慢取决于比值 :例 2 中第二特征值 远小于 7,收敛极快;若 接近 1,收敛会很慢。另外,初始向量凑巧不含 分量()的概率极小——舍入误差通常会”制造”出一点 分量,序列随后照常收敛。

反幂法(Inverse Power Method)

幂法只能找最大特征值。反幂法能逼近任意特征值 ,前提是有一个较好的初始估计 。令 ,对 使用幂法。 的特征值恰为

特征向量与 相同。若 最接近 ,则 的严格占优特征值,且 越接近 占优越悬殊、幂法收敛越快。

反幂法算法(估计 的特征值 ):

  1. 取足够接近 的估计
  2. 取最大分量为 1 的初始向量
  3. :(a) 解 ;(b) 取 中绝对值最大的分量 ;(c) 令 ;(d) 令
  4. 对几乎所有初始向量, 趋于 趋于相应特征向量。

注意算法中从不显式求逆 :每步改为解方程组(可预先做 分解加速)。

例 3 已知矩阵

的特征值粗略估计为 21、3.3、1.9,求最小特征值(精确到六位小数)。

:两个较小的特征值靠得近,对 使用反幂法。任取 (最大分量 1),每步解 ,取 的最大分量,

01234
7.769.91979.99499.99969.999975
2.032.00082.000052.0000042.0000002

序列迅速收敛,最小特征值恰为 2。■

若没有最小特征值的估计,可取 ;只要最小特征值离 0 比离其他特征值近得多,效果也不错。这两个算法适合简单场合;更稳健、更通用的是 QR 算法——MATLAB 的 eig(A) 命令的核心。

5.8 练习题(Practice Problem)

怎么判断向量 是不是矩阵 的特征向量的好近似?若是,如何估计相应特征值?用

实验。

练习题解答

计算:

近似为 的倍数,则对应分量之比应近乎相等:

的分量 的分量 比值
3.001.003.000
3.023
24.508.103.025

三个比值都接近 3,所以 是相当不错的特征向量近似;任一比值都是特征值的估计(五位数精确值约 3.02409)。这个思路的严格版本就是瑞利商 ——若 对称时 的精度大约是幂法缩放因子 的两倍。

通关标准

  • 会执行幂法并说出原理: 的方向被占优特征项 主导;
  • 会执行反幂法并说出原理: 把离 最近的特征值放大成占优特征值;
  • 记住收敛速度由 决定;会用分量比(或瑞利商)检验近似特征向量并估计特征值。

自测一下