Note

本篇是《Linear Algebra and its Applications》(David C. Lay,第 5 版)第 2 章 Matrix Algebra(矩阵代数) 的中文精讲笔记。第 1 章我们学会了把方程组写成 并用行化简求解;本章要给”矩阵”本身建立一套代数运算规则——矩阵怎么加、怎么乘、什么时候可逆、怎么求逆、怎么分解。这套工具是后续所有章节(以及工程、经济、图形学中的实际应用)的地基。每一节都保留原书全部例题并给出逐步解答,配原图与中文图注。

章首导读:飞机设计中的计算机模型

波音 Phantom Works 的工程师在设计新一代商用与军用飞机时,使用三维建模与计算流体力学(CFD):先在计算机里构建整架飞机的”线框”数学模型,再在模型上叠加三维”盒子”网格,反复细分与表面相交的盒子,直到网格足够精细——一个典型网格可包含超过 40 万个盒子。

图 2-1

图 2-1:波音 777 的数学线框模型

求飞机周围气流的过程,就是反复求解一个规模可达 200 万个方程、200 万个未知量 的线性方程组 ,而且 每次都随网格数据和上一步的解而变化。本章介绍两个帮助求解这种大规模方程组的关键概念:

  • 分块矩阵:CFD 方程组的系数矩阵是”稀疏”的(绝大多数元素为零)。把变量恰当分组后可以得到零子块很多的分块矩阵(2.4 节)。
  • 矩阵分解:波音的 CFD 软件使用系数矩阵的 LU 分解 来进一步简化计算(2.5 节)。

解出气流之后,工程师还要把结果可视化:线框模型的数据存放在许多矩阵里,缩放、平移、旋转图像全部通过矩阵乘法完成(2.7 节)。

图 2-2

图 2-2:现代 CFD 革新了机翼设计——图中为波音翼身融合体(Blended Wing Body)概念机

方阵而言,2.3 节的可逆矩阵定理把本章与前章的几乎所有概念串成一个整体;2.8、2.9 节则引入子空间、基、维数与秩,为第 4 章的向量空间理论铺路。


2.1 矩阵运算

矩阵( 列),则第 行第 列的数记作 ,称为 元。 的每一列都是 中的向量,常记为 ,于是

注意 正是第 列向量 从上往下数的第 个分量。

几个基本术语:

  • 对角元,它们构成 主对角线
  • 对角矩阵:非对角元全为零的 方阵,例如 单位矩阵
  • 零矩阵:元素全为零的 矩阵,记作 (大小通常由上下文确定)。

和与数量积

两个矩阵相等,当且仅当它们同尺寸且对应元素相等。若 都是 矩阵,则 的每个元素是对应元素之和。只有同尺寸的矩阵才能相加。

例 1

没有定义,因为 ,尺寸不同。

是数量(标量),则数量积 的每个元素是 对应元素的 倍。记

例 2 用例 1 中的

定理 1(矩阵加法与数量积的性质) 同尺寸, 为数量:

  • a. ; b. ; c.
  • d. ; e. ; f.

这些等式逐列验证即可:因为每一列都是向量,向量的运算律直接传递给矩阵。由于加法结合律, 不必加括号。

矩阵乘法

矩阵 把向量 变成 ,若再左乘矩阵 ,就得到 ——这正是一个复合映射(1.8 节的线性变换复合)。我们的目标是:找一个矩阵 ,使得

图 2-3

图 2-3:先乘 再乘

图 2-4

图 2-4:直接乘 ,效果相同

(列向量 ),,则 ,由乘 的线性性:

我们找到了要找的矩阵!

定义(矩阵乘法) 矩阵, 矩阵,则乘积 矩阵,其各列为

这个定义使式 (1) 对一切 成立——矩阵乘法对应线性变换的复合

例 3 计算 ,其中

,分别计算:

于是

注意:每一列都是 的列向量的线性组合,权重来自 的对应列。

例 4 矩阵, 矩阵, 的尺寸是多少(若有定义)?

有 5 列、 有 5 行,故 有定义且是 矩阵:

图 2-5

图 2-5:,中间的”5”必须匹配

没有定义,因为 的 2 列对不上 的 3 行。

计算 的行—列法则:若 有定义,则 的第 元等于 行与 列对应元素乘积之和:

例 5 用行—列法则计算例 3 中 的两个元素。

第 1 行第 3 列元素:取 的第 1 行与 的第 3 列,对应相乘再相加:

求第 2 行第 2 列元素:取 的第 2 行与 的第 2 列:

两种算法得到的当然是同一个矩阵。

例 6 的第二行,其中

由行—列法则, 第二行的元素只用到 的第二行:

既然只要第二行,也可以直接拿 的第二行去乘

一般地有

矩阵乘法的性质

定理 2 矩阵, 的尺寸使下述运算有意义:

  • a. (乘法结合律);
  • b. (左分配律);
  • c. (右分配律);
  • d. 为数量;
  • e. (单位矩阵是乘法单位元)。

(a) 的另一种证明用列定义:设 ,则

结合律与分配律说明:只要从左到右的顺序不变,乘积 可以任意加括号。但顺序本身绝不能换

矩阵代数与实数代数的三大差异

  1. 一般 ——若 ,称 可交换,这是特例而非常态;
  2. 消去律不成立 推不出 (除非 可逆);
  3. 推不出 ——两个非零矩阵可以乘出零矩阵。

例 7,验证 不可交换。

两者显然不同。

矩阵的幂

方阵, 为正整数,则 表示 连乘:。约定 (因此 )。矩阵幂在理论与应用中都很有用(如 2.6 节的经济模型、第 5 章的特征值问题)。

矩阵的转置

矩阵 转置 矩阵,其列由 的行依次组成(即”沿主对角线翻折”)。

例 8

定理 3(转置的性质)

  • a.
  • b.
  • c.
  • d.

注意 (d):乘积的转置等于转置的积,但顺序颠倒。推广到多个因子:乘积的转置 = 各因子转置按相反顺序的乘积。

原书在此处印有配套网络资源(WEB)的图标,提示可在线获取本节补充材料与习题数据:

图 2-6

图 2-6:原书 WEB 图标(配套网络资源标记)

数值注记(缩略):高性能库(如 LAPACK)按列计算 ;乘法定义天然适合并行计算——把 的各列分给不同处理器同时算。

2.1 练习题

本节习题见原书 2.1 EXERCISES(含矩阵和、积的计算, 与消去律失效的反例构造,以及内积 与外积 等)。

2.1 复习题(PRACTICE PROBLEMS)

1. 中的向量可看作 矩阵,故定理 3 对向量同样适用。设

计算 ,并问 是否有定义?

(展开讲解)先算

所以 。再算

两者相等,正印证定理 3(d):。接着

矩阵通常省略方括号直接写成一个数。最后 没有定义 有 2 列而 只有 1 行,中间维数不匹配。

2. 矩阵,。计算 最快的方法是什么?需要多少次乘法?

先算 再算 。每次矩阵乘向量需 次乘法,共 次。若先算 (16 个元素、每个 4 次乘法,共 64 次)再乘 (16 次),总计 80 次。结论:“矩阵连乘向量,永远从最右边算起”

3. 是各行完全相同的 矩阵, 是各列完全相同的 矩阵。 的元素有何特点?

由定义 ,而 的列全相同,故 各列相同;又由 的行全相同,各行也相同。两者合起来:所有元素全部相等

通关标准

能不假思索地说出: 有定义当且仅当 的列数等于 的行数; 的第 列是 ;并记得


2.2 矩阵的逆

实数里,非零数 有倒数 ,满足 。矩阵的”倒数”就是逆矩阵。注意矩阵乘法不可交换,所以必须同时要求左右两个等式;而且完整推广只在方阵情形才可能。

定义 矩阵 称为可逆的,若存在 矩阵 使

此时 的逆,且唯一:若 也是逆,则 。唯一逆记作

不可逆的矩阵也叫奇异矩阵,可逆矩阵也叫非奇异矩阵

例 1,则

二阶矩阵的逆公式

定理 4。若 ,则 可逆,且

,则 不可逆。

称为 行列式,记 。定理 4 即:二阶矩阵可逆 行列式非零

例 2 的逆。

,故可逆:

逆矩阵与方程组的解

定理 5 是可逆的 矩阵,则对每个 ,方程 有唯一解

证明思路:代入验证 ,故是解;若 是任一解,两边左乘 ,即 ,故唯一。

可逆矩阵还常常能给现实模型提供洞察,下面是一个典型例子。

例 3(弹性梁的柔度与刚度矩阵) 水平弹性梁两端支撑,在点 1、2、3 处受力(图 2-7)。设 列出三点受力, 列出三点的挠度(位移)。由物理学的胡克定律可写 柔度矩阵,其逆 刚度矩阵。问 各列的物理意义是什么?

图 2-7

图 2-7:弹性梁的挠度

代入:

解释为”只在点 1 施加单位向下力”,则 的第一列)就是点 1 单位力引起的三个点挠度;第二、三列类似。对 ,由 可知其第一列 是”使点 1 产生单位挠度、其余点挠度为零所需的三个力”(其中必有一两个力为负,即方向向上)。若柔度以”英寸挠度每磅载荷”计,刚度元素的单位就是”磅每英寸”。

实际计算别用逆矩阵解方程

定理 5 的公式 很少用于数值计算:对 做行化简几乎总是更快(涉及舍入时也往往更精确)。 情形是例外——心算 有时更容易。

例 4 用例 2 中 的逆解方程组

方程组即 ,故

逆矩阵的运算律

定理 6 矩阵:

  • a. 若 可逆,则 可逆,且
  • b. 若 都可逆,则 可逆,且 逆序取逆);
  • c. 若 可逆,则 可逆,且

(b) 的证明是典型的”按定义验证”:,反序同理。(c) 用定理 3(d) 从右往左读:。推广:若干个可逆方阵之积可逆,逆等于各因子之逆按相反顺序的乘积

袜子—鞋子法则

:穿袜子再穿鞋,脱的时候必须先脱鞋再脱袜子。顺序颠倒是最常见的考试失分点。

初等矩阵

初等矩阵:对单位矩阵执行一次初等行变换得到的矩阵。

例 5

计算 ,并说明各自对应 的哪种行变换。

直接验证:

:第 3 行加上第 1 行的 4 倍(倍加变换);:交换第 1、2 行;:第 3 行乘 5。

一般规律:对 矩阵 做一次初等行变换,结果等于 ,其中 是对 做同样行变换得到的初等矩阵。由于行变换可逆,每个初等矩阵都可逆,其逆就是把 变回 的那一次”反向”行变换对应的初等矩阵。

例 6 的逆。

变回 需要”第 3 行加上第 1 行的 4 倍”,故

求逆算法

定理 7 矩阵 可逆 行等价于 ;此时把 化为 的那串行变换,同时把 变成

证明思路:若 可逆,则每个 都有解(定理 5),故 每行都有主元位置(1.4 节定理 4);方阵的 个主元必在主对角线上,从而行最简形为 ,即 。反之若 ,则存在初等矩阵 使

由于可逆矩阵之积 可逆,得 ,故 可逆;且

正是同一串行变换作用在 上的结果。

的算法:对增广矩阵 行化简。若 ,则 ;否则 不可逆。

例 7 的逆(若存在)。

由定理 7,,故 可逆,且

最好验算一下:

(由于 可逆, 不必再验。)

换个视角看求逆 相当于同时求解 个方程组

的各列正是各组的解。所以若应用问题只需要 的某一两列,只需解对应的方程组即可。

数值注记(缩略):实际工作中很少真的去求 ——先求逆再乘 的运算量约为直接行化简的 3 倍,精度还可能更差。

原书习题 41–42 配了另一根四点弹性梁的插图,用来说明柔度/刚度矩阵的应用场景:

图 2-8

图 2-8:习题 41–42 中四点受力弹性梁的挠度示意

2.2 练习题

本节习题见原书 2.2 EXERCISES(含二阶与三阶矩阵求逆、用逆矩阵解方程组、可逆性的判断与证明等)。

2.2 复习题(PRACTICE PROBLEMS)

1. 用行列式判断下列矩阵哪些可逆:

(展开讲解)逐个算

  • a. 可逆
  • b. 可逆
  • c. 不可逆

2. 的逆(若存在)。

行化简:

左半部分出现了一行全零(且无法再消去),说明 不可能化成 ,故 不可逆

3. 可逆,证明 也可逆。

可逆,故存在 使 。取 ,验证:

可逆。

通关标准

会用 公式秒算逆;会做 ;牢记 ;知道”实际解方程优先行化简,不先求逆”。


2.3 可逆矩阵的刻画

本节的主角是全书最重要的定理之一——可逆矩阵定理(Invertible Matrix Theorem, IMT)。它把第 1 章和本章的绝大多数概念串成一条等价链:对给定的 方阵 ,下列命题要么全真、要么全假

定理 8(可逆矩阵定理) 方阵,下列命题等价:

  • a. 是可逆矩阵;
  • b. 行等价于 单位矩阵
  • c. 个主元位置;
  • d. 方程 只有平凡解;
  • e. 的各列线性无关;
  • f. 线性变换 是单射(一对一);
  • g. 对每个 ,方程 至少有一个解;
  • h. 的各列张成
  • i. 线性变换 是满射(映上);
  • j. 存在 矩阵 使
  • k. 存在 矩阵 使
  • l. 是可逆矩阵。

证明的”圈”结构:先证一个循环蕴含圈 ——圈上任意一个成立则全体成立;再把其余命题逐个挂到圈上。

图 2-9

图 2-9:核心蕴含圈

具体地: 由 2.1 节习题 23; 由 2.2 节习题 23;方阵有 个主元时主元必在对角线上,故 即定理 7。于是:

  • :取 分别由 2.1、2.2 节习题得到,于是 (k)、(g) 挂上圈:

图 2-10

图 2-10:

  • 对任意矩阵,(g)、(h)、(i) 相互等价(1.4 节定理 4 与 1.9 节定理 12(a)),(h)、(i) 经 (g) 挂上圈:

图 2-11

图 2-11:

  • 对任意矩阵,(d)、(e)、(f) 相互等价(1.7 节与 1.9 节定理 12(b)),(d) 已在圈上:

图 2-12

图 2-12:

  • 最后 由 2.2 节定理 6(c) 及 互换得到:

图 2-13

图 2-13:

由定理 5,命题 (g) 还可以改写成” 对每个 唯一解”。另外有一个极常用的推论:

只要验一边

为方阵。若 ,则 都可逆,且 。也就是说:方阵情形只需验证 一个等式 自动成立。

例 1 用可逆矩阵定理判断 是否可逆:

有 3 个主元位置,由定理 8(c) 知 可逆

IMT 的威力在于它把”列线性无关”与” 有解”等众多重要概念连接起来。

IMT 只对方阵有效

可逆矩阵定理只适用于方阵。例如 矩阵的列即使线性无关,也不能用 IMT 推出 有解还是没有解——“可逆”这个词本身对方阵之外没有定义。

IMT 把全体 矩阵分成互不相交的两类:可逆(非奇异)与不可逆(奇异)。IMT 中任一命题的否定就是奇异矩阵的特征,例如奇异矩阵必不等价于 、主元不足 个、列线性相关。

可逆线性变换

矩阵乘法对应线性变换的复合,那么矩阵可逆对应什么?当 可逆时, 可以读作: 送回

图 2-14

图 2-14: 变回

定义 线性变换 称为可逆的,若存在函数 使得对所有

定理 9 是线性变换, 的标准矩阵。则 可逆 是可逆矩阵;此时 是唯一满足 (1)(2) 的函数(记作 )。

证明思路:若 可逆,则 (2) 式说明 映上(任取 ,令 ,则 ),由 IMT(i) 知 可逆。反之若 可逆,令 ,则 是线性变换且 ,同理 ,故 可逆。

例 2 的单射线性变换 能有什么结论?

单射 其标准矩阵 的列线性无关(1.9 节定理 12) 可逆,且 映上,再由定理 9 知 可逆。一句话: 的线性变换,单、满、可逆三者等价

数值注记(缩略):实际计算中会遇到”病态”(接近奇异)矩阵——元素微小变动就会失去可逆性,行化简可能因舍入误差数不出 个主元。矩阵软件用条件数衡量接近奇异的程度:单位矩阵条件数为 1,奇异矩阵条件数为无穷大;条件数约为 时, 数值解通常至少损失 位有效数字。

2.3 练习题

本节习题见原书 2.3 EXERCISES(含利用 IMT 快速判断可逆性、上下三角矩阵的可逆条件、条件数与数值误差实验等)。

2.3 复习题(PRACTICE PROBLEMS)

1. 判断 是否可逆。

第 2、3 列显然都是第 1 列的倍数( 倍与 倍),三列线性相关,由 IMT(e) 知 不可逆。(逐行消去也能发现只剩一个非零行。)

2. 某方阵 使 IMT 的命题 (g) 不成立,那么形如 的方程组如何?

(g) 说”对每个 至少有一解”;它不成立意味着至少存在一个 使 无解(不相容)。同时由 IMT 各命题同真同假, 必为奇异矩阵。

3. 矩阵,方程 有非平凡解,关于 能说什么?

把 IMT 用在矩阵 上:命题 (d)” 只有平凡解”不成立,故 不可逆

通关标准

能背出 IMT 的 12 条命题并至少画出一个蕴含圈;会挑”最省事”的一条(如数主元、看列是否相关)判断可逆性;记得 IMT 只对方阵适用。


2.4 分块矩阵

我们一直在把矩阵 看成”列向量的列表”而不仅是数表。这个观点太有用了,于是干脆推广:用水平线和竖直线把 划分成若干子块(block / submatrix),得到的矩阵叫分块矩阵(或块矩阵)。现代线性代数的绝大多数应用里都在用它,因为分块记号能凸显矩阵分析的本质结构(比如章首的飞机设计问题)。

例 1 矩阵

可以写成 分块矩阵

其元素是子块:

例 2(为什么分块自然) 当矩阵出现在电路网络、运输系统、大公司等物理系统的数学模型中时,按子系统分块最自然。例如一块微型计算机主板主要由三片 VLSI 超大规模集成电路芯片组成,则主板对应的矩阵形如

“对角线”上的子块 描述三块芯片各自的内部结构,其余子块描述芯片之间的互联。

图 2-15

图 2-15:装有 VLSI 芯片的电路板——分块矩阵的天然来源

分块的加法与数量乘法

同尺寸且分块方式完全相同,则 可以按块相加:每个块等于对应块之和。分块矩阵乘数量也同样逐块进行。

分块矩阵的乘法

只要 的列分块方式与 的行分块方式一致(称为块乘法相容,conformable for block multiplication),分块矩阵就可以”把块当数”用普通的行—列法则相乘。

例 3

的 5 列分成”3 列 + 2 列”, 的 5 行也分成”3 行 + 2 行”,分块相容。则

块的位置不能换

每个小乘积必须保持”A 的子块在左、 的子块在右”,因为矩阵乘法不可交换。逐块验算上式:,相加得顶部块

块乘法是”看待矩阵乘积最一般的方式”。此前我们见过的四种视角—— 的列定义、 的列定义、 的行—列法则、 的行视图()——全是它的特例。第五种视角如下:

的列—行展开

定理 10,则

证明 元是 ,故 (1) 右端和式的 元为

这正是行—列法则给出的 元。

例 4,验证定理 10。

每一项都是”列乘行”的外积

三者相加:

逐项对照行—列法则,这正是 的每个元素。

分块矩阵的逆

例 5 形如

的矩阵称为块上三角矩阵。设 ,且 可逆,求 的公式。

并按同样方式分块,令

块乘开后逐块对齐,得四个方程:

由 (6) 与可逆矩阵定理( 是方阵)得 可逆且 ;(5) 左乘 ;代回 (3) 得 ,故 ;最后由 (4) 解出

于是

块对角矩阵(块”对角线”之外全为零块)可逆 对角线上每个块都可逆。

数值注记(缩略):矩阵大到内存装不下时,分块让计算机每次只处理两三个子块(某线性规划团队把矩阵分成 837 行 × 51 列的块,在 Cray 超级计算机上约 4 分钟解出问题);向量流水线架构的计算机与 LAPACK 等专业软件都大量使用分块算法。

原书习题 17 配有”伽利略”号木星探测器的照片:深空探测器的轨迹修正需要反复计算 这类矩阵,而列—行展开让 可以在 的基础上快速增量更新,这正是分块乘法大显身手的地方。

图 2-16

图 2-16:“伽利略”号探测器(1989 年发射,1995 年末抵达木星附近)

2.4 练习题

本节习题见原书 2.4 EXERCISES(含块乘法计算、由块方程反解未知块、Schur 补、控制工程中的传递函数与统计学应用等)。

2.4 复习题(PRACTICE PROBLEMS)

1. 证明 可逆并求其逆。

(展开讲解)设其逆为 ,则

逐块对照得 ,解出 。验证:

反序相乘也是 ,故可逆,逆为 。(也可引用”方阵只要 就可逆”的结论。)

2. 计算 ,其中 分块为

的分块天然相容( 的列恰是 的行)。这一分解被多个矩阵计算算法采用。

通关标准

会判断两个分块是否”块乘法相容”( 的列分法 = 的行分法);会像例 5 那样”设逆、块乘、逐块解方程”;理解块上三角矩阵求逆公式与列—行展开。


2.5 矩阵分解

矩阵 分解(factorization)是把 写成两个或更多矩阵乘积的等式。矩阵乘法是”综合”(把几个线性变换的效果合并成一个矩阵),分解则是”分析”——把 的数据预先组织成结构更好用、更好算的几部分。本节聚焦最重要的 LU 分解,它是众多核心数值程序(包括章首气流问题)的心脏。

LU 分解

动机来自常见的工业/商业问题:要解一串系数矩阵相同的方程组

虽然可以先求 再逐个算 ,但更高效的做法是:解第一个方程时顺带完成 分解,之后其余方程都靠 快速求解。

矩阵,可以不交换行就行化简为阶梯形,则 ,其中

  • 单位下三角矩阵(对角线全 1,对角线下方可有非零元,上方全零),且可逆;
  • 阶梯形。

图 2-17

图 2-17:LU 分解的结构( 单位下三角, 阶梯形)

为什么 LU 分解好用?

时,。令 ,则求解变成两步:

两步都面对三角矩阵,解起来极快。

例 1 已知

用这个分解解 ,其中

第一步解 。因为 下三角,算术只发生在第 5 列,仅需 6 次乘法和 6 次加法( 中主元下方的零由行变换的选择自动生成):

第二步解 (行化简的”回代”阶段),需 4 次除法、6 次乘法、6 次加法:

总共 28 次算术运算(flops,浮点运算),而直接把 行化简到 需要 62 次——分解一旦建好,后续每个新 都享受这份红利

LU 分解算法

可以只用”某行加上方一行倍数”的行倍加变换(不换行)化为阶梯形 。此时存在单位下三角的初等矩阵 使

于是

单位下三角矩阵的乘积与逆仍是单位下三角的,故 符合要求。关键观察:由 (3)(4),把 化到 的那串行变换恰好会把 化回 ——这就是构造 的诀窍。

算法(LU 分解)

  1. 尽量只用倍加行变换把 化为阶梯形
  2. 填数,使得同一串行变换 化为

例 2 的 LU 分解。

有 4 行,故 的第一列 = 的第一列除以顶部主元:

接着边化简 边盯住”决定行变换”的那些元素:

在每个主元列,把”被用来消元”的那列元素除以主元后填入

直接验算 即可确认。

实际计算需要换行

实际计算几乎总要交换行(部分主元法选取绝对值最大的元素当主元以保证精度)。此时得到的是带行排列的 LU 分解 的行经重排(置换)后是单位下三角。求解流程不变,只是 要按 中主元从左到右的顺序进行。平时说”LU 分解”通常都包含这种可能。

数值注记(缩略):对 适度大(如 )的稠密 矩阵:LU 分解约需 flops(求 需约 );解两个三角系统约 flops;用 也要约 flops,但因舍入误差精度往往不如用 ;若 稀疏, 往往也稀疏而 一般稠密——这是首选 LU 的又一条理由。

电气工程中的矩阵分解

矩阵分解与”构造具有指定性质的电网”密切相关。设下图方框表示某个有输入、输出的电路,输入电压/电流记为 (伏特/安培),输出记为 。常常这个变换是线性的,即存在传递矩阵 使

图 2-18

图 2-18:有输入与输出的电路

下图是一个梯形网络:两个电路串联,前一个的输出即后一个的输入。左边是电阻 串联电路,右边是电阻 并联(分路)电路

图 2-19

图 2-19:梯形网络

由欧姆定律与基尔霍夫定律可推出两种电路的传递矩阵(原书此处为一张公式图):

图 2-20

图 2-20:串联电路传递矩阵 与并联电路传递矩阵

例 3

a. 计算图 2-19 梯形网络的传递矩阵; b. 设计一个传递矩阵为 的梯形网络。

a. 设 分别为串联、并联电路的传递矩阵。输入 先变成 ,再变成 。串联 = 复合 = 矩阵连乘(注意顺序):

b. 要”设计出”目标传递矩阵,就是把它分解成式 (6) 形式的乘积:对照元素得

由 (1,2) 元得 欧;由 (2,1) 元得 ,即 欧。用这两个电阻按图 2-19 搭出的网络就具有目标传递矩阵。

传递矩阵概括了网络的输入—输出行为而不涉及内部结构。工程师”实现”(realize)一个指定网络的办法正是把传递矩阵分解成现成小电路的传递矩阵之积;交流情形传递矩阵的元素通常是复有理函数,标准问题是用最少的电气元件求最小实现

2.5 练习题

本节习题见原书 2.5 EXERCISES(含用给定 LU 分解解方程、求 LU 分解、由 ,以及约化 LU / 秩分解 / QR / 奇异值 / 谱分解等一瞥)。其中习题 29 的梯形网络与习题 31 的平板热传导带状矩阵插图如下:

图 2-21

图 2-21:习题 29 的梯形网络

图 2-22

图 2-22:习题 31 的平板(稳态热流问题;其系数矩阵是沿主对角线的带状矩阵, 也保持带状而 是稠密的)

2.5 复习题(PRACTICE PROBLEM)

的 LU 分解。

(展开讲解)只用倍加变换把 化为阶梯形:

只有 3 个主元列,所以 只有前 3 列需要由”高亮列 ÷ 主元”得出,剩余两列直接取自

这样”同一串行变换把 化为 “仍然成立,

通关标准

会按”化 ,同时把商(列 ÷ 主元)填进 “的流程手算 LU 分解;会给定 用两步三角求解 ;能说清为什么串联电路的传递矩阵是 (顺序!)。


2.6 列昂惕夫投入产出模型

线性代数在瓦西里·列昂惕夫(Wassily Leontief)获诺贝尔奖的工作中发挥了核心作用。本节的经济模型是世界各地许多更复杂模型的基础。

设一国经济分为 个生产部门, 是一年中各部门的生产向量;另有只消费不生产的开放部门,其对各部门产品与服务的需求用最终需求向量 表示(可代表消费、政府采购、储备、出口等)。各生产部门在生产时也互相消耗产品,产生中间需求。列昂惕夫问:是否存在生产水平 ,使产量恰好平衡总需求?

模型的基本假设:每个部门有一个单位消费向量 ,列出该部门每生产 1 单位产出需要各部门的投入量。一切投入产出都以百万美元计(价格固定)。

以三个部门(制造、农业、服务业)为例,单位消费向量 如下表:

购自 \ 每单位产出消耗制造农业服务业
制造.50.40.20
农业.20.30.10
服务业.10.10.30

例 1 若制造业决定生产 100 单位,它将消耗多少?

即制造部门将”需求”并消耗:制造部门内部 50 单位、农业 20 单位、服务业 10 单位。

若制造业计划产出 单位,则中间需求为 ;农业、服务业同理为 。三部门的总中间需求为

其中 消费矩阵

由 (1)(2) 得列昂惕夫模型

移项写成

例 2 消费矩阵为 (3) 的经济,最终需求为制造 50、农业 30、服务 20 单位,求满足需求的生产水平

系数矩阵为

对增广矩阵行化简(先乘 10 去小数):

末列取整后:制造业约需生产 226 单位,农业 119 单位,服务业 78 单位。

可逆,则由 2.2 节定理 5 得 。下面的定理说明实际情形中 几乎总是可逆、且生产向量在经济上可行(元素非负)。“列和”指矩阵一列元素之和;正常情况下消费矩阵的列和小于 1(生产 1 单位产出的投入理应不足 1 单位的价值)。

定理 11 为经济的消费矩阵, 为最终需求。若 的元素均非负,且 的每个列和小于 1,则 存在,且

的元素非负,是 的唯一解。

的公式

想象年初各行业接到需求 ,先把产量定在 ;为生产 又发出原料订单,产生中间需求 ;为满足 又需要 的投入……如此一轮接一轮:

需满足的需求所需投入
最终需求
中间需求第 1 轮
第 2 轮
第 3 轮

于是满足全部需求的生产水平为

利用恒等式(把右边乘开即验证)

的列和都严格小于 1 时,(类比正数 ),从而 ,因此

取得足够大时右端可以任意接近 。实际模型中 的幂很快趋于零矩阵,所以 (6)(8) 是切实可行的算法;且若 非负,(6) 保证 非负——经济上可行。

各元素的经济含义

列的元素,是”部门 的最终需求增加 1 单位时,各部门必须各自多生产的数量”。这就是它重要的原因:可以预测需求变化对生产的全部连锁影响。

数值注记(缩略):任何 都可写成 (取 )。若系统大而稀疏、且 的列和(绝对值)小于 1,则 ,(6)(8) 就给出解方程与求逆的实用迭代公式。

原书 2.6 节配有三大部门与开放部门之间商品流转的示意网络图,直观展示”农业—制造—服务业—开放部门”的相互投入关系:

图 2-23

图 2-23:三部门经济与开放部门之间的投入—产出流转

2.6 练习题

本节习题见原书 2.6 EXERCISES(含构造消费矩阵、求生产水平、对偶价格方程 与 GDP 的两种表达等)。

2.6 复习题(PRACTICE PROBLEM)

某经济有两个部门:商品与服务。生产 1 单位商品需要 0.2 单位商品和 0.5 单位服务的投入;生产 1 单位服务需要 0.4 单位商品和 0.3 单位服务的投入。最终需求为商品 20 单位、服务 30 单位。建立列昂惕夫投入产出模型。

单位消费向量为 (商品部门)、(服务部门),故

就是所求模型。

通关标准

会从投入产出表写出消费矩阵 (列 = 单位消费向量);会把经济问题翻译成 并求解;理解 的”滚雪球”直觉和列和小于 1 的作用。


2.7 计算机图形学应用

计算机图形学是在屏幕上显示与动画化图像的技术,应用极广:CAD 工程设计(如章首的飞机设计)、影视特效、游戏主机等。本节考察操纵与显示图形(如飞机线框模型)的基本数学。

一幅图形由若干、连接它们的线段/曲线,以及填充信息组成;曲线常用短直线段近似,因此图形在数学上就是一个点的列表。用直线段描述图形的根本原因是:图形学的标准变换都把线段映成线段——只要把顶点变换好,再用直线连起来即可还原整幅图。

最简单的 2D 图形符号是屏幕标签用的字母。有些字母以线框对象存储,含曲线部分的字母则附加曲线的数学公式。

例 1 下图中的大写字母 N 由 8 个顶点确定,顶点坐标存放在数据矩阵 中(每列一个顶点):

图 2-24

图 2-24:标准的字母 N

(此外还需说明哪些顶点之间连线,此处略去。)

例 2,描述剪切变换 对例 1 中字母 N 的效果。

乘积 的各列就是 N 各顶点的像:

把变换后的顶点描出并按原连接方式连线,得到”斜体 N”:

图 2-25

图 2-25:剪切后的斜体 N

这个斜体 N 显得有点太宽,接下来用只作用于 坐标的缩放变换把它”瘦身”。

例 3 计算复合变换的矩阵:先做例 2 的剪切,再把所有横坐标缩放为 0.75 倍。

横坐标乘 0.75 的矩阵是 ,故复合变换矩阵为

复合效果如图 2-26:

图 2-26

图 2-26:先剪切再缩放的复合效果

齐次坐标

可惜:屏幕上图形的平移不是线性变换,无法直接用 矩阵乘法表示。标准解决办法是引入齐次坐标:把 中的点 中”高出 平面 1 个单位”的平面上的点 对应起来。齐次坐标之间不做加法、不乘数量,但可以被 矩阵变换。

平移 的效果见图 2-27:

图 2-27

图 2-27:平移

例 4 平移 用齐次坐标写成 ,可以用矩阵乘法实现:

例 5 上任何线性变换在齐次坐标下都由形如 )的分块矩阵表示。典型例子:

  • 绕原点逆时针旋转角 (直观图见图 2-28);
  • 关于直线 反射:
  • 缩放 倍、 缩放 倍:

图 2-28

图 2-28:待旋转的三角形(绕原点逆时针旋转)

原书还用一组三连图演示”原图 → 缩放 → 旋转 → 平移”的完整流程:

图 2-29

图 2-29:原图缩放后

图 2-30

图 2-30:再旋转后

图 2-31

图 2-31:最后平移后

复合变换

屏幕上图形的运动常常需要两个以上基本变换。使用齐次坐标时,变换的复合仍对应矩阵乘法——这正是齐次坐标最大的价值。

例 6 求”缩放 0.3 倍 → 绕原点旋转 → 平移 “对应的 矩阵。

。由例 4、例 5:

复合矩阵为

乘的顺序 = 应用的顺序(倒着写)

最先做的变换排在最右边。例 6 中”缩放 → 旋转 → 平移”写成矩阵就是”平移矩阵 × 旋转矩阵 × 缩放矩阵”。

下图为同一图像经历平移与旋转等复合变换的效果(原书 2.7 节习题插图,直观感受复合变换对图像的作用):

图 2-39

图 2-39:同一图像的平移与旋转(复合变换示意)

3D 计算机图形学

最新最激动人心的图形学研究与分子建模相关:生物学家可以在三维中检视模拟的蛋白质分子,寻找可能容纳药物分子的活性位点,旋转、平移实验药物并尝试把它”对接”到蛋白质上。这种可视化能力对现代药物与癌症研究至关重要。当前的研究前沿是虚拟现实——研究者能”看见并触摸”药物分子滑入蛋白质的过程。

图 2-32

图 2-32:虚拟现实中的分子建模(提供力反馈的遥操作机械臂)

三维齐次坐标

类比二维: 是点 的齐次坐标。一般地,)表示点 ,即

的任何非零数量倍都给出同一组齐次坐标,例如 都表示点

例 7 写出下列变换的 矩阵:

a. 绕 轴旋转 (约定:从旋转轴正半轴向原点看去,正角为逆时针方向); b. 按向量 平移。

a. 先构造 旋转矩阵。 转向 负方向,停在 轴上的 不动; 转向 正方向,停在 (见图 2-33)。故旋转的标准矩阵为 ,齐次坐标下为

图 2-33

图 2-33:绕 轴旋转

b. 要把 映到 ,矩阵为

透视投影

三维物体显示在二维屏幕上需要投影到观察平面。设 平面为屏幕,观察者的眼睛在 正轴上点 处。透视投影把每个点 映到像点 ,使像点、物点与投影中心(眼睛位置)三点共线(图 2-34)。

图 2-34

图 2-34: 的透视投影

由相似三角形( 平面内):

用齐次坐标可把透视投影写成矩阵 :目标像是 ,把它整体缩放 倍得到等价的齐次坐标 ,于是

例 8 是顶点为 的盒子,求 在投影中心为 的透视投影下的像。

取投影矩阵 与齐次坐标数据矩阵

把每列前三个元素除以第四行元素(即除以 ),转回 坐标:

数值注记(缩略):3D 物体的连续动画需要密集的 矩阵运算;高端显卡把 矩阵运算直接做进芯片,每秒可完成数十亿次矩阵乘法以支持逼真的 3D 着色动画。

原书 2.7 节习题 17 配有绕 轴旋转的示意图(配套习题要求写出对应的 旋转矩阵):

图 2-40

图 2-40:绕 轴旋转(习题 17 示意)

2.7 练习题

本节习题见原书 2.7 EXERCISES(含构造各种复合 2D/3D 变换矩阵、绕任意点旋转、剪切分解旋转、颜色空间 RGB/CIE/YIQ 转换等)。

2.7 复习题(PRACTICE PROBLEM)

中绕点 旋转图形的步骤是:先把图形平移 到原点,绕原点旋转,再平移回 (见图 2-35 ~ 图 2-38)。用齐次坐标构造”绕点 旋转 “的 矩阵。

图 2-35

图 2-35:(a) 原图形

图 2-36

图 2-36:(b) 平移 到原点

图 2-37

图 2-37:(c) 绕原点旋转

图 2-38

图 2-38:(d) 平移回

(展开讲解)三个矩阵从右往左按操作顺序排列。取

通关标准

会写平移、旋转、缩放、剪切的齐次矩阵;会把任意复合变换按”从右往左”的顺序乘起来;理解齐次坐标为什么能救活”平移不是线性变换”这件事;会做绕任意点的旋转(平移—旋转—平移回)。


2.8 的子空间

本节研究 中一类重要的向量集合——子空间。子空间常常与某个矩阵 相关联,并提供关于 的关键信息。这套概念在全书后面章节反复出现。

定义 子空间 中满足以下三条性质的集合

  • a. 零向量在 中;
  • b. 对 中任意 ,和 也在 中;
  • c. 对 中任意 和任意数量 ,向量 也在 中。

一句话:子空间对加法和数量乘法封闭

例 1,则 的子空间。

零向量在 中( 就是线性组合)。任取 ,则

几何直观:过原点的平面正是这类子空间的标准图像。

图 2-41

图 2-41: 是过原点的一个平面

的倍数,则二者张成的只是过原点的一条直线——它也是子空间:

图 2-42

图 2-42::张成过原点的直线

例 2 不过原点的直线 不是子空间:首先它不含零向量(三条性质的第一条就过不了关);其次,下图显示它对加法和数量乘法都不封闭—— 上的 相加得到的 跑到了 外, 的 2 倍 也不在 上。

图 2-43

图 2-43:不过原点的直线不是子空间( 都跑出

例 3 一般地, 的全部线性组合之集(即 )是 的子空间,称为 张成(生成)的子空间。验证与例 1 完全类似。

两个极端例子: 本身是自己的子空间;仅含零向量的集合零子空间也是子空间。

判断子空间先看零向量

“含不含 “是最快的淘汰标准——不含零向量的集合立刻出局。但含零向量不代表就是子空间,还必须验证对加法与数量乘法封闭。

原书 2.8 节习题 1–4 各配了一幅 中集合的插图(阴影区域/线段集合),训练”找出封闭性破坏”的眼力——它们都因不含原点或加法/数乘不封闭而非子空间:

图 2-44

图 2-44:习题 1 的集合(非子空间)

图 2-45

图 2-45:习题 2 的集合(非子空间)

图 2-46

图 2-46:习题 3 的集合(非子空间)

图 2-47

图 2-47:习题 4 的集合(非子空间)

矩阵的列空间与零空间

应用与理论中,子空间几乎总是以下面两种方式出现,而且都能与矩阵联系起来。

定义(列空间) 矩阵 列空间 各列全部线性组合之集。

(各列属于 ),则 ,是 的子空间。只有当 的列张成 才等于整个 ,否则它只是 的一部分:

图 2-48

图 2-48: 中过原点的一个平面(图中 属于

例 4。判断 是否在 的列空间中。

各列的线性组合 对某个 成立 有解。对增广矩阵行化简:

无矛盾行,方程相容,故

这个例子说明:把方程组写成 时, 恰是”使方程组有解的所有 “之集。

定义(零空间) 矩阵 零空间 是齐次方程 的全部解之集。

列时,解都属于

定理 12 矩阵 的零空间是 的子空间。等价地说, 元齐次线性方程组的解集是 的子空间。

证明 (因 )。若 ,则由矩阵乘法性质

都在 中,封闭性成立。

隐式 vs 显式:检验给定 是否属于 很容易——直接算 看是否为零向量。这种”逐个验证条件”的描述叫隐式描述;而列空间是显式描述——其中的向量可以由 的列直接构造(线性组合)出来。要给 显式描述,需解 并写成参数向量形式(见例 6)。

子空间的基

子空间通常含无穷多向量,很多问题最好用”张成该子空间的一小组向量”来处理,而且越小越好。可以证明:最小的张成集必然线性无关。

定义(基) 的子空间 中一组既线性无关又张成 的向量集。

例 5 可逆 矩阵的列构成 的基(由 IMT:既线性无关又张成)。最重要的特例是单位矩阵的列 ,称为 标准基

图 2-49

图 2-49: 的标准基

例 6 的零空间的基。

第一步,把 的解写成参数向量形式:

通解为 为自由变量:

式 (1) 说明 恰为 的全部线性组合——它们生成 ;而且这种构造自动保证线性无关:若 ,比较向量第 2、4、5 个分量立即得 。故 的基。

例 7 的列空间的基。

记各列为 ,可看出 。任何 代入这两个关系后都只剩 的组合,故 张成 ;又它们恰是单位矩阵的列(线性无关),故构成基。也就是说: 的主元列构成 的基

对一般的 :列之间的线性依赖关系可以写成 的解; 行化简为 后, 同解,即 的列与 的列有完全相同的线性依赖关系

例 8 已知 (各列记 )行等价于例 7 的 ,求 的基。

由例 7, 的主元列是第 1、2、5 列,且应有 (可以直接代入验算!)。于是 对生成列空间是多余的;而 必线性无关——否则同样的依赖关系会出现在 之间,与它们线性无关矛盾。故 的基。

定理 13 矩阵 的主元列构成 的基。

基要用 自己的主元列

的基是 本身的主元列,而不是行最简形 的主元列—— 的列一般根本不在 里(如例 7、8 中 的列末分量全为零,生成不了 的列)。行化简只是用来找主元列的位置

2.8 练习题

本节习题见原书 2.8 EXERCISES(含判断向量是否属于 Nul/Col、求基、判断集合是否为 的基等)。

2.8 复习题(PRACTICE PROBLEMS)

1. 中吗?在 中吗?说明理由。

(展开讲解)判断 只需直接计算:

是零向量,故 。判断 则要化简 是否相容:

末行 矛盾, 无解,故

2. 已知 ,在 中找一个向量、在 中找一个向量。

已是行最简形, 给出 自由,故 的基是 。而 中找向量很平凡—— 的每一列本身就在 里。有趣的是这个例子里同一个 既在 又在 中;对多数方阵而言,两个空间唯一的公共向量是零向量。

3. 矩阵 可逆, 是什么?

可逆 列张成 (IMT(h)),故 ;又 只有平凡解(IMT(d)),故 (零子空间)。

通关标准

会用三条性质(含零、加法封闭、数乘封闭)判断子空间;知道 以及”b 在 Col A 中 有解”;会求 Nul A(参数化解法)与 Col A(主元列)的基。


2.9 维数与秩

本节继续讨论子空间与基,从”坐标系”的概念开始。“维数”这个新词会显得相当自然。

坐标系

选基而不仅是张成集的根本理由是:子空间 中每个向量写成基向量的线性组合的方式只有一种。设 的基,若

相减得 ;由 线性无关,所有权重差为零,即 ——两种表示相同。

定义 是子空间 的基。对每个 ,使 的权重 称为 相对基 的坐标, 中的向量

称为 坐标向量

例 1 线性无关,故 的基。判断 是否在 中;若是,求 坐标向量。

,则向量方程 相容。行化简:

相容,且 ,故

基在 上确定了一个”坐标系”,可用下图中的网格直观表示:

图 2-50

图 2-50: 中平面 上的坐标系(网格)

注意: 中的点虽然也在 里,却被它们属于 的坐标向量完全确定——图中的网格使 “看起来像” 。对应 是保持线性组合的一一对应,称为同构(isomorphism),我们说 同构于 。一般地, 维子空间 同构于

原书习题 7、8 给出了两幅 坐标网格图,供”目测估计 坐标再验算”之用:

图 2-51

图 2-51:习题 7 的 坐标网格

图 2-52

图 2-52:习题 8 的 坐标网格

子空间的维数

可以证明:若子空间 有一组含 个向量的基,则 一组基都恰好含 个向量。因此下面的定义是良定义的。

定义 非零子空间 维数(记 )是 任一组基中向量的个数;零子空间 的维数定义为 0。

的维数是 (每张基都含 个向量); 中过原点的平面是二维的,过原点的直线是一维的。

例 2 2.8 节例 6 中矩阵 的零空间有一组含 3 个向量的基,故该情形下 。注意每个基向量恰好对应 中的一个自由变量——我们的构造永远如此,所以:,只需数 中自由变量的个数

定义 矩阵 (记 )是 列空间的维数。

由于 的主元列构成 的基(定理 13),秩就是主元列的个数

例 3 的秩。

化为阶梯形:

有 3 个主元列,故

行化简还显示 有 2 个自由变量(5 列中有 2 列非主元列)。主元列数 + 非主元列数 = 总列数,于是有:

定理 14(秩定理) 若矩阵 列,则

基定理 维子空间。则: 中任何恰好由 个向量组成的线性无关集自动成为 的基; 中任何由 个向量组成的张成集也自动成为 的基。

秩与可逆矩阵定理

向量空间概念为 IMT 补充了更多等价命题(接 2.3 节定理 8 的编号)。设 矩阵,下列命题都与” 可逆”等价:

  • m. 的列构成 的基;
  • n.
  • o.
  • p.
  • q.
  • r.

证明思路:(m) 与 (e)、(h) 逻辑等价;其余由一条几乎显然的蕴含链串起来:

(g) 说每个 相容,而 恰是使方程相容的所有 之集,故 (n);(n)(o)(p) 由维数与秩的定义;若 ,由秩定理 ,故 (r)、(q);(q) 即 (d)。证毕。

矩阵 的列空间用下图表示为一个”嵌在空间中的平面”,它由列向量 与零向量共同确定——列向量是否铺满整个空间,正是秩在衡量的事:

图 2-53

图 2-53: 由列向量张成(这里是一个平面,秩为 2)

数值注记(缩略):实际中”数主元求秩”并不可靠——除非对精确元素做精确算术,行运算可能改变表观的秩。实用中矩阵的有效秩通常由奇异值分解(第 7.4 节)确定。

2.9 练习题

本节习题见原书 2.9 EXERCISES(含由坐标向量求 、求 坐标向量、求 Col A / Nul A 的基与维数、秩的计算等)。

2.9 复习题(PRACTICE PROBLEMS)

1. 中由 张成的子空间 的维数(先求基)。

(展开讲解)构造 ,则 ,其基由 的主元列给出:

主元列是第 1、2 列,故 的基,

2. 的基。若 ,求

用权重 3、2 做线性组合:

确定了一个坐标系(网格), 就是沿 方向走 3 个单位、再沿 方向走 2 个单位:

图 2-54

图 2-54: 坐标网格中的位置

3. 可能含有四维子空间吗?解释。

不可能。四维子空间需含 4 个线性无关向量的基,而 中任何线性无关集至多有 3 个向量,故 的子空间维数至多是 3。 本身是它唯一的三维子空间,其余子空间的维数为 2、1 或 0。

通关标准

会求 坐标向量(解以基向量为列的方程组);知道 = 主元列数、 = 自由变量数,两者之和 = 列数(秩定理);理解”子空间维数 = 基中向量个数”以及 IMT 的秩版扩充。


章末一瞥:投影与 Householder 反射(补充习题背景)

章末补充习题 13、14 介绍了两个由外积构造的重要矩阵:设 满足 ,令 (外积),。可以验证 是投影)、。变换 称为投影 称为 Householder 反射——计算机程序用它一步在一个向量(通常是矩阵的列)中制造多个零,是数值线性代数的核心工具之一。例如取 时, 就是 关于 平面的反射:

图 2-55

图 2-55:关于平面 的 Householder 反射


自测一下