📘 第 6 章：正交性与最小二乘

本篇导读

本篇是 David C. Lay《Linear Algebra and its Applications》(5th Edition) 第 6 章 Orthogonality and Least Squares（正交性与最小二乘） 的中文初学者精讲笔记。前五章解决的问题是”方程组有没有解”；本章更进一步：当方程组根本无解时，怎样找出’最接近解’的近似解。这条路要经过五个台阶：内积与长度（6.1）→ 正交集（6.2）→ 正交投影（6.3）→ 格拉姆–施密特过程（6.4）→ 最小二乘（6.5），最后 6.6～6.8 把这些工具用到线性回归、内积空间、傅里叶级数等实际问题中。全书所有例题与练习题（Practice Problems）均已保留并逐步讲解，各节习题清单请见原书。

开篇故事：北美大地基准与 GPS 导航

想象一个需要十年时间、由几十位科学家共同完成的项目：求解一个 $1800000 \times 900000$ 的线性方程组。这正是 1974 年美国国家大地测量局（National Geodetic Survey）更新**北美大地基准（North American Datum, NAD）**时做的事。NAD 是覆盖整个北美大陆的 268000 个精确定位参考点构成的网络，是所有测绘、地图、法定地界与土木工程放样的基础。由于 1927 年后新增了 20 多万个点、误差常年累积，必须整体重新平差。

这个庞大的方程组在普通意义下没有解——它只有最小二乘解：一种”最能与 180 万个观测数据相吻合”的方式给每个参考点分配经纬度。1986 年，人们通过求解一个 928735 个方程、928735 个未知量的”法方程”得到了这个最小二乘解。

图 6-1

图 6-1：北美大地基准与 GPS——地面参考点、卫星与用户定位相互依存

今天，地面参考点位置的精度直接决定 GPS 卫星定位的精度：GPS 接收机测量来自至少三颗卫星的信号到达时间，结合卫星位置数据推算自己的位置；有第四颗卫星时还能估计海拔。NAD 与 GPS 这两个问题本质上都归结为找一个”近似满足”无解方程组的向量——这正是本章前六节要讲清楚的事情。

要”近似”就得先定义什么叫”近”。6.1 节引入向量空间中的距离与正交；6.2、6.3 节说明如何用正交性找出子空间 $W$ 中离外部点 $y$ 最近的点；把 $W$ 取成矩阵的列空间，6.5 节就自然导出了无解线性方程组的最小二乘解法；6.4 节顺路给出数值线性代数中广泛使用的矩阵分解；最后几节把最小二乘推广到更一般的向量空间。

6.1 内积、长度与正交

平面与立体几何中”长度、距离、垂直”这些概念，如何在 $R^{n}$ 中定义？答案出人意料地简洁：全部用”内积”这一个工具定义。这三个概念是后面所有最小二乘问题的地基。

内积（Inner Product）

把 $u, v \in R^{n}$ 看成 $n \times 1$ 列矩阵，则 $u^{T}$ 是 $1 \times n$ 行矩阵，乘积 $u^{T} v$ 是 $1 \times 1$ 矩阵——即一个数。这个数就是 $u$ 与 $v$ 的内积（inner product），也叫点积（dot product），记作 $u \cdot v$ 。若

u = u_{1} u_{2} ⋮ u_{n}, v = v_{1} v_{2} ⋮ v_{n}

则

u \cdot v = [u_{1} u_{2} \dots u_{n}] v_{1} v_{2} ⋮ v_{n} = u_{1} v_{1} + u_{2} v_{2} + \dots + u_{n} v_{n}

它是什么：对应分量相乘再求和，得到一个标量。为什么重要：它是”长度”和”角度”的代数化，后面判断两个向量是否垂直，只要看内积是否为零。

例 1 设 $u = 2 - 5 - 1$ ， $v = 32 - 3$ ，计算 $u \cdot v$ 与 $v \cdot u$ 。

解

u \cdot v = u^{T} v = [2 - 5 - 1] 32 - 3 = (2) (3) + (- 5) (2) + (- 1) (- 3) = 6 - 10 + 3 = - 1

v \cdot u = v^{T} u = [32 - 3] 2 - 5 - 1 = 6 - 10 + 3 = - 1

两者相等不是巧合：把每个乘积项 $u_{i} v_{i}$ 换序成 $v_{i} u_{i}$ ，结果显然一样。这直接引出下面的一般性质。

定理 1 设 $u, v, w \in R^{n}$ ， $c$ 为标量，则

a. $u \cdot v = v \cdot u$ （交换律）
b. $(u + v) \cdot w = u \cdot w + v \cdot w$ （对加法的分配律）
c. $(c u) \cdot v = c (u \cdot v) = u \cdot (c v)$
d. $u \cdot u \geq 0$ ，且 $u \cdot u = 0$ 当且仅当 $u = 0$

把 (b) 与 (c) 反复使用，得到一个后面常用的规则：

(c_{1} u_{1} + \dots + c_{p} u_{p}) \cdot w = c_{1} (u_{1} \cdot w) + \dots + c_{p} (u_{p} \cdot w)

向量的长度

定义： $v \in R^{n}$ 的长度（length，或称范数 norm）是非负标量

∥ v ∥ = v \cdot v = v_{1}^{2} + v_{2}^{2} + \dots + v_{n}^{2}, 并且 ∥ v ∥^{2} = v \cdot v

图 6-2

图 6-2：把 $∥ v ∥$ 解释为长度

为什么这样定义合理：若 $v = [a b] \in R^{2}$ ，把 $v$ 看成平面上的点， $∥ v ∥$ 恰好就是原点到该点线段的标准长度——对直角三角形用勾股定理即可验证。对 $R^{3}$ 用长方体的对角线做类似计算，结论同样成立。

对任意标量 $c$ ，有 $∥ c v ∥ = ∣ c ∣ ∥ v ∥$ （计算 $∥ c v ∥^{2} = c^{2} ∥ v ∥^{2}$ 再开方即得）。

长度为 1 的向量叫单位向量（unit vector）。把非零向量 $v$ 除以自己的长度（即乘 $1/∥ v ∥$ ），得到与 $v$ 同方向的单位向量 $u$ ——这一操作叫归一化（normalizing）。

图 6-3

图 6-3：归一化示意（a）——沿原方向把向量缩放至长度 1

图 6-4

图 6-4：归一化示意（b）——归一化只改变长度，不改变方向

例 2 设 $v = (1, - 2, 2, 0)$ ，求与 $v$ 同方向的单位向量 $u$ 。

解先算长度：

∥ v ∥^{2} = v \cdot v = 1^{2} + (- 2)^{2} + 2^{2} + 0^{2} = 9, ∥ v ∥ = 3

再用 $1/∥ v ∥$ 缩放：

u = \frac{1}{∥ v ∥} v = \frac{1}{3} 1 - 2 20 = 1/3 - 2/3 2/3 0

验证： $∥ u ∥^{2} = \frac{1}{9} + \frac{4}{9} + \frac{4}{9} + 0 = 1$ ✓

例 3 设 $W$ 是 $R^{2}$ 中由 $x = (2/3, 1)$ 张成的子空间，求一个构成 $W$ 的基的单位向量 $z$ 。

解 $W$ 由 $x$ 的所有倍数构成，任何非零元素都是基。为简化计算，先”缩放”消去分数：乘 3 得 $y = [23]$ 。计算 $∥ y ∥^{2} = 2^{2} + 3^{2} = 13$ ，归一化得

z = \frac{1}{13} [23] = [2/ 13 3/ 13]

另一个单位向量是 $(- 2/ 13, - 3/ 13)$ （反方向）。

实用技巧

向量里出现分数时，先乘一个适当的整数把分量变干净再算长度——缩放不改变方向，最后归一化一次即可。例 3 正是这样把 $2/3$ 变成 $2$ 的。

$R^{n}$ 中的距离

数轴上 $a, b$ 两点的距离是 $∣ a - b ∣$ 。把它推广到 $R^{n}$ ：

图 6-5

图 6-5：实数轴上的距离 $∣ a - b ∣$

定义： $u, v \in R^{n}$ 的距离（distance）记作 $dist (u, v)$ ，是向量 $u - v$ 的长度：

dist (u, v) = ∥ u - v ∥

在 $R^{2}$ 与 $R^{3}$ 中，这与通常的两点欧氏距离公式完全一致。

例 4 计算 $u = (7, 1)$ 与 $v = (3, 2)$ 的距离。

解

u - v = [71] - [32] = [4 - 1], ∥ u - v ∥ = 4^{2} + (- 1)^{2} = 17

图 6-6

图 6-6： $u$ 与 $v$ 的距离就是 $u - v$ 的长度

观察平行四边形（图 6-6）： $u - v$ 加到 $v$ 上得到 $u$ ，所以 $u$ 到 $v$ 的距离与 $u - v$ 到 $0$ 的距离相等。

例 5 若 $u = (u_{1}, u_{2}, u_{3})$ ， $v = (v_{1}, v_{2}, v_{3})$ ，则

dist (u, v) = ∥ u - v ∥ = (u_{1} - v_{1})^{2} + (u_{2} - v_{2})^{2} + (u_{3} - v_{3})^{2}

这就是立体解析几何中的标准两点距离公式。

正交向量

本章其余全部内容都建立在”垂直”的 $R^{n}$ 版本上。考虑 $R^{2}$ （或 $R^{3}$ ）中过原点、分别由 $u$ 与 $v$ 确定的两条直线：几何上这两条直线垂直，当且仅当 $u$ 到 $v$ 的距离等于 $u$ 到 $- v$ 的距离（平方相等）。计算第一个距离的平方：

[dist (u, - v)]^{2} = ∥ u + v ∥^{2} = (u + v) \cdot (u + v) = ∥ u ∥^{2} + ∥ v ∥^{2} + 2 u \cdot v

同理（把 $v$ 换成 $- v$ ）：

[dist (u, v)]^{2} = ∥ u ∥^{2} + ∥ v ∥^{2} - 2 u \cdot v

两个平方距离相等当且仅当 $u \cdot v = 0$ 。于是得到核心定义。

图 6-7

图 6-7：两条过原点的直线垂直，等价于 $u \cdot v = 0$

定义： $R^{n}$ 中两个向量 $u$ 与 $v$ 正交（orthogonal，即垂直的线性代数叫法），如果 $u \cdot v = 0$ 。

注意零向量与任何向量都正交（ $0^{T} v = 0$ ）。上面的推导顺带证明了下面这个定理。

定理 2（勾股定理） $u$ 与 $v$ 正交当且仅当 $∥ u + v ∥^{2} = ∥ u ∥^{2} + ∥ v ∥^{2}$ 。

图 6-8

图 6-8：勾股定理的可视化——直角三角形两直角边对应正交向量

正交补（Orthogonal Complements）

如果向量 $z$ 与子空间 $W$ 中的每一个向量都正交，就说 $z$ 与 $W$ 正交。所有这些 $z$ 组成的集合叫 $W$ 的正交补（orthogonal complement），记作 $W^{⊥}$ （读作”W perpendicular”或”W perp”）。

图 6-9

图 6-9：过原点的平面与直线互为正交补

例 6 设 $W$ 是 $R^{3}$ 中过原点的一个平面， $L$ 是过原点且垂直于 $W$ 的直线。若 $z \in L$ 、 $w \in W$ 且都非零，则线段 $0 z$ 垂直于线段 $0 w$ ，即 $z \cdot w = 0$ 。所以 $L$ 上每个向量都与 $W$ 中一切向量正交，并且反过来也成立：

L = W^{⊥} 且 W = L^{⊥}

两个以后要用的事实（证明见原书 6.1 节习题 29、30）：

向量 $x \in W^{⊥}$ 当且仅当 $x$ 与张成 $W$ 的某个集合中的每个向量都正交——只需检查生成元，不必检查 $W$ 中所有向量。例如 $y$ 与 $u, v$ 都正交，就意味着 $y$ 与 $Span {u, v}$ 中一切向量正交。
$W^{⊥}$ 本身是 $R^{n}$ 的子空间。

图 6-10

图 6-10：与 $u$ 、 $v$ 都正交的向量，垂直于它们张成的整个平面

下面的定理揭示了矩阵四大基本子空间之间的正交关系。

定理 3 设 $A$ 是 $m \times n$ 矩阵，则 $A$ 的行空间的正交补是零空间，列空间的正交补是 $A^{T}$ 的零空间：

(Row A)^{⊥} = Nul A 且 (Col A)^{⊥} = Nul A^{T}

图 6-11

图 6-11： $m \times n$ 矩阵 $A$ 确定的四个基本子空间及正交关系

证明思路：按行–列法则计算 $A x$ 时， $x$ 与 $A$ 的每一行做点积。若 $A x = 0$ ，说明 $x$ 与每一行都正交，从而与行空间正交；反之亦然。第二式对 $A^{T}$ 用第一式，并注意 $Row A^{T} = Col A$ 。

常见坑

定理 3 中是”行空间 ⊥ 零空间”，而列空间与零空间一般不垂直。判断哪两个子空间正交时，看清楚矩阵是谁： $(Col A)^{⊥} = Nul A^{T}$ ，不是 $Nul A$ 。

证明两个集合相等（如 $Nul A = (Row A)^{⊥}$ ）的标准套路是双向包含：任取左边一个元素证明它在右边，再反向做一遍。

$R^{2}$ 与 $R^{3}$ 中的夹角（选学）

对非零向量 $u, v$ ，内积与夹角 $ϑ$ 之间有漂亮的关系：

u \cdot v = ∥ u ∥ ∥ v ∥ cos ϑ (2)

图 6-12

图 6-12：两个向量之间的夹角

在 $R^{2}$ 中用余弦定理验证：三角形三边长为 $∥ u ∥, ∥ v ∥, ∥ u - v ∥$ ，由余弦定理

∥ u - v ∥^{2} = ∥ u ∥^{2} + ∥ v ∥^{2} - 2∥ u ∥∥ v ∥ cos ϑ

整理后展开平方项，得

∥ u ∥∥ v ∥ cos ϑ = \frac{1}{2} [∥ u ∥^{2} + ∥ v ∥^{2} - ∥ u - v ∥^{2}] = u_{1} v_{1} + u_{2} v_{2} = u \cdot v

当 $n > 3$ 时，公式 (2) 可用来定义 $R^{n}$ 中两向量的夹角。例如统计学中的相关系数（correlation coefficient），就是用公式 (2) 定义的 $cos ϑ$ 。

6.1 练习题

本节习题见原书（习题 1–34），其中 1–8 题用给定向量练习内积与长度计算，19–20 题为判断题，27–31 题专门练习正交补性质，是很好的内积运用训练。

6.1 练习问题（Practice Problems）

1. 设 $a = [- 2 1]$ ， $b = [- 3 1]$ ，计算 $\frac{a \cdot b}{a \cdot a}$ 与 $(\frac{a \cdot b}{a \cdot a}) a$ 。

解 $a \cdot b = 6 + 1 = 7$ ， $a \cdot a = 4 + 1 = 5$ ，故 $\frac{a \cdot b}{a \cdot a} = \frac{7}{5}$ ，且

\frac{7}{5} a = [- 14/5 7/5]

这正是把 $b$ 投影到 $a$ 方向上的”雏形”——6.2 节会正式定义这个操作。

2. 设 $c = 4/3 - 1 2/3$ ， $d = 56 - 1$ 。

(a) 求 $c$ 方向上的单位向量 $u$ ；(b) 证明 $d$ 与 $c$ 正交；(c) 用 (a)(b) 解释为什么 $d$ 必与单位向量 $u$ 正交。

解 (a) 先缩放： $c$ 乘 3 得 $y = 4 - 3 2$ ， $∥ y ∥^{2} = 16 + 9 + 4 = 29$ 。于是

u = \frac{1}{∥ y ∥} y = 4/ 29 - 3/ 29 2/ 29

(b) $d \cdot c = 5 \cdot \frac{4}{3} + 6 (- 1) + (- 1) \cdot \frac{2}{3} = \frac{20}{3} - 6 - \frac{2}{3} = 0$ ，故正交。

(c) $u$ 是 $c$ 的某个倍数 $u = k c$ ，于是 $d \cdot u = d \cdot (k c) = k (d \cdot c) = k \cdot 0 = 0$ 。正交性在缩放下保持不变——这是内积线性性质（定理 1(c)）的直接推论。

3. 设 $W$ 是 $R^{n}$ 的子空间，已知 $W^{⊥}$ 也是子空间。证明 $dim W + dim W^{⊥} = n$ 。

解若 $W \neq = {0}$ ，取 $W$ 的基 ${b_{1}, \dots, b_{p}}$ （ $1 \leq p \leq n$ ），令 $A$ 是以 $b_{1}^{T}, \dots, b_{p}^{T}$ 为行的 $p \times n$ 矩阵，则 $W = Row A$ 。由定理 3， $W^{⊥} = (Row A)^{⊥} = Nul A$ ，故 $dim W^{⊥} = dim Nul A$ 。由秩定理（第 4 章）：

dim W + dim W^{⊥} = dim Row A + dim Nul A = rank A + dim Nul A = n

若 $W = {0}$ ，则 $W^{⊥} = R^{n}$ ，结论同样成立。

6.2 正交集

正交集与正交基

若向量集 ${u_{1}, \dots, u_{p}} \subseteq R^{n}$ 中任意两个不同向量都正交（即 $i \neq = j$ 时 $u_{i} \cdot u_{j} = 0$ ），则称之为正交集（orthogonal set）。

例 1 证明 ${u_{1}, u_{2}, u_{3}}$ 是正交集，其中

u_{1} = 311, u_{2} = - 1 21, u_{3} = - 1/2 - 2 7/2

图 6-13

图 6-13：三条线段两两垂直——正交集的几何形象

解检查全部三对不同的向量：

u_{1} \cdot u_{2} u_{1} \cdot u_{3} u_{2} \cdot u_{3} = 3 (- 1) + 1 (2) + 1 (1) = 0 = 3 (- \frac{1}{2}) + 1 (- 2) + 1 (\frac{7}{2}) = 0 = - 1 (- \frac{1}{2}) + 2 (- 2) + 1 (\frac{7}{2}) = 0

每一对都正交，故 ${u_{1}, u_{2}, u_{3}}$ 是正交集（ $p$ 个向量要检查 $p (p - 1) /2$ 对）。

定理 4 若 $S = {u_{1}, \dots, u_{p}}$ 是 $R^{n}$ 中非零向量组成的正交集，则 $S$ 线性无关，从而是其张成子空间的基。

证明设 $0 = c_{1} u_{1} + \dots + c_{p} u_{p}$ 。两边与 $u_{1}$ 做内积，由线性性质与正交性：

0 = 0 \cdot u_{1} = c_{1} (u_{1} \cdot u_{1}) + c_{2} (0 u_{2} \cdot u_{1}) + \dots + c_{p} (0 u_{p} \cdot u_{1}) = c_{1} (u_{1} \cdot u_{1})

因 $u_{1} \neq = 0$ ， $u_{1} \cdot u_{1} > 0$ ，故 $c_{1} = 0$ 。同理 $c_{2} = \dots = c_{p} = 0$ ，即线性无关。∎

若 $W$ 的一个基同时是正交集，就叫 $W$ 的正交基（orthogonal basis）。正交基好用在哪？看定理 5。

定理 5 设 ${u_{1}, \dots, u_{p}}$ 是子空间 $W \subseteq R^{n}$ 的正交基。对每个 $y \in W$ ，线性组合 $y = c_{1} u_{1} + \dots + c_{p} u_{p}$ 中的权重为

c_{j} = \frac{y \cdot u _{j}}{u _{j} \cdot u _{j}} (j = 1, \dots, p)

证明与 $u_{1}$ 做内积： $y \cdot u_{1} = c_{1} (u_{1} \cdot u_{1}) + c_{2} \cdot 0 + \dots + c_{p} \cdot 0$ ，除以 $u_{1} \cdot u_{1} \neq = 0$ 解出 $c_{1}$ 。对每个 $c_{j}$ 同理。∎

为什么重要：有了正交基，求权重不需要解线性方程组——每个权重一次内积除法搞定；普通基则要像第 1 章那样行化简求解。

例 2 例 1 的集合 $S$ 是 $R^{3}$ 的正交基，把 $y = 61 - 8$ 表示成 $S$ 中向量的线性组合。

解计算

y \cdot u_{1} = 11, u_{1} \cdot u_{1} = 11, y \cdot u_{2} = - 12, u_{2} \cdot u_{2} = 6, y \cdot u_{3} = - 33 u_{3} \cdot u_{3} = 33/2

由定理 5：

y = \frac{11}{11} u_{1} + \frac{- 12}{6} u_{2} + \frac{- 33}{33/2} u_{3} = u_{1} - 2 u_{2} - 2 u_{3}

通关标准

给一个正交基和向量 $y$ ，你要能不列方程组、直接用 $c_{j} = \frac{y \cdot u _{j}}{u _{j} \cdot u _{j}}$ 写出分解，并代入验证结果等于 $y$ 。

正交投影（到一条直线上）

现在做一个将成为本章核心的构造：给定非零向量 $u$ ，把 $y$ 分解成”沿 $u$ 方向的一部分”加”与 $u$ 垂直的一部分”：

y = \hat{y} + z (1)

其中 $\hat{y} = α u$ ， $z$ 与 $u$ 正交。对任意 $α$ ，令 $z = y - α u$ 则 (1) 自动成立；而 $y - \hat{y}$ 与 $u$ 正交当且仅当

0 = (y - α u) \cdot u = y \cdot u - α (u \cdot u)

即 $α = \frac{y \cdot u}{u \cdot u}$ 。由此得唯一解。

图 6-14

图 6-14：选择 $α$ ，使 $y - \hat{y}$ 恰好与 $u$ 正交

$\hat{y}$ 称为 $y$ 到 $u$ 上的正交投影（orthogonal projection）， $z$ 称为 $y$ 的与 $u$ 正交的分量。用 $c u$ （ $c \neq = 0$ ）代替 $u$ 得到同一个 $\hat{y}$ ，所以投影实际由 $u$ 张成的直线 $L$ 决定，也记作 $proj_{L} y$ ：

\hat{y} = proj_{L} y = \frac{y \cdot u}{u \cdot u} u (2)

例 3 设 $y = [76]$ ， $u = [42]$ 。求 $y$ 到 $u$ 的正交投影，并把 $y$ 写成”一个在 $Span {u}$ 中、一个与 $u$ 正交”的两个向量之和。

解计算 $y \cdot u = 28 + 12 = 40$ ， $u \cdot u = 16 + 4 = 20$ ，故

\hat{y} = \frac{y \cdot u}{u \cdot u} u = \frac{40}{20} u = 2 [42] = [84]

与 $u$ 正交的分量为

y - \hat{y} = [76] - [84] = [- 1 2]

两向量之和确实等于 $y$ ：

[76] = [84] + [- 1 2]

图 6-15

图 6-15： $y$ 到过原点直线 $L$ 的正交投影

验算习惯：若计算无误， ${\hat{y}, y - \hat{y}}$ 应是正交集。这里 $\hat{y} \cdot (y - \hat{y}) = - 8 + 8 = 0$ ✓

例 4 求图 6-15 中 $y$ 到直线 $L$ 的距离。

解 $y$ 到 $L$ 的距离就是从 $y$ 垂直落到投影点 $\hat{y}$ 的那条垂线段的长度，即 $∥ y - \hat{y} ∥$ ：

∥ y - \hat{y} ∥ = (- 1)^{2} + 2^{2} = 5

定理 5 的几何解释

公式 (2) 的形状与定理 5 中每一项完全一样——定理 5 是把 $y$ 分解成”到一串一维子空间的正交投影之和”。以 $W = R^{2} = Span {u_{1}, u_{2}}$ （ $u_{1} ⊥ u_{2}$ ）为例，任意 $y$ 可写成

y = \frac{y \cdot u _{1}}{u _{1} \cdot u _{1}} u_{1} + \frac{y \cdot u _{2}}{u _{2} \cdot u _{2}} u_{2} (3)

第一项是 $y$ 在 $u_{1}$ 所在直线上的投影，第二项是在 $u_{2}$ 所在直线上的投影——(3) 把 $y$ 表示为它在两条正交”坐标轴”上投影之和。

图 6-16

图 6-16：把一个向量分解成两个投影之和

力的分量分解

图 6-16 的分解在物理中很常见：力用向量 $y$ 表示，若关心的只是某个方向（比如物体的运动方向 $u$ ），关键一步就是把力分解为沿 $u$ 的分量与垂直于 $u$ 的分量——计算与例 3 完全相同。

图 6-17

图 6-17：把力分解为沿运动方向的分量与垂直分量

标准正交集（Orthonormal Sets）

若一个集合既是正交集、又全由单位向量组成，就叫标准正交集（orthonormal set）；它张成的子空间的基叫标准正交基。由定理 4，它自动线性无关。最简单的例子是 $R^{n}$ 的标准基 ${e_{1}, \dots, e_{n}}$ 。

例 5 证明 ${v_{1}, v_{2}, v_{3}}$ 是 $R^{3}$ 的标准正交基，其中

v_{1} = 3/ 11 1/ 11 1/ 11, v_{2} = - 1/ 6 2/ 6 1/ 6, v_{3} = - 1/ 66 - 4/ 66 7/ 66

图 6-18

图 6-18： $R^{3}$ 中一组标准正交基（例 5 的向量恰是例 1 向量的归一化版本）

解两两正交：

v_{1} \cdot v_{2} v_{1} \cdot v_{3} v_{2} \cdot v_{3} = - \frac{3}{66} + \frac{2}{66} + \frac{1}{66} = 0 = - \frac{3}{726} - \frac{4}{726} + \frac{7}{726} = 0 = \frac{1}{396} - \frac{8}{396} + \frac{7}{396} = 0

再验证都是单位向量：

v_{1} \cdot v_{1} = \frac{9}{11} + \frac{1}{11} + \frac{1}{11} = 1, v_{2} \cdot v_{2} = \frac{1}{6} + \frac{4}{6} + \frac{1}{6} = 1, v_{3} \cdot v_{3} = \frac{1}{66} + \frac{16}{66} + \frac{49}{66} = 1

故为标准正交集；三个向量线性无关，构成 $R^{3}$ 的基。

把非零正交集的每个向量归一化，得到的新集合仍是正交集（因此是标准正交集）——正交性在缩放下不变。

列标准正交的矩阵

定理 6 $m \times n$ 矩阵 $U$ 的列构成标准正交集，当且仅当 $U^{T} U = I$ 。

证明设 $U = [u_{1} u_{2} u_{3}]$ （一般情形同理），则

U^{T} U = u_{1}^{T} u_{2}^{T} u_{3}^{T} [u_{1} u_{2} u_{3}] = u_{1}^{T} u_{1} u_{2}^{T} u_{1} u_{3}^{T} u_{1} u_{1}^{T} u_{2} u_{2}^{T} u_{2} u_{3}^{T} u_{2} u_{1}^{T} u_{3} u_{2}^{T} u_{3} u_{3}^{T} u_{3}

这些元素都是（转置记号下的）内积：列两两正交 ⟺ 所有 $u_{i}^{T} u_{j} = 0 (i \neq = j)$ ；列都是单位向量 ⟺ 对角元全为 1。两者合起来恰是 $U^{T} U = I$ 。∎

定理 7 设 $U$ 是列标准正交的 $m \times n$ 矩阵， $x, y \in R^{n}$ ，则：

a. $∥ U x ∥ = ∥ x ∥$ （保持长度）
b. $(U x) \cdot (U y) = x \cdot y$ （保持内积）
c. $(U x) \cdot (U y) = 0$ 当且仅当 $x \cdot y = 0$ （保持正交）

性质 (a)(c) 说明映射 $x \mapsto U x$ 保持长度与正交性——这是许多计算机算法（如 QR 算法）依赖的关键性质。

例 6 设 $U = 1/ 2 1/ 2 0 2/3 - 2/3 1/3$ ， $x = [23]$ 。 $U$ 的列标准正交（ $U^{T} U = I$ ），验证 $∥ U x ∥ = ∥ x ∥$ 。

解

U x = 1/ 2 1/ 2 0 2/3 - 2/3 1/3 [23] = 1 + 2 1 - 2 1 = 3 - 1 1

∥ U x ∥ = 9 + 1 + 1 = 11, ∥ x ∥ = 2 + 9 = 11 ✓

正交矩阵（orthogonal matrix）：可逆方阵 $U$ 满足 $U^{- 1} = U^{T}$ 。由定理 6，这样的矩阵列标准正交；反过来，列标准正交的方阵必是正交矩阵。正交矩阵在第 7 章会反复出现。

例 7 矩阵

U = 3/ 11 1/ 11 1/ 11 - 1/ 6 2/ 6 1/ 6 - 1/ 66 - 4/ 66 7/ 66

是正交矩阵——它是方阵，且由例 5 知其列标准正交。请验证它的行也标准正交。

解三行恰是例 5 中 $v_{1}, v_{2}, v_{3}$ 的转置。逐对计算行的内积与长度：

行_{1} \cdot 行_{2} = \frac{3}{11} \cdot \frac{1}{11} + \frac{- 1}{6} \cdot \frac{2}{6} + \frac{- 1}{66} \cdot \frac{- 4}{66} = \frac{3}{11} - \frac{1}{3} + \frac{2}{33} = \frac{9 - 11 + 2}{33} = 0

同理可算 $行_{1} \cdot 行_{3} = 行_{2} \cdot 行_{3} = 0$ （分母通分后分子恰好相消）；各行长度满足 $行_{1} \cdot 行_{1} = \frac{9}{11} + \frac{1}{6} + \frac{1}{66} = \frac{54 + 11 + 1}{66} = 1$ ，其余两行同样为 1。故行也标准正交。

另一个更快的角度： $U^{T}$ 的列标准正交 ⟺ $(U^{T})^{T} U^{T} = I$ ，即 $U U^{T} = I$ ，而这正是”行两两正交且为单位长度”的矩阵表述——正交矩阵的行必然标准正交（一般证明见原书习题 27、28）。

到直线的反射（拓展）

正交投影还能定义反射：给定过原点的直线 $L = Span {u}$ ， $y$ 关于 $L$ 的反射定义为

refl_{L} y = 2 proj_{L} y - y

即”镜像点”＝投影点再加上一份”超出量” $\hat{y} - y$ 。可以证明 $y \mapsto refl_{L} y$ 是线性变换（原书 6.2 节习题 34）。由这类反射构造的初等反射矩阵（Householder 矩阵）是数值计算中生成 QR 分解的重要工具（见本章末补充题 7）。

图 6-19

图 6-19： $y$ 关于过原点直线的反射

6.2 练习题

本节习题见原书（习题 1–36）：1–6 判断正交集，7–10 练习正交基分解，17–22 判断/构造标准正交集，23–24 为判断题。

6.2 练习问题（Practice Problems）

1. 设 $u_{1} = [- 1/ 5 2/ 5]$ ， $u_{2} = [2/ 5 1/ 5]$ ，证明 ${u_{1}, u_{2}}$ 是 $R^{2}$ 的标准正交基。

解正交： $u_{1} \cdot u_{2} = - \frac{2}{5} + \frac{2}{5} = 0$ 。单位长度：

∥ u_{1} ∥^{2} = \frac{1}{5} + \frac{4}{5} = 1, ∥ u_{2} ∥^{2} = \frac{4}{5} + \frac{1}{5} = 1

由定理 4 线性无关；两个线性无关向量在 $R^{2}$ 中构成基，且是标准正交基。

2. 取例 3 中的 $y$ 与直线 $L$ ，改用 $u = [21]$ （与例 3 不同的直线方向向量）计算 $\hat{y}$ 。

解

\hat{y} = \frac{y \cdot u}{u \cdot u} u = \frac{7 \cdot 2 + 6 \cdot 1}{4 + 1} [21] = \frac{20}{5} [21] = [84]

与例 3 的结果完全相同！这说明正交投影与在直线上选取哪个非零向量 $u$ 无关（原书习题 31 给出代数证明：把 $u$ 换成 $c u$ ，分子分母同乘 $c^{2}$ ，结果不变）。

3. 用例 6 的 $U$ 与 $x$ ，取 $y = [- 32 6]$ ，验证 $U x \cdot U y = x \cdot y$ 。

解

U y = - 3 + 4 - 3 - 4 2 = 1 - 7 2

由例 6 知 $U x = 3 - 1 1$ ，故 $U x \cdot U y = 3 + 7 + 2 = 12$ ；而 $x \cdot y = - 32 \cdot 2 + 18 = - 6 + 18 = 12$ ✓。这正是定理 7(b)。

4. 设 $U$ 是 $n \times n$ 列标准正交矩阵，证明 $det U = \pm 1$ 。

解由定理 6， $U^{T} U = I$ 。两边取行列式并用第 3 章 3.2 节定理 5、6：

det (U^{T} U) = (det U^{T}) (det U) = (det U)^{2} = det I = 1

故 $det U = \pm 1$ 。

6.3 正交投影

6.2 节解决了”投影到一条直线”；本节推广到”投影到任意子空间 $W$ “——这是通往最小二乘的最后一站。

$R^{n}$ 中给定 $y$ 与子空间 $W$ ，存在唯一的 $\hat{y} \in W$ 满足：(1) $y - \hat{y}$ 与 $W$ 正交；(2) $\hat{y}$ 是 $W$ 中离 $y$ 最近的点。

图 6-20

图 6-20： $R^{2}$ 中点到直线的投影，在 $R^{n}$ 中有直接类比

这两个性质是求解最小二乘问题的关键（6.5 节完整展开）。

正交分解定理

先把 $y$ 按 $W$ 的正交基”切开”。若 ${u_{1}, \dots, u_{n}}$ 是 $R^{n}$ 的正交基， $y$ 的展开式总可分成两段之和。

例 1 设 ${u_{1}, \dots, u_{5}}$ 是 $R^{5}$ 的正交基， $y = c_{1} u_{1} + \dots + c_{5} u_{5}$ ， $W = Span {u_{1}, u_{2}}$ 。把 $y$ 写成 $W$ 中的 $z_{1}$ 与 $W^{⊥}$ 中的 $z_{2}$ 之和。

解按基向量”分组”：

y = z_{1} c_{1} u_{1} + c_{2} u_{2} + z_{2} c_{3} u_{3} + c_{4} u_{4} + c_{5} u_{5}

$z_{1} \in Span {u_{1}, u_{2}} = W$ 。为证 $z_{2} \in W^{⊥}$ ，只需验证它与 $W$ 的基向量正交（6.1 节事实 1）：

z_{2} \cdot u_{1} = c_{3} (u_{3} \cdot u_{1}) + c_{4} (u_{4} \cdot u_{1}) + c_{5} (u_{5} \cdot u_{1}) = 0

同理 $z_{2} \cdot u_{2} = 0$ ，故 $z_{2} \in W^{⊥}$ 。

例 1 依赖 $R^{5}$ 的完整正交基。下面的定理说明：只要 $W$ 自己有正交基就够了。

定理 8（正交分解定理） 设 $W$ 是 $R^{n}$ 的子空间，则每个 $y \in R^{n}$ 都可唯一写成

y = \hat{y} + z (1)

其中 $\hat{y} \in W$ ， $z \in W^{⊥}$ 。事实上，若 ${u_{1}, \dots, u_{p}}$ 是 $W$ 的任意正交基，则

\hat{y} = \frac{y \cdot u _{1}}{u _{1} \cdot u _{1}} u_{1} + \dots + \frac{y \cdot u _{p}}{u _{p} \cdot u _{p}} u_{p} (2)

且 $z = y - \hat{y}$ 。

$\hat{y}$ 称为 $y$ 到 $W$ 的正交投影，记作 $proj_{W} y$ 。当 $W$ 是一维子空间时，公式退化为 6.2 节的 (2) 式。

图 6-21

图 6-21： $y$ 到子空间 $W$ 的正交投影

证明要点：公式 (2) 定义的 $\hat{y} \in W$ ；令 $z = y - \hat{y}$ ，对 $W$ 的每个基向量 $u_{j}$ 计算 $z \cdot u_{j}$ ，正交性使交叉项全部消失，剩下 $y \cdot u_{j} - \frac{y \cdot u _{j}}{u _{j} \cdot u _{j}} (u_{j} \cdot u_{j}) = 0$ ，故 $z \in W^{⊥}$ 。唯一性：若另有 $y = \hat{y}_{1} + z_{1}$ ，两式相减得 $\hat{y} - \hat{y}_{1} = z_{1} - z$ ，左边在 $W$ 中、右边在 $W^{⊥}$ 中，故该向量自身与其内积为零，必为零向量。∎

唯一性的重要推论： $proj_{W} y$ 只依赖子空间 $W$ ，与用哪个正交基计算无关。

例 2 设 $u_{1} = 25 - 1$ ， $u_{2} = - 2 11$ ， $y = 123$ ， ${u_{1}, u_{2}}$ 是 $W = Span {u_{1}, u_{2}}$ 的正交基。把 $y$ 写成 $W$ 中向量与垂直于 $W$ 的向量之和。

解由公式 (2)（ $y \cdot u_{1} = 9$ ， $u_{1} \cdot u_{1} = 30$ ， $y \cdot u_{2} = 3$ ， $u_{2} \cdot u_{2} = 6$ ）：

\hat{y} = \frac{9}{30} 25 - 1 + \frac{3}{6} - 2 11 = \frac{9}{30} 25 - 1 + \frac{15}{30} - 2 11 = - 2/5 2 1/5

于是

y - \hat{y} = 123 - - 2/5 2 1/5 = 7/5 0 14/5

分解为

y = 123 = - 2/5 2 1/5 + 7/5 0 14/5

验算习惯：定理 8 已保证 $y - \hat{y} \in W^{⊥}$ ，但手算时最好验证 $y - \hat{y}$ 与 $u_{1}, u_{2}$ 的内积都为零。

正交投影的几何解释

当 $dim W > 1$ 时，公式 (2) 中的每一项本身就是 $y$ 到一条直线（ $u_{j}$ 张成的一维子空间）的投影。所以： $y$ 到 $W$ 的正交投影，等于它到 $W$ 的正交基各条”正交轴”上投影之和。

图 6-22

图 6-22： $\hat{y}$ 是 $y$ 到互相正交的一维子空间投影之和

投影的性质与最佳逼近定理

若 $y$ 本来就在 $W$ 中，则分解式 (2) 恰是定理 5 的展开式，故 $proj_{W} y = y$ ：

y \in W = Span {u_{1}, \dots, u_{p}} ⟹ proj_{W} y = y

定理 9（最佳逼近定理） 设 $W$ 是 $R^{n}$ 的子空间， $y \in R^{n}$ ， $\hat{y}$ 是 $y$ 到 $W$ 的正交投影。则 $\hat{y}$ 是 $W$ 中离 $y$ 最近的点：

∥ y - \hat{y} ∥ < ∥ y - v ∥ (3)

对所有属于 $W$ 且不等于 $\hat{y}$ 的 $v$ 成立。

图 6-23

图 6-23：正交投影 $\hat{y}$ 是 $W$ 中离 $y$ 最近的点

$\hat{y}$ 称为 $W$ 的元素对 $y$ 的最佳逼近（best approximation）。当实际问题需要用固定子空间 $W$ 中的向量 $v$ 近似给定的 $y$ 时， $∥ y - v ∥$ 就是”误差”，定理 9 说误差在 $v = \hat{y}$ 时最小。

证明取 $W$ 中 $v \neq = \hat{y}$ 。则 $\hat{y} - v \in W$ ，而由正交分解定理 $y - \hat{y} ⊥ W$ ，特别地它垂直于 $\hat{y} - v$ 。把 $y - v = (y - \hat{y}) + (\hat{y} - v)$ 用勾股定理（定理 2）：

∥ y - v ∥^{2} = ∥ y - \hat{y} ∥^{2} + ∥ \hat{y} - v ∥^{2} > ∥ y - \hat{y} ∥^{2}

因 $\hat{y} - v \neq = 0$ ，第二项严格为正，故 (3) 成立。∎

附带收获

这个证明还再次说明 $\hat{y}$ 与所选正交基无关：用别的正交基算出的投影同样是最优点，而最优点唯一。

例 3 在例 2 的条件下， $W$ 中离 $y$ 最近的点就是

\hat{y} = \frac{y \cdot u _{1}}{u _{1} \cdot u _{1}} u_{1} + \frac{y \cdot u _{2}}{u _{2} \cdot u _{2}} u_{2} = - 2/5 2 1/5

例 4 $R^{n}$ 中点 $y$ 到子空间 $W$ 的距离定义为 $y$ 到 $W$ 中最近点的距离。求 $y$ 到 $W = Span {u_{1}, u_{2}}$ 的距离，其中

y = - 1 - 5 10, u_{1} = 5 - 2 1, u_{2} = 12 - 1

解由最佳逼近定理，距离为 $∥ y - \hat{y} ∥$ ， $\hat{y} = proj_{W} y$ 。因 ${u_{1}, u_{2}}$ 是正交基（ $y \cdot u_{1} = 15$ ， $y \cdot u_{2} = - 21$ ）：

\hat{y} = \frac{15}{30} u_{1} + \frac{- 21}{6} u_{2} = \frac{1}{2} 5 - 2 1 - \frac{7}{2} 12 - 1 = - 1 - 8 4

y - \hat{y} = - 1 - 5 10 - - 1 - 8 4 = 036, ∥ y - \hat{y} ∥^{2} = 3^{2} + 6^{2} = 45

距离为 $45 = 35$ 。

标准正交基下的简洁公式

定理 10 若 ${u_{1}, \dots, u_{p}}$ 是子空间 $W \subseteq R^{n}$ 的标准正交基，则

proj_{W} y = (y \cdot u_{1}) u_{1} + (y \cdot u_{2}) u_{2} + \dots + (y \cdot u_{p}) u_{p} (4)

若 $U = [u_{1} u_{2} \dots u_{p}]$ ，则

proj_{W} y = U U^{T} y 对所有 y \in R^{n} (5)

证明单位长度使 (2) 中的分母 $u_{j} \cdot u_{j} = 1$ ，得 (4)。权重 $y \cdot u_{j} = u_{j}^{T} y$ 恰是 $U^{T} y$ 的分量，故 (4) 即 $U (U^{T} y)$ 。∎

补充两个有用的恒等式（ $U$ 为 $n \times p$ 列标准正交矩阵， $W = Col U$ ）：

U^{T} U x = I_{p} x = x (x \in R^{p}), U U^{T} y = proj_{W} y (y \in R^{n})

若 $U$ 是 $n \times n$ 正交矩阵，则 $W = R^{n}$ ， $U U^{T} y = y$ 对一切 $y$ 成立。

常见坑

公式 (4) 理论上很漂亮，但分量含平方根，手算反而麻烦；手算请用公式 (2)（定理 8），计算机算法才偏爱标准正交形式 (5)。

6.3 练习题

本节习题见原书（习题 1–26）：3–6 练习投影计算，7–10 练习正交分解，11–14 练习最近点与最佳逼近，15–16 练习求距离，21–22 为判断题。

6.3 练习问题（Practice Problems）

1. 设 $u_{1} = - 7 14$ ， $u_{2} = - 1 1 - 2$ ， $y = - 9 16$ ， $W = Span {u_{1}, u_{2}}$ 。利用 $u_{1} ⊥ u_{2}$ 计算 $proj_{W} y$ 。

解（ $y \cdot u_{1} = 63 + 1 + 24 = 88$ ， $u_{1} \cdot u_{1} = 49 + 1 + 16 = 66$ ； $y \cdot u_{2} = 9 + 1 - 12 = - 2$ ， $u_{2} \cdot u_{2} = 6$ ）

proj_{W} y = \frac{88}{66} u_{1} + \frac{- 2}{6} u_{2} = \frac{4}{3} - 7 14 - \frac{1}{3} - 1 1 - 2 = - 9 16 = y

投影竟然等于 $y$ 自身！原因： $y$ 恰好是 $u_{1}, u_{2}$ 的线性组合（ $y \in W$ ），此时 $W$ 中离 $y$ 最近的点就是 $y$ 本身。

2. 设 $W$ 是 $R^{n}$ 的子空间， $z = x + y$ 。若 $u = proj_{W} x$ ， $v = proj_{W} y$ ，证明 $u + v = proj_{W} z$ 。

解用定理 10 的矩阵形式：取列标准正交的 $U$ （列构成 $W$ 的标准正交基），则

proj_{W} z = U U^{T} (x + y) = U U^{T} x + U U^{T} y = proj_{W} x + proj_{W} y = u + v

即正交投影是线性运算（对加法与数乘均保持）。

6.4 格拉姆–施密特过程

前面三节不断用到”正交基”——但正交基从哪来？**格拉姆–施密特过程（Gram–Schmidt process）**是一个简单算法：从任意基出发，为 $R^{n}$ 的任何非零子空间制造正交（或标准正交）基。

图 6-24

图 6-24：构造正交基 ${v_{1}, v_{2}}$ ——从 $x_{2}$ 中减去它在 $x_{1}$ 上的投影

算法的思想

核心动作只有一个：从新向量中减去它在”已正交化的部分”上的投影，剩下的就是垂直分量。

例 1 设 $W = Span {x_{1}, x_{2}}$ ， $x_{1} = 360$ ， $x_{2} = 122$ 。构造 $W$ 的正交基 ${v_{1}, v_{2}}$ 。

解令 $v_{1} = x_{1}$ 。 $x_{2}$ 在 $x_{1}$ 上的投影为 $p = \frac{x _{2} \cdot x _{1}}{x _{1} \cdot x _{1}} x_{1}$ ，其正交补分量为

v_{2} = x_{2} - p = x_{2} - \frac{x _{2} \cdot x _{1}}{x _{1} \cdot x _{1}} x_{1} = 122 - \frac{15}{45} 360 = 002

（其中 $x_{2} \cdot x_{1} = 3 + 12 + 0 = 15$ ， $x_{1} \cdot x_{1} = 45$ 。） ${v_{1}, v_{2}}$ 是 $W$ 中非零正交组；因 $dim W = 2$ ，它就是 $W$ 的正交基。

完整算法

定理 11（格拉姆–施密特过程） 给定非零子空间 $W \subseteq R^{n}$ 的基 ${x_{1}, \dots, x_{p}}$ ，定义

v_{1} = x_{1}, v_{2} = x_{2} - \frac{x _{2} \cdot v _{1}}{v _{1} \cdot v _{1}} v_{1}, v_{3} = x_{3} - \frac{x _{3} \cdot v _{1}}{v _{1} \cdot v _{1}} v_{1} - \frac{x _{3} \cdot v _{2}}{v _{2} \cdot v _{2}} v_{2}, \dots

v_{p} = x_{p} - \frac{x _{p} \cdot v _{1}}{v _{1} \cdot v _{1}} v_{1} - \dots - \frac{x _{p} \cdot v _{p - 1}}{v _{p - 1} \cdot v _{p - 1}} v_{p - 1}

则 ${v_{1}, \dots, v_{p}}$ 是 $W$ 的正交基，并且对每个 $k$ ，

Span {v_{1}, \dots, v_{k}} = Span {x_{1}, \dots, x_{k}} (1)

证明思路（归纳）：设已构造出 $W_{k} = Span {x_{1}, \dots, x_{k}}$ 的正交基 ${v_{1}, \dots, v_{k}}$ ，定义 $v_{k + 1} = x_{k + 1} - proj_{W_{k}} x_{k + 1}$ 。由正交分解定理， $v_{k + 1} ⊥ W_{k}$ ；由子空间对减法封闭且 $proj_{W_{k}} x_{k + 1} \in W_{k} \subseteq W_{k + 1}$ ， $v_{k + 1} \in W_{k + 1}$ ；又 $x_{k + 1} \in / W_{k}$ 保证 $v_{k + 1} \neq = 0$ 。于是在 $(k + 1)$ 维空间 $W_{k + 1}$ 中得到 $k + 1$ 个非零正交向量，由基定理它是正交基。∎

(1) 式说明第 $k$ 步的向量只”替换”了原来前 $k$ 个向量的张成范围，不越界。

例 2 设 $x_{1} = 1111$ ， $x_{2} = 0111$ ， $x_{3} = 0011$ ，它们线性无关，构成子空间 $W \subseteq R^{4}$ 的基。构造 $W$ 的正交基。

解

第 1 步 $v_{1} = x_{1} = (1, 1, 1, 1)$ ， $W_{1} = Span {v_{1}}$ 。

第 2 步 从 $x_{2}$ 中减去它在 $W_{1}$ 上的投影：

v_{2} = x_{2} - \frac{x _{2} \cdot v _{1}}{v _{1} \cdot v _{1}} v_{1} = 0111 - \frac{3}{4} 1111 = - 3/4 1/4 1/4 1/4

第 2′ 步（可选缩放） $v_{2}$ 有分数，乘 4 换成 $v_{2}^{'} = - 3 111$ ， ${v_{1}, v_{2}^{'}}$ 仍是正交基。

第 3 步 从 $x_{3}$ 中减去它在 $W_{2} = Span {v_{1}, v_{2}^{'}}$ 上的投影：

proj_{W_{2}} x_{3} = 到 v_{1} 的投影 \frac{x _{3} \cdot v _{1}}{v _{1} \cdot v _{1}} v_{1} + 到 v_{2}^{'} 的投影 \frac{x _{3} \cdot v _{2}^{'}}{v _{2}^{'} \cdot v _{2}^{'}} v_{2}^{'} = \frac{2}{4} 1111 + \frac{2}{12} - 3 111 = 0 2/3 2/3 2/3

于是

v_{3} = x_{3} - proj_{W_{2}} x_{3} = 0011 - 0 2/3 2/3 2/3 = 0 - 2/3 1/3 1/3

图 6-25

图 6-25：由 $x_{3}$ 与子空间 $W_{2}$ 构造 $v_{3}$

$v_{3} \in W$ （ $x_{3}$ 与投影都在 $W$ 中）， ${v_{1}, v_{2}^{'}, v_{3}}$ 是非零正交组。 $W$ 由三个向量张成、是三维的，故由基定理它就是 $W$ 的正交基。

实用技巧

中间向量出现分数时随时缩放（乘一个整数）——缩放不破坏正交性，却让后续计算清爽得多。例 2 的第 2′ 步、例 4 的 $v_{3}^{'} = 3 v_{3}$ 都是如此。

构造标准正交基

从正交基 ${v_{1}, \dots, v_{p}}$ 得到标准正交基只需归一化每个 $v_{k}$ 。手算时”先全部正交化、最后统一归一化”比”每步立刻归一化”更省事（避免反复出现根号）。

例 3 例 1 得到正交基 $v_{1} = 360$ ， $v_{2} = 002$ 。对应的标准正交基为

u_{1} = \frac{1}{∥ v _{1} ∥} v_{1} = \frac{1}{45} 360 = 1/ 5 2/ 5 0, u_{2} = \frac{1}{∥ v _{2} ∥} v_{2} = 001

QR 分解

定理 12（QR 分解） 若 $m \times n$ 矩阵 $A$ 的列线性无关，则 $A$ 可分解为 $A = QR$ ，其中 $Q$ 是列构成 $Col A$ 标准正交基的 $m \times n$ 矩阵， $R$ 是对角元为正的上三角可逆 $n \times n$ 矩阵。

证明思路 对 $A$ 的列 ${x_{1}, \dots, x_{n}}$ 跑格拉姆–施密特（加归一化），得 $Col A$ 的标准正交基 ${u_{1}, \dots, u_{n}}$ ，令 $Q = [u_{1} \dots u_{n}]$ 。由性质 (1)，每个 $x_{k} \in Span {u_{1}, \dots, u_{k}}$ ，即 $x_{k} = Q r_{k}$ ，其中 $r_{k}$ 只有前 $k$ 个分量可能非零（适当调整符号可设 $r_{k k} \geq 0$ ）。令 $R = [r_{1} \dots r_{n}]$ ，则 $A = QR$ ， $R$ 上三角；列无关保证 $R$ 可逆。∎

例 4 求 $A = 111101110011$ 的 QR 分解。

解 $A$ 的三列恰是例 2 的 $x_{1}, x_{2}, x_{3}$ ，正交基已求出：

v_{1} = 1111, v_{2}^{'} = - 3 111, v_{3} = 0 - 2/3 1/3 1/3

缩放 $v_{3}^{'} = 3 v_{3} = 0 - 2 11$ ，归一化后作 $Q$ 的列：

Q = 1/2 1/2 1/2 1/2 - 3/ 12 1/ 12 1/ 12 1/ 12 0 - 2/ 6 1/ 6 1/ 6

由 $Q^{T} Q = I$ （列标准正交）得 $R = Q^{T} A$ ：

R = 1/2 - 3/ 12 0 1/2 1/ 12 - 2/ 6 1/2 1/ 12 1/ 6 1/2 1/ 12 1/ 6 111101110011 = 200 3/2 3/ 12 0 1 2/ 12 2/ 6

数值注记（原书）：

计算机上跑格拉姆–施密特时舍入误差会累积，向量多了之后正交性可能”丢失”；改进的格拉姆–施密特（调整计算顺序）能显著缓解，但实用中更常用另一种约需两倍运算量的 QR 算法，它能给出更精确的标准正交基。
实际程序通常用一系列正交矩阵左乘 $A$ 把它变成上三角阵来做 QR 分解——与用初等矩阵左乘得到 LU 分解的思路类似。

6.4 练习题

本节习题见原书（习题 1–26）：1–6 练习格拉姆–施密特，9–12 求列空间正交基，13–16 求/用 QR 分解，17–18 为判断题。

6.4 练习问题（Practice Problems）

1. 设 $W = Span {x_{1}, x_{2}}$ ， $x_{1} = 111$ ， $x_{2} = 1/3 1/3 - 2/3$ 。构造 $W$ 的标准正交基。

解令 $v_{1} = x_{1}$ ，则 $x_{2} \cdot v_{1} = \frac{1}{3} + \frac{1}{3} - \frac{2}{3} = 0$ ，故 $v_{2} = x_{2} - 0 \cdot v_{1} = x_{2}$ —— ${x_{1}, x_{2}}$ 已经是正交的，只需归一化：

u_{1} = \frac{1}{3} 111 = 1/ 3 1/ 3 1/ 3, u_{2} = \frac{1}{6} 11 - 2 = 1/ 6 1/ 6 - 2/ 6

（第二个向量先乘 3 化为 $(1, 1, - 2)$ 再归一化，避开分数。）

2. 设 $A = QR$ （ $Q$ 列正交， $R$ 为 $n \times n$ 矩阵）。证明：若 $A$ 的列线性相关，则 $R$ 必不可逆。

解列相关 ⟺ 存在非零 $x$ 使 $A x = 0$ ，即 $QR x = 0$ 。由 6.2 节定理 7(a)（ $Q$ 列标准正交时保持长度）：

∥ R x ∥ = ∥ QR x ∥ = ∥ 0 ∥ = 0 ⟹ R x = 0

存在非零 $x$ 使 $R x = 0$ ，由可逆矩阵定理， $R$ 不可逆。∎

6.5 最小二乘问题

本章开头的大地测量方程组无解。现实中无解方程组比比皆是（测量有误差、数据有噪声），但又必须给出一个”解”。能做的最好事情是：找 $x$ 使 $A x$ 尽可能接近 $b$ 。

什么是最小二乘解

把 $A x$ 看作 $b$ 的近似，距离 $∥ b - A x ∥$ 越小近似越好。一般最小二乘问题：求 $x$ 使 $∥ b - A x ∥$ 达到最小（“最小二乘”得名于这个距离是平方和的平方根）。

定义设 $A$ 为 $m \times n$ ， $b \in R^{m}$ 。 $A x = b$ 的最小二乘解是 $\hat{x} \in R^{n}$ ，使得

∥ b - A \hat{x} ∥ \leq ∥ b - A x ∥ 对所有 x \in R^{n}

关键观察：无论 $x$ 取什么， $A x$ 都落在列空间 $Col A$ 里。所以问题等价于：在 $Col A$ 中找离 $b$ 最近的点。

图 6-26

图 6-26： $b$ 到 $A \hat{x}$ 比到其他任何 $A x$ 都近

（若 $b$ 本来就在 $Col A$ 中，方程组相容，普通解就是”最小二乘解”。）

法方程（Normal Equations）

由最佳逼近定理，取 $\hat{b} = proj_{Col A} b$ 。 $\hat{b} \in Col A$ ，方程 $A \hat{x} = \hat{b}$ 必相容，其解就是最小二乘解（有自由变量时解不唯一——但 $\hat{b}$ 本身唯一）。

图 6-27

图 6-27：最小二乘解 $\hat{x}$ 是 $R^{n}$ 中的权重列表

再由正交分解定理， $b - \hat{b}$ 垂直于 $Col A$ 的每个列向量 $a_{j}$ ： $a_{j}^{T} (b - A \hat{x}) = 0$ 。把所有列拼起来：

A^{T} (b - A \hat{x}) = 0 (2)

（这正是 6.1 节定理 3： $b - A \hat{x} \in (Col A)^{⊥} = Nul A^{T}$ 。）展开：

A^{T} A \hat{x} = A^{T} b (3)

定理 13 $A x = b$ 的最小二乘解集合，与法方程（normal equations） $A^{T} A x = A^{T} b$ 的（非空）解集合完全相同。

证明要点：上面已证最小二乘解满足法方程；反之，若 $\hat{x}$ 满足法方程，则 $b - A \hat{x}$ 与 $A$ 的所有列正交、从而垂直于整个 $Col A$ ，于是 $b = A \hat{x} + (b - A \hat{x})$ 是正交分解，由唯一性 $A \hat{x} = \hat{b}$ 。∎

常见坑

法方程是 $A^{T} A x = A^{T} b$ ，不要写成 $A A^{T} x = b$ 。 $A^{T} A$ 是 $n \times n$ 的、以未知数个数为准； $A A^{T}$ 是 $m \times m$ 的、以方程个数为准——写错维度整个方向就错了。

例 1 求不相容方程组 $A x = b$ 的最小二乘解，其中

A = 401021, b = 2011

解计算法方程各部分：

A^{T} A = [400211] 401021 = [17115], A^{T} b = [400211] 2011 = [1911]

法方程为 $[17115] [x_{1} x_{2}] = [1911]$ 。 $A^{T} A$ 可逆（ $det = 84$ ），用逆矩阵解：

\hat{x} = (A^{T} A)^{- 1} A^{T} b = \frac{1}{84} [5 - 1 - 1 17] [1911] = \frac{1}{84} [84168] = [12]

例 2 求 $A x = b$ 的最小二乘解，其中

A = 111111110000001100000011, b = - 3 - 1 0251

这类矩阵出现在统计学方差分析（analysis of variance）问题中。

解计算得

A^{T} A = 6222220020202002, A^{T} b = 4 - 4 26

对法方程的增广矩阵行化简：

6222220020202002 4 - 4 26 \sim 100001000010 1 - 1 - 1 0 3 - 5 - 2 0

通解为 $x_{1} = 3 - x_{4}$ ， $x_{2} = - 5 + x_{4}$ ， $x_{3} = - 2 + x_{4}$ ， $x_{4}$ 自由。最小二乘解的通式：

\hat{x} = 3 - 5 - 2 0 + x_{4} - 1 111

$\hat{x}$ 有无穷多个，但它们都对应同一个投影 $A \hat{x} = \hat{b}$ 。

何时最小二乘解唯一

定理 14 设 $A$ 为 $m \times n$ 矩阵，下列命题等价：

a. 对每个 $b \in R^{m}$ ， $A x = b$ 有唯一最小二乘解；
b. $A$ 的列线性无关；
c. 矩阵 $A^{T} A$ 可逆。

此时唯一的最小二乘解为

\hat{x} = (A^{T} A)^{- 1} A^{T} b (4)

公式 (4) 主要用于理论推导，以及 $A^{T} A$ 是 $2 \times 2$ 可逆矩阵时的手算。

最小二乘误差

用 $\hat{x}$ 得到近似 $A \hat{x}$ 后，距离 $∥ b - A \hat{x} ∥$ 称为这次近似的最小二乘误差（least-squares error）。

例 3 用例 1 的 $A, b$ 求最小二乘误差。

解由例 1， $\hat{x} = (1, 2)$ ，故

A \hat{x} = 401021 [12] = 443, b - A \hat{x} = 2011 - 443 = - 2 - 4 8

∥ b - A \hat{x} ∥ = (- 2)^{2} + (- 4)^{2} + 8^{2} = 84

最小二乘误差为 $84$ ：对任何 $x \in R^{2}$ ， $b$ 与 $A x$ 的距离至少是 $84$ （注意图 6-28 里画的是列空间中的 $\hat{b}$ ，不是 $\hat{x}$ 本身）。

图 6-28

图 6-28：最小二乘误差 $∥ b - A \hat{x} ∥$ 的几何意义

列正交时的快捷算法

例 4 求 $A x = b$ 的最小二乘解，其中

A = 1111 - 6 - 2 17, b = - 1 216

解 $A$ 的列 $a_{1}, a_{2}$ 正交（ $- 6 - 2 + 1 + 7 = 0$ ），可直接对 $b$ 做投影：

\hat{b} = \frac{b \cdot a _{1}}{a _{1} \cdot a _{1}} a_{1} + \frac{b \cdot a _{2}}{a _{2} \cdot a _{2}} a_{2} = \frac{8}{4} a_{1} + \frac{45}{90} a_{2} = 2222 + - 3 - 1 1/2 7/2 = - 1 1 5/2 11/2

而权重已经现成地写在上式里，故

\hat{x} = [8/4 45/90] = [2 1/2]

（这类列正交矩阵常见于下一节的线性回归问题。）

用 QR 分解求最小二乘解

有时法方程是病态的（ill-conditioned）： $A^{T} A$ 元素的微小计算误差会放大成 $\hat{x}$ 的大误差。若 $A$ 的列线性无关，更可靠的做法是用 QR 分解。

定理 15 设 $m \times n$ 矩阵 $A$ 列线性无关， $A = QR$ 是 QR 分解，则对每个 $b \in R^{m}$ ，方程 $A x = b$ 有唯一最小二乘解

\hat{x} = R^{- 1} Q^{T} b (6)

证明 $A \hat{x} = QR \hat{x} = QR R^{- 1} Q^{T} b = Q Q^{T} b$ 。由定理 12， $Q$ 的列是 $Col A$ 的标准正交基，由定理 10， $Q Q^{T} b = proj_{Col A} b = \hat{b}$ ，故 $\hat{x}$ 是最小二乘解；唯一性由定理 14。∎

数值注记： $R$ 是上三角阵，实际计算应解三角方程组 $R x = Q^{T} b$ （回代或行化简），不要先算 $R^{- 1}$ 再乘——快且更稳定。

例 5 用 QR 分解求 $A x = b$ 的最小二乘解，其中

A = 111131135023, b = 357 - 3

解按 6.4 节方法可得

A = QR = 1/2 1/2 1/2 1/2 1/2 - 1/2 - 1/2 1/2 1/2 - 1/2 1/2 - 1/2 200420532

计算

Q^{T} b = 1/2 1/2 1/2 1/2 - 1/2 - 1/2 1/2 - 1/2 1/2 1/2 1/2 - 1/2 357 - 3 = 6 - 6 4

解上三角方程组 $R x = Q^{T} b$ ：

200420532 x_{1} x_{2} x_{3} = 6 - 6 4

回代： $2 x_{3} = 4 \Rightarrow x_{3} = 2$ ； $2 x_{2} + 6 = - 6 \Rightarrow x_{2} = - 6$ ； $2 x_{1} - 24 + 10 = 6 \Rightarrow x_{1} = 10$ 。故

\hat{x} = 10 - 6 2

6.5 练习题

本节习题见原书（习题 1–26）：1–4 练习构造法方程，5–6 求全部最小二乘解，7–8 求最小二乘误差，9–12 求投影与最小二乘解，15–16 用给定 QR 分解求解，17–18 为判断题。

6.5 练习问题（Practice Problems）

1. 设 $A = 111 - 3 57 - 3 12$ ， $b = 5 - 3 - 5$ 。求 $A x = b$ 的最小二乘解及最小二乘误差。

解先算

A^{T} A = 3909832802814, A^{T} b = - 3 - 65 - 28

对法方程增广矩阵行化简：

3909832802814 - 3 - 65 - 28 \sim 100010 - 3/2 1/2 0 2 - 1 0

通解为 $x_{1} = 2 + \frac{3}{2} x_{3}$ ， $x_{2} = - 1 - \frac{1}{2} x_{3}$ ， $x_{3}$ 自由。取 $x_{3} = 0$ 得一个特解

\hat{x} = 2 - 1 0

求误差： $\hat{b} = A \hat{x} = 2 + 3 + 0 2 - 5 + 0 2 - 7 + 0 = 5 - 3 - 5 = b$ ！误差 $∥ b - \hat{b} ∥ = 0$ 。这是因为 $b$ 恰好落在 $Col A$ 里——方程组实际相容，且 $A^{T} A$ 不可逆（列相关），最小二乘解有无穷多个，误差均为零。

2. 当 $b$ 与 $A$ 的列都正交时，最小二乘解有什么特点？

解 $b$ 与 $Col A$ 的每个生成元正交 ⟹ $proj_{Col A} b = 0$ ，于是最小二乘解 $\hat{x}$ 满足 $A \hat{x} = 0$ ，即最小二乘解恰好是齐次方程 $A x = 0$ 的解； $\hat{x} = 0$ 总是一个最小二乘解。

6.6 线性模型中的应用

科学与工程的常见任务：用数据建立公式，预测一个变量随其他变量变化的规律。本节展示多种这样的场景——每一步最终都化归为解一个最小二乘问题。为了贴近统计学惯例，把 $A x = b$ 改写成 $X β = y$ ： $X$ 叫设计矩阵（design matrix）， $β$ 叫参数向量， $y$ 叫观测向量。

最小二乘直线

两个变量最简单的关系是 $y = β_{0} + β_{1} x$ 。实验数据给出点 $(x_{1}, y_{1}), \dots, (x_{n}, y_{n})$ ，看起来大致落在一条直线附近，问题是确定 $β_{0}, β_{1}$ 使直线”最贴近”数据。

图 6-29

图 6-29：用直线拟合实验数据

对每个数据点 $(x_{j}, y_{j})$ ： $y_{j}$ 是观测值，直线在同横坐标处给出的 $β_{0} + β_{1} x_{j}$ 是预测值，两者之差叫残差（residual）。衡量”贴近”的标准做法（因为计算简单）是取残差平方和：使残差平方和最小的直线 $y = β_{0} + β_{1} x$ 称为最小二乘直线（也叫 $y$ 对 $x$ 的回归直线，系数 $β_{0}, β_{1}$ 叫回归系数）。

若数据点严格在直线上，则 $β_{0} + β_{1} x_{1} = y_{1}, \dots, β_{0} + β_{1} x_{n} = y_{n}$ ，写成矩阵形式：

X β = y, X = 11 ⋮ 1 x_{1} x_{2} ⋮ x_{n}, β = [β_{0} β_{1}], y = y_{1} y_{2} ⋮ y_{n} (1)

数据点不共线时此方程组无解——这正是最小二乘问题 $A x = b$ 换了记号而已！向量 $X β$ 与 $y$ 之距离的平方恰是残差平方和，所以求最小二乘直线 ⟺ 求 $X β = y$ 的最小二乘解。

例 1 求拟合数据点 $(2, 1), (5, 2), (7, 3), (8, 3)$ 的最小二乘直线 $y = β_{0} + β_{1} x$ 。

解用数据的 $x$ 坐标造设计矩阵、 $y$ 坐标造观测向量：

X = 11112578, y = 1233

法方程 $X^{T} X β = X^{T} y$ ：

X^{T} X = [42222142], X^{T} y = [957]

[β_{0} β_{1}] = [42222142]^{- 1} [957] = \frac{1}{84} [142 - 22 - 22 4] [957] = \frac{1}{84} [2430] = [2/7 5/14]

最小二乘直线为

y = \frac{2}{7} + \frac{5}{14} x

图 6-30

图 6-30：例 1 的最小二乘直线 $y = \frac{2}{7} + \frac{5}{14} x$

实用技巧：先算 $x$ 坐标的平均值 $\overline{x}$ ，用新变量 $x^{*} = x - \overline{x}$ （平均偏差形式，mean-deviation form）代替 $x$ ，设计矩阵的两列就正交了，法方程的求解立刻简化（原理同 6.5 节例 4；参见原书习题 17、18）。

一般线性模型

有时需要用直线以外的曲线拟合。统计学家引入残差向量 $ϵ = y - X β$ ，把模型写成

y = X β + ϵ

任何这种形式的方程叫线性模型（linear model）。 $X, y$ 确定后，目标是使 $∥ ϵ ∥$ 最小——即求 $X β = y$ 的最小二乘解 $\hat{β}$ ，它满足法方程 $X^{T} X β = X^{T} y$ 。

用其他曲线拟合

当散点图不接近任何直线，可假设形如

y = β_{0} f_{0} (x) + β_{1} f_{1} (x) + \dots + β_{k} f_{k} (x) (2)

的关系，其中 $f_{0}, \dots, f_{k}$ 是已知函数、 $β_{0}, \dots, β_{k}$ 是待定参数。它对未知参数 $β_{i}$ 是线性的，所以仍是线性模型。（“线性”指参数线性，不指 $x$ 线性！）

图 6-31

图 6-31：植物养分净初级生产量随叶面积的变化——开口向下的抛物线模型

图 6-32

图 6-32：典型平均成本曲线——开口向上的抛物线

例 2 设数据点大致沿抛物线分布（如上两图的场景： $x$ 为公司日产量、 $y$ 为平均成本；或 $x$ 为叶面积、 $y$ 为养分生产量），用形如

y = β_{0} + β_{1} x + β_{2} x^{2} (3)

的方程逼近。描述产生”最小二乘拟合”的线性模型。

解每个数据点给出一个带残差的方程：

y_{1} y_{2} y_{n} = β_{0} + β_{1} x_{1} + β_{2} x_{1}^{2} + ϵ_{1} = β_{0} + β_{1} x_{2} + β_{2} x_{2}^{2} + ϵ_{2} ⋮ = β_{0} + β_{1} x_{n} + β_{2} x_{n}^{2} + ϵ_{n}

其中 $ϵ_{j}$ 是观测值 $y_{j}$ 与预测值 $β_{0} + β_{1} x_{j} + β_{2} x_{j}^{2}$ 之差。写成矩阵形式 $y = X β + ϵ$ （看前几行找规律即可写出 $X$ ）：

y_{1} y_{2} ⋮ y_{n} = 11 ⋮ 1 x_{1} x_{2} ⋮ x_{n} x_{1}^{2} x_{2}^{2} ⋮ x_{n}^{2} β_{0} β_{1} β_{2} + ϵ_{1} ϵ_{2} ⋮ ϵ_{n}

例 3 若数据沿三次曲线分布（比如公司总成本随产量变化），用 $y = β_{0} + β_{1} x + β_{2} x^{2} + β_{3} x^{3}$ 拟合，描述其线性模型。

图 6-33

图 6-33：沿三次曲线分布的数据点

解与例 2 同法，设计矩阵每行多一列 $x_{i}^{3}$ ：

y = y_{1} ⋮ y_{n}, X = 11 ⋮ 1 x_{1} x_{2} ⋮ x_{n} x_{1}^{2} x_{2}^{2} ⋮ x_{n}^{2} x_{1}^{3} x_{2}^{3} ⋮ x_{n}^{3}, β = β_{0} β_{1} β_{2} β_{3}, ϵ = ϵ_{1} ⋮ ϵ_{n}

多元回归

实验若有两个自变量 $u, v$ 与一个因变量 $y$ ，预测方程可以是

y = β_{0} + β_{1} u + β_{2} v (4)

或更一般的

y = β_{0} + β_{1} u + β_{2} v + β_{3} u^{2} + β_{4} uv + β_{5} v^{2} (5)

（地质学中用它建模侵蚀面、冰斗、土壤 pH 等量的空间分布，最小二乘拟合称为趋势面，trend surface。）只要 $y$ 由形如 $y = β_{0} f_{0} (u, v) + \dots + β_{k} f_{k} (u, v)$ 的方程预测（ $f_{i}$ 已知、 $β_{i}$ 未知权重），就得到线性模型。

例 4（最小二乘平面） 地理学中用数据 $(u_{1}, v_{1}, y_{1}), \dots, (u_{n}, v_{n}, y_{n})$ 建立局部地形模型，其中 $u_{j}, v_{j}, y_{j}$ 分别是纬度、经度与海拔。描述基于 (4) 的线性模型，其解称为最小二乘平面。

图 6-34

图 6-34：最小二乘平面

解预期数据满足：

y_{1} y_{n} = β_{0} + β_{1} u_{1} + β_{2} v_{1} + ϵ_{1} ⋮ = β_{0} + β_{1} u_{n} + β_{2} v_{n} + ϵ_{n}

即 $y = X β + ϵ$ ，其中

y = y_{1} y_{2} ⋮ y_{n}, X = 11 ⋮ 1 u_{1} u_{2} ⋮ u_{n} v_{1} v_{2} ⋮ v_{n}, β = β_{0} β_{1} β_{2}, ϵ = ϵ_{1} ϵ_{2} ⋮ ϵ_{n}

例 4 说明：多元回归的线性模型与前面简单回归的模型抽象形式完全相同。线性代数让我们看清所有线性模型背后的统一原理——只要把 $X$ 定义对，法方程永远是同一个矩阵形式，与变量个数无关。因此对任何 $X^{T} X$ 可逆的线性模型，最小二乘解都是 $\hat{β} = (X^{T} X)^{- 1} X^{T} y$ 。

应用一瞥（原书习题背景）：按开普勒第一定律，彗星轨道是椭圆、抛物线或双曲线。在合适的极坐标下，彗星位置 $(r, ϑ)$ 满足 $r = β + e (r cos ϑ)$ ，其中 $β$ 为常数、 $e$ 为轨道离心率（ $0 \leq e < 1$ 椭圆、 $e = 1$ 抛物线、 $e > 1$ 双曲线）。把观测数据 $(ϑ_{i}, r_{i})$ 代入并用最小二乘估计 $β$ 与 $e$ ，就能判断轨道类型并预测彗星未来的位置——哈雷彗星正是用这类方法被算出回归日期的。

图 6-35

图 6-35：哈雷彗星——用最小二乘从观测数据估计轨道参数的经典案例

6.6 练习题

本节习题见原书（习题 1–20）：1–4 求最小二乘直线，7–8 建立收入/成本曲线模型，13–14 求最小二乘曲线，15–16 涉及飞机起飞数据的拟合与速度估计，19–20 涉及统计学中的平方和分解 SS(R)、SS(E)、SS(T)。

6.6 练习问题（Practice Problem）

问题：某产品月销量受季节波动影响，近似销量的曲线可取形式

y = β_{0} + β_{1} x + β_{2} sin (2 π x /12)

其中 $x$ 是月份。 $β_{0} + β_{1} x$ 给出基本销售趋势，正弦项反映季节变化。给出使上式对数据 $(x_{1}, y_{1}), \dots, (x_{n}, y_{n})$ 做最小二乘拟合的线性模型（设计矩阵与参数向量）。

图 6-36

图 6-36：带季节波动的销售趋势

解构造 $X$ 与 $β$ ，使 $X β$ 的第 $k$ 行是数据点 $(x_{k}, y_{k})$ 对应的预测值 $β_{0} + β_{1} x_{k} + β_{2} sin (2 π x_{k} /12)$ 。显然

X = 1 ⋮ 1 x_{1} ⋮ x_{n} sin (2 π x_{1} /12) ⋮ sin (2 π x_{n} /12), β = β_{0} β_{1} β_{2}

三列分别是”常数项、线性趋势、季节正弦项”，模型仍是 $y = X β + ϵ$ 的标准形式。

6.7 内积空间

到目前为止，“长度、距离、正交”都只在 $R^{n}$ 中定义，靠的是定理 1 的四条内积性质。但应用中经常要在别的向量空间（多项式空间、连续函数空间……）里谈这些概念。办法是：把定理 1 的结论升级为公理，凡满足这四条公理的运算都称为内积。

内积公理

定义向量空间 $V$ 上的内积是一个函数：给每对向量 $u, v \in V$ 赋一个实数 $⟨ u, v ⟩$ ，满足对所有 $u, v, w \in V$ 及标量 $c$ ：

$⟨ u, v ⟩ = ⟨ v, u ⟩$ （对称）
$⟨ u + v, w ⟩ = ⟨ u, w ⟩ + ⟨ v, w ⟩$ （第一变元线性）
$⟨ c u, v ⟩ = c ⟨ u, v ⟩$
$⟨ u, u ⟩ \geq 0$ ，且 $⟨ u, u ⟩ = 0$ 当且仅当 $u = 0$ （正定）

装备了内积的向量空间叫内积空间（inner product space）。 $R^{n}$ 带标准内积就是一个内积空间，本章对 $R^{n}$ 讲的几乎所有内容都能搬到一般的内积空间中。

例 1 取定两个正数，比如 4 和 5。对 $u = (u_{1}, u_{2})$ ， $v = (v_{1}, v_{2}) \in R^{2}$ ，定义

⟨ u, v ⟩ = 4 u_{1} v_{1} + 5 u_{2} v_{2} (1)

证明 (1) 是内积。

解逐条验证四条公理：

公理 1： $⟨ u, v ⟩ = 4 u_{1} v_{1} + 5 u_{2} v_{2} = 4 v_{1} u_{1} + 5 v_{2} u_{2} = ⟨ v, u ⟩$ ✓
公理 2：设 $w = (w_{1}, w_{2})$ ，则

⟨ u + v, w ⟩ = 4 (u_{1} + v_{1}) w_{1} + 5 (u_{2} + v_{2}) w_{2} = 4 u_{1} w_{1} + 5 u_{2} w_{2} + 4 v_{1} w_{1} + 5 v_{2} w_{2} = ⟨ u, w ⟩ + ⟨ v, w ⟩ ✓

公理 3： $⟨ c u, v ⟩ = 4 (c u_{1}) v_{1} + 5 (c u_{2}) v_{2} = c (4 u_{1} v_{1} + 5 u_{2} v_{2}) = c ⟨ u, v ⟩$ ✓
公理 4： $⟨ u, u ⟩ = 4 u_{1}^{2} + 5 u_{2}^{2} \geq 0$ ，且等于零仅当 $u_{1} = u_{2} = 0$ ，即 $u = 0$ ；又 $⟨ 0, 0 ⟩ = 0$ ✓

所以 (1) 是 $R^{2}$ 上的内积。∎

这类”加权内积”在加权最小二乘问题中自然出现：给更可靠的测量分配更大权重（详见 6.8 节）。

例 2 设 $t_{0}, \dots, t_{n}$ 是互不相同的实数。对 $P_{n}$ 中的多项式 $p, q$ ，定义

⟨ p, q ⟩ = p (t_{0}) q (t_{0}) + p (t_{1}) q (t_{1}) + \dots + p (t_{n}) q (t_{n}) (2)

证明 (2) 是 $P_{n}$ 上的内积。

解公理 1–3 直接由乘法与加法性质得到。公理 4： $⟨ p, p ⟩ = [p (t_{0})]^{2} + \dots + [p (t_{n})]^{2} \geq 0$ ；若 $⟨ p, p ⟩ = 0$ ，则 $p$ 在 $n + 1$ 个点 $t_{0}, \dots, t_{n}$ 处全为零。但 $p$ 的次数小于 $n + 1$ ，一个非零多项式至多有 $n$ 个根，故 $p$ 必是零多项式。∎

（从现在起，当内积空间的对象是多项式或函数时，我们按通常方式书写它们而不用粗体——但记住：作为向量空间的元素，每个函数都是”向量”。）

例 3 设 $V = P_{2}$ ，用例 2 的内积，取 $t_{0} = 0$ ， $t_{1} = \frac{1}{2}$ ， $t_{2} = 1$ 。设 $p (t) = 12 t^{2}$ ， $q (t) = 2 t - 1$ 。计算 $⟨ p, q ⟩$ 与 $⟨ q, q ⟩$ 。

解

⟨ p, q ⟩ = p (0) q (0) + p (\frac{1}{2}) q (\frac{1}{2}) + p (1) q (1) = (0) (- 1) + (3) (0) + (12) (1) = 12

⟨ q, q ⟩ = [q (0)]^{2} + [q (\frac{1}{2})]^{2} + [q (1)]^{2} = (- 1)^{2} + 0^{2} + 1^{2} = 2

长度、距离与正交

设 $V$ 是内积空间。完全照搬 $R^{n}$ 的模式定义：

∥ v ∥ = ⟨ v, v ⟩

（注意 $∥ v ∥^{2} = ⟨ v, v ⟩$ 有意义是因为公理 4 保证非负，但它不一定是”平方和”，因为 $v$ 未必是 $R^{n}$ 中的向量。）长度为 1 的向量是单位向量； $u$ 与 $v$ 的距离是 $∥ u - v ∥$ ； $u, v$ 正交当且仅当 $⟨ u, v ⟩ = 0$ 。

例 4 $P_{2}$ 用例 3 的内积（在 $0, \frac{1}{2}, 1$ 三点求值），计算 $p (t) = 12 t^{2}$ 与 $q (t) = 2 t - 1$ 的长度。

解

∥ p ∥^{2} = ⟨ p, p ⟩ = [p (0)]^{2} + [p (\frac{1}{2})]^{2} + [p (1)]^{2} = 0 + 3^{2} + 1 2^{2} = 153, ∥ p ∥ = 153

由例 3， $⟨ q, q ⟩ = 2$ ，故 $∥ q ∥ = 2$ 。

格拉姆–施密特过程

内积空间有限维子空间的正交基同样可用格拉姆–施密特过程构造；正交投影到有正交基的子空间照常定义，且投影与正交基的选取无关，正交分解定理与最佳逼近定理照样成立。许多应用中常见的正交基正是用这个过程造出来的。

例 5 设 $V = P_{4}$ ，内积是例 2 型的求值内积，求值点取 $- 2, - 1, 0, 1, 2$ 。把 $P_{2}$ 视为 $V$ 的子空间，对多项式 $1, t, t^{2}$ 应用格拉姆–施密特，产生 $P_{2}$ 的正交基。

解内积只依赖多项式在 $- 2, \dots, 2$ 处的值，所以把每个多项式用它在这些点的取值向量（ $R^{5}$ 中）表示：

多项式： 取值向量： 1 11111, t - 2 - 1 012, t^{2} 41014

观察： $t$ 与常数 1 已经正交（取值向量内积为 $- 2 - 1 + 0 + 1 + 2 = 0$ ），取 $p_{0} (t) = 1$ ， $p_{1} (t) = t$ 。对 $p_{2}$ ，用取值向量计算 $t^{2}$ 到 $Span {p_{0}, p_{1}}$ 的投影：

⟨ t^{2}, p_{0} ⟩ = 4 + 1 + 0 + 1 + 4 = 10, ⟨ p_{0}, p_{0} ⟩ = 5, ⟨ t^{2}, p_{1} ⟩ = - 8 + (- 1) + 0 + 1 + 8 = 0

投影为 $\frac{10}{5} p_{0} + 0 \cdot p_{1} = 2 p_{0}$ ，于是

p_{2} (t) = t^{2} - 2 p_{0} (t) = t^{2} - 2

$P_{2}$ 的正交基为 $p_{0} = 1$ ， $p_{1} = t$ ， $p_{2} = t^{2} - 2$ ，其取值向量为

11111, - 2 - 1 012, 2 - 1 - 2 - 1 2 (3)

例 5、6 中的多项式 $p_{0}, p_{1}, p_{2}$ 属于统计学中所谓的正交多项式（orthogonal polynomials）——“正交”指的就是例 2 型内积下的正交。

内积空间中的最佳逼近

应用数学的常见问题：用某个子空间 $W$ 中的函数 $g$ 去逼近内积空间 $V$ 中的函数 $f$ 。当”接近程度”由内积定义（ $∥ f - g ∥ = ⟨ f - g, f - g ⟩$ ）时，最佳逼近就是 $f$ 到子空间 $W$ 的正交投影。

例 6 设 $V = P_{4}$ （内积同例 5）， $p_{0}, p_{1}, p_{2}$ 是例 5 为子空间 $P_{2}$ 找到的正交基。求 $P_{2}$ 中的多项式对 $p (t) = 5 - \frac{1}{2} t^{4}$ 的最佳逼近。

解 $p_{0}, p_{1}, p_{2}$ 的取值向量已列在 (3) 中。 $p$ 在 $- 2, - 1, 0, 1, 2$ 处的值为 $- 3, \frac{9}{2}, 5, \frac{9}{2}, - 3$ 。计算：

⟨ p, p_{0} ⟩ = 8, ⟨ p, p_{1} ⟩ = 0, ⟨ p, p_{2} ⟩ = - 31; ⟨ p_{0}, p_{0} ⟩ = 5, ⟨ p_{2}, p_{2} ⟩ = 14

最佳逼近为

\overset{p}{^} = proj_{P_{2}} p = \frac{⟨ p , p _{0} ⟩}{⟨ p _{0} , p _{0} ⟩} p_{0} + \frac{⟨ p , p _{1} ⟩}{⟨ p _{1} , p _{1} ⟩} p_{1} + \frac{⟨ p , p _{2} ⟩}{⟨ p _{2} , p _{2} ⟩} p_{2} = \frac{8}{5} p_{0} + \frac{- 31}{14} p_{2} = \frac{8}{5} - \frac{31}{14} (t^{2} - 2)

当”距离”只在 $- 2, - 1, 0, 1, 2$ 这五个点度量时，这个多项式是 $P_{2}$ 中离 $p$ 最近的。

图 6-37

图 6-37： $P_{2}$ 中的多项式对 $p (t) = 5 - \frac{1}{2} t^{4}$ 的最佳逼近

两个重要不等式

设 $v$ 是内积空间 $V$ 中的向量， $W$ 是有限维子空间。把勾股定理用于正交分解 $v = proj_{W} v + (v - proj_{W} v)$ ：

∥ v ∥^{2} = ∥ proj_{W} v ∥^{2} + ∥ v - proj_{W} v ∥^{2}

特别地，投影的范数不超过原向量的范数（斜边最长）：

图 6-38

图 6-38：斜边是最长的边

定理 16（柯西–施瓦茨不等式） 对内积空间 $V$ 中所有 $u, v$ ：

∣ ⟨ u, v ⟩ ∣ \leq ∥ u ∥ ∥ v ∥ (4)

证明若 $u = 0$ ，两边都是零，成立。若 $u \neq = 0$ ，取 $W = Span {u}$ ，则

∥ proj_{W} v ∥ = \frac{⟨ v , u ⟩}{⟨ u , u ⟩} u = \frac{∣ ⟨ v , u ⟩ ∣}{∥ u ∥ ^{2}} ∥ u ∥ = \frac{∣ ⟨ u , v ⟩ ∣}{∥ u ∥}

由 $∥ proj_{W} v ∥ \leq ∥ v ∥$ 得 $\frac{∣ ⟨ u , v ⟩ ∣}{∥ u ∥} \leq ∥ v ∥$ ，即 (4)。∎

柯西–施瓦茨不等式在数学许多分支都有用（原书习题给出几个简单应用，如比较几何平均与算术平均）。这里主要用它证明另一个基本不等式。

图 6-39

图 6-39：三角形边长——两边之和不小于第三边

定理 17（三角不等式） 对 $V$ 中所有 $u, v$ ：

∥ u + v ∥ \leq ∥ u ∥ + ∥ v ∥

证明

∥ u + v ∥^{2} = ⟨ u + v, u + v ⟩ = ∥ u ∥^{2} + 2 ⟨ u, v ⟩ + ∥ v ∥^{2} \leq ∥ u ∥^{2} + 2∣ ⟨ u, v ⟩ ∣ + ∥ v ∥^{2} \leq ∥ u ∥^{2} + 2∥ u ∥∥ v ∥ + ∥ v ∥^{2} = (∥ u ∥ + ∥ v ∥)^{2}

其中第二步用对称性，第三步用柯西–施瓦茨。两边开方即得。∎

$C [a, b]$ 的内积（需要微积分）

应用中最常用的内积空间，大概是区间 $a \leq t \leq b$ 上全体连续函数构成的空间 $C [a, b]$ 。

怎么想到它的内积？先用多项式 $p$ 试探： $p \in P_{n}$ 时，可用例 2 型的求值内积算”长度”，但这只反映 $n + 1$ 个点上的行为。取越来越多的求值点：

图 6-40

图 6-40：在 $[a, b]$ 上取不同个数的求值点计算 $∥ p ∥^{2}$

把 $[a, b]$ 分成 $n + 1$ 个长为 $Δ t = \frac{b - a}{n + 1}$ 的小区间，取点 $t_{0}, \dots, t_{n}$ ，并把求值和除以 $n + 1$ （相当于取平均）：

⟨ p, q ⟩ = \frac{1}{n + 1} j = 0 \sum n p (t_{j}) q (t_{j}) = \frac{1}{b - a} [j = 0 \sum n p (t_{j}) q (t_{j}) Δ t]

图 6-41

图 6-41：把 $[a, b]$ 分成 $n + 1$ 个等长小区间

让 $n \to \infty$ ：由于 $p, q$ 连续，方括号内是黎曼和，趋于定积分——我们被引向 $p (t) q (t)$ 在 $[a, b]$ 上的平均值。这个量对任意次数的多项式（乃至一切连续函数）都有定义，且满足内积公理。因子 $\frac{1}{b - a}$ 无关紧要，常省略。

例 7 对 $f, g \in C [a, b]$ ，定义

⟨ f, g ⟩ = \int_{a}^{b} f (t) g (t) d t (5)

证明 (5) 是 $C [a, b]$ 上的内积。

解公理 1–3 由定积分的初等性质直接得到。公理 4： $⟨ f, f ⟩ = \int_{a}^{b} [f (t)]^{2} d t \geq 0$ 。若该积分为零，由 $[f (t)]^{2}$ 连续且非负，其在 $[a, b]$ 上必恒为零（微积分中的定理），故 $f$ 是零函数。∎

例 8 设 $V = C [0, 1]$ （例 7 的内积）， $W$ 是由 $p_{1} (t) = 1$ ， $p_{2} (t) = 2 t - 1$ ， $p_{3} (t) = 12 t^{2}$ 张成的子空间。用格拉姆–施密特求 $W$ 的正交基。

解令 $q_{1} = p_{1}$ ，计算

⟨ p_{2}, q_{1} ⟩ = \int_{0}^{1} (2 t - 1) \cdot 1 d t = (t^{2} - t)_{0}^{1} = 0

$p_{2}$ 已经与 $q_{1}$ 正交，取 $q_{2} = p_{2}$ 。为求 $p_{3}$ 在 $W_{2} = Span {q_{1}, q_{2}}$ 上的投影，计算：

⟨ p_{3}, q_{1} ⟩ = \int_{0}^{1} 12 t^{2} d t = 4 t^{3}_{0}^{1} = 4, ⟨ q_{1}, q_{1} ⟩ = \int_{0}^{1} 1 d t = 1

⟨ p_{3}, q_{2} ⟩ = \int_{0}^{1} 12 t^{2} (2 t - 1) d t = \int_{0}^{1} (24 t^{3} - 12 t^{2}) d t = 2, ⟨ q_{2}, q_{2} ⟩ = \int_{0}^{1} (2 t - 1)^{2} d t = \frac{1}{3}

于是

proj_{W_{2}} p_{3} = \frac{4}{1} q_{1} + \frac{2}{1/3} q_{2} = 4 q_{1} + 6 q_{2}

q_{3} = p_{3} - proj_{W_{2}} p_{3} = p_{3} - 4 q_{1} - 6 q_{2}

作为函数： $q_{3} (t) = 12 t^{2} - 4 - 6 (2 t - 1) = 12 t^{2} - 12 t + 2$ 。 $W$ 的正交基为 ${q_{1}, q_{2}, q_{3}} = {1, 2 t - 1, 12 t^{2} - 12 t + 2}$ 。

6.7 练习题

本节习题见原书（习题 1–28）：1–2 练习例 1 型加权内积，3–12 练习求值内积下的计算与正交多项式，13–14 由可逆矩阵/单射变换构造内积，15–18 用内积公理验证恒等式，19–20 用柯西–施瓦茨证不等式，21–26 练习 $C [a, b]$ 的积分内积（25 题构造勒让德多项式），27–28 为计算机练习。

6.7 练习问题（Practice Problems）

用内积公理验证以下两条。

1. $⟨ v, 0 ⟩ = ⟨ 0, v ⟩ = 0$ 。

解由公理 1， $⟨ v, 0 ⟩ = ⟨ 0, v ⟩$ ；再由公理 3， $⟨ 0, v ⟩ = ⟨ 0 v, v ⟩ = 0 ⟨ v, v ⟩ = 0$ 。

2. $⟨ u, v + w ⟩ = ⟨ u, v ⟩ + ⟨ u, w ⟩$ 。

解由公理 1（对称）、公理 2、再对称一次：

⟨ u, v + w ⟩ = ⟨ v + w, u ⟩ = ⟨ v, u ⟩ + ⟨ w, u ⟩ = ⟨ u, v ⟩ + ⟨ u, w ⟩

注意：公理 2 只对第一变元线性，第二变元的线性要靠对称性补出来——这是初学者最容易漏掉的一步。

6.8 内积空间的应用

本节展示 6.7 节的内积空间如何出现在实际问题中。第一个应用正与本章开篇的北美大地基准那次大规模最小二乘计算有关。

加权最小二乘（Weighted Least-Squares）

设 $y = (y_{1}, \dots, y_{n})$ 是 $n$ 个观测值，想用某子空间中的向量 $\hat{y}$ （分量为 $\overset{y}{^}_{1}, \dots, \overset{y}{^}_{n}$ ）来逼近它。误差平方和（sum of squares for error，SS(E)）为

SS (E) = (y_{1} - \overset{y}{^}_{1})^{2} + \dots + (y_{n} - \overset{y}{^}_{n})^{2} (1)

这就是 $∥ y - \hat{y} ∥^{2}$ （ $R^{n}$ 的标准长度）。

但如果各观测值可靠性不同呢？（北美大地基准正是如此——数据来自跨越 140 年的测量；或者各观测值来自样本量不同的抽样。）这时应当加权：给更可靠的测量更大的话语权。取权重 $w_{1}^{2}, \dots, w_{n}^{2}$ ，定义加权误差平方和：

Weighted SS(E) = w_{1}^{2} (y_{1} - \overset{y}{^}_{1})^{2} + \dots + w_{n}^{2} (y_{n} - \overset{y}{^}_{n})^{2} (2)

它正是内积

⟨ x, y ⟩ = w_{1}^{2} x_{1} y_{1} + \dots + w_{n}^{2} x_{n} y_{n}

（6.7 节例 1 的推广）诱导的长度平方。把加权问题化成普通问题只需一个对角矩阵：设 $W$ 是对角元为 $w_{1}, \dots, w_{n}$ 的对角矩阵，则 (2) 的第 $j$ 项

w_{j}^{2} (y_{j} - \overset{y}{^}_{j})^{2} = (w_{j} y_{j} - w_{j} \overset{y}{^}_{j})^{2}

所以加权 SS(E) $= ∥ W y - W \hat{y} ∥^{2}$ （普通长度！）。若近似向量由矩阵 $A$ 的列构造，要找 $\hat{x}$ 使 $A \hat{x} = \hat{y}$ 尽量贴近 $y$ ，即最小化

∥ W y - W A \hat{x} ∥^{2}

于是 $\hat{x}$ 就是普通（不加权）方程组

W A x = W y

的最小二乘解，其法方程为

(W A)^{T} W A x = (W A)^{T} W y

例 1 求拟合数据 $(- 2, 3), (- 1, 5), (0, 5), (1, 4), (2, 3)$ 的最小二乘直线 $y = β_{0} + β_{1} x$ 。设最后两个数据点的 $y$ 测量误差较大，给它们一半权重。

解按 6.6 节记号（ $X$ 对应 $A$ ， $β$ 对应 $x$ ）：

X = 11111 - 2 - 1 012, β = [β_{0} β_{1}], y = 35543

权重减半即取权重 $1/2$ ，等价于给其余点权重 $2$ 、后两点权重 $1$ 。取加权矩阵 $W$ 的对角元为 $2, 2, 2, 1, 1$ （整体缩放不改变结果）。 $W$ 左乘 $X$ 与 $y$ ：

W X = 22211 - 4 - 2 012, W y = 6101043

法方程：

(W X)^{T} W X = [14 - 9 - 9 25], (W X)^{T} W y = [59 - 34]

解 $[14 - 9 - 9 25] [β_{0} β_{1}] = [59 - 34]$ （ $det = 269$ ）：

β_{0} = \frac{25 \cdot 59 + 9 \cdot ( - 34 )}{269} = \frac{1169}{269} \approx 4.3, β_{1} = \frac{9 \cdot 59 - 14 \cdot 34}{269} = \frac{55}{269} \approx 0.20

所求直线为

y = 4.3 + 0.20 x

对比：不加权的普通最小二乘直线是 $y = 4.0 - 0.10 x$ ——权重不同，直线斜率都变号了，可见加权的影响之大。

图 6-42

图 6-42：加权最小二乘直线与普通最小二乘直线的比较

数据的趋势分析（Trend Analysis）

设未知函数 $f$ 在 $t_{0}, \dots, t_{n}$ 处的值已知（也许近似）。数据呈”线性趋势”时可用 $β_{0} + β_{1} t$ 逼近；呈”二次趋势”时用 $β_{0} + β_{1} t + β_{2} t^{2}$ 。6.6 节从另一个角度讨论过这一点。

有些统计问题需要把线性趋势与二次（乃至更高次）趋势分离开。例如工程师分析新车的行驶性能： $f (t)$ 表示车在时刻 $t$ 离参考点的距离。匀速行驶时 $f (t)$ 是直线（斜率即速度）；猛踩油门后曲线会出现二次项甚至三次项（加速度）。分析超车能力时，可能需要把二次、三次成分从线性项中分离出来。

问题在于：若直接用 $y = β_{0} + β_{1} t + β_{2} t^{2}$ 拟合，系数 $β_{2}$ 未必给出关于二次趋势的独立信息（它可能与其它 $β_{i}$ 统计上纠缠在一起）。趋势分析的做法是：在 $P_{n}$ 上引入求值内积（6.7 节例 2 型）

⟨ p, q ⟩ = p (t_{0}) q (t_{0}) + \dots + p (t_{n}) q (t_{n})

对 $1, t, t^{2}, t^{3}$ 用格拉姆–施密特造出 $P_{3}$ 的正交基 $p_{0}, p_{1}, p_{2}, p_{3}$ 。设 $\overset{g}{^} = c_{0} p_{0} + c_{1} p_{1} + c_{2} p_{2} + c_{3} p_{3}$ 是 $g$ 到 $P_{3}$ 的正交投影，则 $\overset{g}{^}$ 称为三次趋势函数，系数 $c_{0}, \dots, c_{3}$ 称为数据的趋势系数： $c_{1}$ 度量线性趋势、 $c_{2}$ 度量二次趋势、 $c_{3}$ 度量三次趋势。

关键优势：由于 $p_{0}, \dots, p_{3}$ 正交，各趋势系数 $c_{i} = ⟨ g, p_{i} ⟩ / ⟨ p_{i}, p_{i} ⟩$ 可以逐个独立计算、互不干扰。只要二次趋势就忽略 $p_{3}$ ；要四次趋势也只需再对 $P_{4}$ 造一个正交于 $P_{3}$ 的 $p_{4}$ 并算 $⟨ g, p_{4} ⟩ / ⟨ p_{4}, p_{4} ⟩$ 。实践中统计学家很少需要超过三次或四次的趋势。

图 6-43

图 6-43：用二次趋势函数逼近数据

例 2 趋势分析最简单常用的情形：点 $t_{0}, \dots, t_{n}$ 可调整为等距且之和为零。对数据 $(- 2, 3), (- 1, 5), (0, 5), (1, 4), (2, 3)$ 拟合二次趋势函数。

解 $t$ 坐标已适当缩放为 $- 2, - 1, 0, 1, 2$ ，可直接使用 6.7 节例 5 找到的正交多项式：

多项式： 取值向量： p_{0} 11111, p_{1} - 2 - 1 012, p_{2} 2 - 1 - 2 - 1 2, g (数据) 35543

计算只需这些向量，不需要正交多项式的具体公式。数据在 $P_{2}$ 中的最佳逼近是正交投影：

\overset{p}{^} = \frac{⟨ g , p _{0} ⟩}{⟨ p _{0} , p _{0} ⟩} p_{0} + \frac{⟨ g , p _{1} ⟩}{⟨ p _{1} , p _{1} ⟩} p_{1} + \frac{⟨ g , p _{2} ⟩}{⟨ p _{2} , p _{2} ⟩} p_{2} = \frac{20}{5} p_{0} - \frac{1}{10} p_{1} - \frac{7}{14} p_{2}

\overset{p}{^} (t) = 4 - 0.1 t - 0.5 (t^{2} - 2)

$p_{2}$ 的系数 $- 0.5$ 并不小，可以认为数据至少有二次趋势——图 6-43 的图形证实了这一点。

傅里叶级数（需要微积分）

连续函数常用正弦与余弦函数的线性组合来逼近——声波、电信号、机械振动都是典型对象。

为简单起见考虑 $0 \leq t \leq 2 π$ 上的函数。事实证明： $C [0, 2 π]$ 中任何函数都能被

\frac{a _{0}}{2} + a_{1} cos t + \dots + a_{n} cos n t + b_{1} sin t + \dots + b_{n} sin n t (4)

形式的函数逼近到任意精度（ $n$ 充分大即可）。(4) 称为三角多项式（trigonometric polynomial）；若 $a_{n}, b_{n}$ 不全为零，称它是 $n$ 阶的。三角多项式与其他函数的联系源于：对任意 $n \geq 1$ ，集合

{1, cos t, cos 2 t, \dots, cos n t, sin t, sin 2 t, \dots, sin n t} (5)

在内积

⟨ f, g ⟩ = \int_{0}^{2 π} f (t) g (t) d t (6)

下是正交的！

例 3 设 $C [0, 2 π]$ 有内积 (6)， $m, n$ 是不等的正整数。证明 $cos m t$ 与 $cos n t$ 正交。

解用积化和差恒等式。当 $m \neq = n$ ：

⟨ cos m t, cos n t ⟩ = \int_{0}^{2 π} cos m t cos n t d t = \frac{1}{2} \int_{0}^{2 π} [cos (m + n) t + cos (m - n) t] d t

= \frac{1}{2} [\frac{sin ( m + n ) t}{m + n} + \frac{sin ( m - n ) t}{m - n}]_{0}^{2 π} = 0

（正弦在 $0$ 与 $2 π$ 处均为零。）

设 $W$ 是 (5) 中函数张成的子空间。给定 $f \in C [0, 2 π]$ ， $W$ 中的函数对 $f$ 的最佳逼近称为 $f$ 在 $[0, 2 π]$ 上的 $n$ 阶傅里叶逼近（Fourier approximation）。因为 (5) 中函数正交，最佳逼近就是正交投影，系数 $a_{k}, b_{k}$ 称为 $f$ 的傅里叶系数：

a_{k} = \frac{⟨ f , cos k t ⟩}{⟨ cos k t , cos k t ⟩}, b_{k} = \frac{⟨ f , sin k t ⟩}{⟨ sin k t , sin k t ⟩}, k \geq 1

可算出 $⟨ cos k t, cos k t ⟩ = π$ ， $⟨ sin k t, sin k t ⟩ = π$ （ $k > 0$ ；原书习题 7），于是

a_{k} = \frac{1}{π} \int_{0}^{2 π} f (t) cos k t d t, b_{k} = \frac{1}{π} \int_{0}^{2 π} f (t) sin k t d t (7)

常数项 $\frac{⟨ f , 1 ⟩}{⟨ 1 , 1 ⟩} = \frac{1}{2 π} \int_{0}^{2 π} f (t) d t = \frac{a _{0}}{2}$ （ $a_{0}$ 按 (7) 取 $k = 0$ ）——这解释了 (4) 中常数项为什么写成 $a_{0} /2$ 。

例 4 求 $f (t) = t$ 在 $[0, 2 π]$ 上的 $n$ 阶傅里叶逼近。

解先算常数项：

\frac{a _{0}}{2} = \frac{1}{2} \cdot \frac{1}{π} \int_{0}^{2 π} t d t = \frac{1}{2 π} [\frac{1}{2} t^{2}]_{0}^{2 π} = π

对 $k > 0$ ，用分部积分：

a_{k} = \frac{1}{π} \int_{0}^{2 π} t cos k t d t = \frac{1}{π} [\frac{1}{k ^{2}} cos k t + \frac{t}{k} sin k t]_{0}^{2 π} = 0

b_{k} = \frac{1}{π} \int_{0}^{2 π} t sin k t d t = \frac{1}{π} [\frac{1}{k ^{2}} sin k t - \frac{t}{k} cos k t]_{0}^{2 π} = - \frac{2}{k}

（ $cos k (2 π) = 1 = cos 0$ 使第一项相消； $sin$ 全为零，剩下 $- \frac{2 π}{k} \cdot \frac{1}{π} = - \frac{2}{k}$ 。）故 $f (t) = t$ 的 $n$ 阶傅里叶逼近为

π - 2 sin t - sin 2 t - \frac{2}{3} sin 3 t - \dots - \frac{2}{n} sin n t

图 6-44

图 6-44： $f (t) = t$ 的三阶傅里叶逼近

图 6-45

图 6-45： $f (t) = t$ 的四阶傅里叶逼近——阶数越高越贴近

$f$ 与傅里叶逼近之差的范数称为逼近的均方误差（mean square error，“均方”指范数由积分定义）。可以证明：当逼近阶数增大时，均方误差趋于零。因此习惯写成

f (t) = \frac{a _{0}}{2} + m = 1 \sum \infty (a_{m} cos m t + b_{m} sin m t)

这就是 $f$ 在 $[0, 2 π]$ 上的傅里叶级数（Fourier series）。比如 $a_{m} cos m t$ 这一项，就是 $f$ 到由 $cos m t$ 张成的一维子空间上的投影。

6.8 练习题

本节习题见原书（习题 1–16）：1–2 练习加权最小二乘，3–4 练习三次/二次趋势分析，5–14 涉及 $C [0, 2 π]$ 内积与傅里叶逼近（10 题为方波函数），15–16 为计算机练习。

6.8 练习问题（Practice Problems）

1. 设 $q_{1} (t) = 1$ ， $q_{2} (t) = t$ ， $q_{3} (t) = 3 t^{2} - 4$ 。验证 ${q_{1}, q_{2}, q_{3}}$ 在 $C [- 2, 2]$ （例 7 型积分内积，从 $- 2$ 积到 $2$ ）中是正交集。

解逐对计算：

⟨ q_{1}, q_{2} ⟩ = \int_{- 2}^{2} t d t = \frac{1}{2} t^{2}_{- 2}^{2} = 0

⟨ q_{1}, q_{3} ⟩ = \int_{- 2}^{2} (3 t^{2} - 4) d t = (t^{3} - 4 t)_{- 2}^{2} = (8 - 8) - (- 8 + 8) = 0

⟨ q_{2}, q_{3} ⟩ = \int_{- 2}^{2} (3 t^{3} - 4 t) d t = (\frac{3}{4} t^{4} - 2 t^{2})_{- 2}^{2} = 0

（后两个被积函数是奇函数，在对称区间上积分为零——一眼看出。）三对内积全为零，故是正交集。

2. 求 $f (t) = 3 - 2 sin t + 5 sin 2 t - 6 cos 2 t$ 的一阶与三阶傅里叶逼近。

解三阶傅里叶逼近是 $f$ 在 $Span {1, cos t, cos 2 t, cos 3 t, sin t, sin 2 t, sin 3 t}$ 中的最佳逼近。但 $f$ 本身就在这个子空间里，所以 $f$ 就是它自己的最佳逼近（ $proj_{W} f = f$ ）：

f (t) = 3 - 2 sin t + 5 sin 2 t - 6 cos 2 t

一阶逼近是 $f$ 在 $W = Span {1, cos t, sin t}$ 中的最佳逼近。 $f$ 中 $sin 2 t$ 与 $cos 2 t$ 两项与 $W$ 中所有函数正交（不同频率的正交性，例 3 及习题 5、6），对计算一阶系数的积分没有任何贡献，所以一阶逼近就是

3 - 2 sin t

图 6-46

图 6-46： $f (t)$ 的一阶与三阶逼近——三阶逼近与 $f$ 重合

全章脉络回顾

把整章串成一条线：内积（6.1）定义了长度、距离与正交 → 正交集让坐标计算变成”一次内积除法”（6.2）→ 正交投影给出子空间中离任意点最近的点（6.3）→ 格拉姆–施密特从任意基造出正交基并产生 QR 分解（6.4）→ 把投影用到的子空间取成 $Col A$ ，最小二乘解就是法方程 $A^{T} A x = A^{T} b$ 的解（6.5）→ 一切统计拟合模型（直线、抛物线、多元回归）都是同一套机器（6.6）→ 换掉标准内积，同样的故事在一般内积空间重演（6.7）→ 加权最小二乘、趋势分析、傅里叶级数都是它的应用（6.8）。各节习题均见原书，建议至少完成每节前 10 题以巩固计算。

自测一下

1. 为什么正交基求坐标比普通基快？用公式说明。

设 ${u_{1}, \dots, u_{p}}$ 是正交基， $y = c_{1} u_{1} + \dots + c_{p} u_{p}$ 。两边与 $u_{j}$ 做内积，正交性使其他项全部消失，得 $c_{j} = \frac{y \cdot u _{j}}{u _{j} \cdot u _{j}}$ 。每个坐标只需一次内积加一次除法；普通基则要解一个 $p$ 元线性方程组（行化简）。若基还是标准正交的，公式进一步简化为 $c_{j} = y \cdot u_{j}$ 。

2. 已知 $y = (1, 2, 3)$ ， $u_{1} = (2, 5, - 1)$ ， $u_{2} = (- 2, 1, 1)$ （正交），求 $y$ 到 $W = Span {u_{1}, u_{2}}$ 的正交投影及 $y$ 到 $W$ 的距离。

$y \cdot u_{1} = 9$ ， $u_{1} \cdot u_{1} = 30$ ； $y \cdot u_{2} = 3$ ， $u_{2} \cdot u_{2} = 6$ 。故 $\hat{y} = \frac{9}{30} u_{1} + \frac{3}{6} u_{2} = - 2/5 2 1/5$ 。距离为 $∥ y - \hat{y} ∥ = 7/5 0 14/5 = \frac{49 + 196}{25} = \frac{245}{25} = 75 /5$ 。

3. 最小二乘解的定义式是什么？它满足的线性方程组叫什么、长什么样？

最小二乘解 $\hat{x}$ 使 $∥ b - A \hat{x} ∥ \leq ∥ b - A x ∥$ 对一切 $x$ 成立，等价于 $A \hat{x}$ 是 $b$ 到 $Col A$ 的正交投影。它满足法方程 $A^{T} A x = A^{T} b$ ；当 $A$ 列线性无关（即 $A^{T} A$ 可逆）时解唯一： $\hat{x} = (A^{T} A)^{- 1} A^{T} b$ 。最小二乘误差为 $∥ b - A \hat{x} ∥$ 。

4. 对数据 $(2, 1), (5, 2), (7, 3), (8, 3)$ ，写出求最小二乘直线 $y = β_{0} + β_{1} x$ 所用的法方程系数矩阵与右端项。

设计矩阵与观测向量为 $X = 11112578$ ， $y = 1233$ 。法方程为 $X^{T} X β = X^{T} y$ ，即 $[42222142] [β_{0} β_{1}] = [957]$ ，解得 $β_{0} = 2/7$ ， $β_{1} = 5/14$ ，直线为 $y = \frac{2}{7} + \frac{5}{14} x$ 。

5. 在 $C [0, 2 π]$ 上（内积 $⟨ f, g ⟩ = \int_{0}^{2 π} f g d t$ ），为什么 ${1, cos t, sin t, \dots}$ 是正交集？这套正交性有什么用途？

因为不同频率的三角函数乘积的积分等于零：例如 $m \neq = n$ 时 $\int_{0}^{2 π} cos m t cos n t d t = 0$ （积化和差后正弦函数在 $0$ 与 $2 π$ 处取值为零）， $sin m t$ 与 $cos n t$ 的积分为零可由对称性看出。正交性使 $n$ 阶傅里叶逼近（最佳逼近）的系数可以逐个独立计算： $a_{k} = \frac{1}{π} \int_{0}^{2 π} f (t) cos k t d t$ ， $b_{k} = \frac{1}{π} \int_{0}^{2 π} f (t) sin k t d t$ ，无需解方程组。

description	从内积、长度与正交出发，经由正交投影与格拉姆–施密特过程，最终学会给'无解'的方程组找出最好的近似解——最小二乘。
tags	线性代数, 最小二乘

嵌入式开发之路

探索

📘 第 6 章：正交性与最小二乘

开篇故事：北美大地基准与 GPS 导航

6.1 内积、长度与正交

内积（Inner Product）

向量的长度

Rn 中的距离

正交向量

正交补（Orthogonal Complements）

R2 与 R3 中的夹角（选学）

6.1 练习题

6.1 练习问题（Practice Problems）

6.2 正交集

正交集与正交基

正交投影（到一条直线上）

定理 5 的几何解释

力的分量分解

标准正交集（Orthonormal Sets）

列标准正交的矩阵

到直线的反射（拓展）

6.2 练习题

6.2 练习问题（Practice Problems）

6.3 正交投影

正交分解定理

正交投影的几何解释

投影的性质与最佳逼近定理

标准正交基下的简洁公式

6.3 练习题

6.3 练习问题（Practice Problems）

6.4 格拉姆–施密特过程

算法的思想

完整算法

构造标准正交基

QR 分解

6.4 练习题

6.4 练习问题（Practice Problems）

6.5 最小二乘问题

什么是最小二乘解

法方程（Normal Equations）

何时最小二乘解唯一

最小二乘误差

列正交时的快捷算法

用 QR 分解求最小二乘解

6.5 练习题

6.5 练习问题（Practice Problems）

6.6 线性模型中的应用

最小二乘直线

一般线性模型

用其他曲线拟合

多元回归

6.6 练习题

6.6 练习问题（Practice Problem）

6.7 内积空间

内积公理

长度、距离与正交

格拉姆–施密特过程

内积空间中的最佳逼近

两个重要不等式

C[a,b] 的内积（需要微积分）

6.7 练习题

6.7 练习问题（Practice Problems）

6.8 内积空间的应用

加权最小二乘（Weighted Least-Squares）

数据的趋势分析（Trend Analysis）

傅里叶级数（需要微积分）

6.8 练习题

6.8 练习问题（Practice Problems）

全章脉络回顾

自测一下

关系图谱

目录

反向链接

$R^{n}$ 中的距离

$R^{2}$ 与 $R^{3}$ 中的夹角（选学）

$C [a, b]$ 的内积（需要微积分）