📘 第 6 章：正交性与最小二乘

本篇导读

本篇是 David C. Lay《Linear Algebra and its Applications》(5th Edition) 第 6 章 Orthogonality and Least Squares（正交性与最小二乘） 的中文初学者精讲笔记。前五章解决的问题是”方程组有没有解”；本章更进一步：当方程组根本无解时，怎样找出’最接近解’的近似解。这条路要经过五个台阶：内积与长度（6.1）→ 正交集（6.2）→ 正交投影（6.3）→ 格拉姆–施密特过程（6.4）→ 最小二乘（6.5），最后 6.6～6.8 把这些工具用到线性回归、内积空间、傅里叶级数等实际问题中。全书所有例题与练习题（Practice Problems）均已保留并逐步讲解，各节习题清单请见原书。

开篇故事：北美大地基准与 GPS 导航

想象一个需要十年时间、由几十位科学家共同完成的项目：求解一个 $1800000 \times 900000$ 的线性方程组。这正是 1974 年美国国家大地测量局（National Geodetic Survey）更新**北美大地基准（North American Datum, NAD）**时做的事。NAD 是覆盖整个北美大陆的 268000 个精确定位参考点构成的网络，是所有测绘、地图、法定地界与土木工程放样的基础。由于 1927 年后新增了 20 多万个点、误差常年累积，必须整体重新平差。

这个庞大的方程组在普通意义下没有解——它只有最小二乘解：一种”最能与 180 万个观测数据相吻合”的方式给每个参考点分配经纬度。1986 年，人们通过求解一个 928735 个方程、928735 个未知量的”法方程”得到了这个最小二乘解。

图 6-1

图 6-1：北美大地基准与 GPS——地面参考点、卫星与用户定位相互依存

今天，地面参考点位置的精度直接决定 GPS 卫星定位的精度：GPS 接收机测量来自至少三颗卫星的信号到达时间，结合卫星位置数据推算自己的位置；有第四颗卫星时还能估计海拔。NAD 与 GPS 这两个问题本质上都归结为找一个”近似满足”无解方程组的向量——这正是本章前六节要讲清楚的事情。

要”近似”就得先定义什么叫”近”。6.1 节引入向量空间中的距离与正交；6.2、6.3 节说明如何用正交性找出子空间 $W$ 中离外部点 $y$ 最近的点；把 $W$ 取成矩阵的列空间，6.5 节就自然导出了无解线性方程组的最小二乘解法；6.4 节顺路给出数值线性代数中广泛使用的矩阵分解；最后几节把最小二乘推广到更一般的向量空间。

6.1 内积、长度与正交

平面与立体几何中”长度、距离、垂直”这些概念，如何在 $R^{n}$ 中定义？答案出人意料地简洁：全部用”内积”这一个工具定义。这三个概念是后面所有最小二乘问题的地基。

内积（Inner Product）

把 $u, v \in R^{n}$ 看成 $n \times 1$ 列矩阵，则 $u^{T}$ 是 $1 \times n$ 行矩阵，乘积 $u^{T} v$ 是 $1 \times 1$ 矩阵——即一个数。这个数就是 $u$ 与 $v$ 的内积（inner product），也叫点积（dot product），记作 $u \cdot v$ 。若

u = u_{1} u_{2} ⋮ u_{n}, v = v_{1} v_{2} ⋮ v_{n}

则

u \cdot v = [u_{1} u_{2} \dots u_{n}] v_{1} v_{2} ⋮ v_{n} = u_{1} v_{1} + u_{2} v_{2} + \dots + u_{n} v_{n}

它是什么：对应分量相乘再求和，得到一个标量。为什么重要：它是”长度”和”角度”的代数化，后面判断两个向量是否垂直，只要看内积是否为零。

例 1 设 $u = 2 - 5 - 1$ ， $v = 32 - 3$ ，计算 $u \cdot v$ 与 $v \cdot u$ 。

解

u \cdot v = u^{T} v = [2 - 5 - 1] 32 - 3 = (2) (3) + (- 5) (2) + (- 1) (- 3) = 6 - 10 + 3 = - 1

v \cdot u = v^{T} u = [32 - 3] 2 - 5 - 1 = 6 - 10 + 3 = - 1

两者相等不是巧合：把每个乘积项 $u_{i} v_{i}$ 换序成 $v_{i} u_{i}$ ，结果显然一样。这直接引出下面的一般性质。

定理 1 设 $u, v, w \in R^{n}$ ， $c$ 为标量，则

a. $u \cdot v = v \cdot u$ （交换律）
b. $(u + v) \cdot w = u \cdot w + v \cdot w$ （对加法的分配律）
c. $(c u) \cdot v = c (u \cdot v) = u \cdot (c v)$
d. $u \cdot u \geq 0$ ，且 $u \cdot u = 0$ 当且仅当 $u = 0$

把 (b) 与 (c) 反复使用，得到一个后面常用的规则：

(c_{1} u_{1} + \dots + c_{p} u_{p}) \cdot w = c_{1} (u_{1} \cdot w) + \dots + c_{p} (u_{p} \cdot w)

向量的长度

定义： $v \in R^{n}$ 的长度（length，或称范数 norm）是非负标量

∥ v ∥ = v \cdot v = v_{1}^{2} + v_{2}^{2} + \dots + v_{n}^{2}, 并且 ∥ v ∥^{2} = v \cdot v

图 6-2

图 6-2：把 $∥ v ∥$ 解释为长度

为什么这样定义合理：若 $v = [a b] \in R^{2}$ ，把 $v$ 看成平面上的点， $∥ v ∥$ 恰好就是原点到该点线段的标准长度——对直角三角形用勾股定理即可验证。对 $R^{3}$ 用长方体的对角线做类似计算，结论同样成立。

对任意标量 $c$ ，有 $∥ c v ∥ = ∣ c ∣ ∥ v ∥$ （计算 $∥ c v ∥^{2} = c^{2} ∥ v ∥^{2}$ 再开方即得）。

长度为 1 的向量叫单位向量（unit vector）。把非零向量 $v$ 除以自己的长度（即乘 $1/∥ v ∥$ ），得到与 $v$ 同方向的单位向量 $u$ ——这一操作叫归一化（normalizing）。

图 6-3

图 6-3：归一化示意（a）——沿原方向把向量缩放至长度 1

图 6-4

图 6-4：归一化示意（b）——归一化只改变长度，不改变方向

例 2 设 $v = (1, - 2, 2, 0)$ ，求与 $v$ 同方向的单位向量 $u$ 。

解先算长度：

∥ v ∥^{2} = v \cdot v = 1^{2} + (- 2)^{2} + 2^{2} + 0^{2} = 9, ∥ v ∥ = 3

再用 $1/∥ v ∥$ 缩放：

u = \frac{1}{∥ v ∥} v = \frac{1}{3} 1 - 2 20 = 1/3 - 2/3 2/3 0

验证： $∥ u ∥^{2} = \frac{1}{9} + \frac{4}{9} + \frac{4}{9} + 0 = 1$ ✓

例 3 设 $W$ 是 $R^{2}$ 中由 $x = (2/3, 1)$ 张成的子空间，求一个构成 $W$ 的基的单位向量 $z$ 。

解 $W$ 由 $x$ 的所有倍数构成，任何非零元素都是基。为简化计算，先”缩放”消去分数：乘 3 得 $y = [23]$ 。计算 $∥ y ∥^{2} = 2^{2} + 3^{2} = 13$ ，归一化得

z = \frac{1}{13} [23] = [2/ 13 3/ 13]

另一个单位向量是 $(- 2/ 13, - 3/ 13)$ （反方向）。

实用技巧

向量里出现分数时，先乘一个适当的整数把分量变干净再算长度——缩放不改变方向，最后归一化一次即可。例 3 正是这样把 $2/3$ 变成 $2$ 的。

$R^{n}$ 中的距离

数轴上 $a, b$ 两点的距离是 $∣ a - b ∣$ 。把它推广到 $R^{n}$ ：

图 6-5

图 6-5：实数轴上的距离 $∣ a - b ∣$

定义： $u, v \in R^{n}$ 的距离（distance）记作 $dist (u, v)$ ，是向量 $u - v$ 的长度：

dist (u, v) = ∥ u - v ∥

在 $R^{2}$ 与 $R^{3}$ 中，这与通常的两点欧氏距离公式完全一致。

例 4 计算 $u = (7, 1)$ 与 $v = (3, 2)$ 的距离。

解

u - v = [71] - [32] = [4 - 1], ∥ u - v ∥ = 4^{2} + (- 1)^{2} = 17

图 6-6

图 6-6： $u$ 与 $v$ 的距离就是 $u - v$ 的长度

观察平行四边形（图 6-6）： $u - v$ 加到 $v$ 上得到 $u$ ，所以 $u$ 到 $v$ 的距离与 $u - v$ 到 $0$ 的距离相等。

例 5 若 $u = (u_{1}, u_{2}, u_{3})$ ， $v = (v_{1}, v_{2}, v_{3})$ ，则

dist (u, v) = ∥ u - v ∥ = (u_{1} - v_{1})^{2} + (u_{2} - v_{2})^{2} + (u_{3} - v_{3})^{2}

这就是立体解析几何中的标准两点距离公式。

正交向量

本章其余全部内容都建立在”垂直”的 $R^{n}$ 版本上。考虑 $R^{2}$ （或 $R^{3}$ ）中过原点、分别由 $u$ 与 $v$ 确定的两条直线：几何上这两条直线垂直，当且仅当 $u$ 到 $v$ 的距离等于 $u$ 到 $- v$ 的距离（平方相等）。计算第一个距离的平方：

description	从内积、长度与正交出发，经由正交投影与格拉姆–施密特过程，最终学会给'无解'的方程组找出最好的近似解——最小二乘。
tags	线性代数, 最小二乘

嵌入式开发之路

探索

📘 第 6 章：正交性与最小二乘

开篇故事：北美大地基准与 GPS 导航