向量空间、子空间、基与维数

层级：B｜按需

1. 从“向量列表”走向“空间结构”

向量空间抽象出两种允许的操作：向量相加与标量乘。只要一组对象在这些操作下满足规则，就可以讨论线性组合、基、维数和线性变换。降维的本质不是简单删除列，而是寻找一个更低维子空间来保留重要结构。

2. 向量空间的直觉定义

集合 $V$ 若对向量加法和标量乘法封闭，并满足交换律、结合律、零向量、加法逆元和分配律等公理，就称为向量空间。

最常见例子是 $\mathbb R^d$。但向量不一定是数字列表：固定区间上的多项式、函数和矩阵，在合适运算下也可组成向量空间。

“封闭”表示运算后仍在集合中。例如两个 $d$ 维向量相加仍是 $d$ 维向量。

3. 子空间

$W\subseteq V$ 若自身也是向量空间，称为 $V$ 的子空间。快速判定条件：非空集合 $W$ 对任意 $u,v\in W$ 和标量 $a,b$，都有

因此子空间必须包含零向量，必须通过原点。$\mathbb R^2$ 中过原点的直线是子空间；不通过原点的直线不是子空间，而是仿射集合。

4. 生成空间

它是包含这些向量的最小子空间。一个非零向量生成过原点的一条直线；两个不平行的二维向量生成整个平面；两个不共线的三维向量生成过原点的平面。

5. 基

向量组是空间 $V$ 的一组基，如果：

1. 它们线性无关；
2. 它们生成整个 $V$。

基既“没有冗余”，又“没有遗漏”。$\mathbb R^d$ 的标准基为

同一空间有无穷多组基。二维中任何两个不平行向量都可以作为基。

6. 坐标依赖于基

向量本身是几何对象，坐标是它在某组基下的系数。若基为 $B=(b_1,ldots,b_d)$，则

系数 $(c_1,ldots,c_d)^T$ 是 $x$ 在基 $B$ 下的坐标。

换基会改变坐标数值，但不改变向量本身。PCA 可理解为选择一组与数据方差方向对齐的新正交基。

7. 维数

有限维向量空间任意一组基包含相同数量的向量，这个数量称为维数：

$\mathbb R^d$ 的维数是 $d$。二维空间中的一条过原点直线维数为 1，不论它嵌在几维坐标中。例如三维中的直线 $\{t(1,2,3)^T:t\in\mathbb R\}$ 仍是一维子空间。

要区分：

• 环境维度：数据坐标有多少个分量；
• 内在维度：数据实际上需要多少个独立方向描述。

降维算法试图利用“环境维度高、内在维度低”的结构。

8. 列空间与零空间预览

对 $A\in\mathbb R^{m\times n}$：

• 列空间 $\operatorname{Col}(A)$ 是各列的生成空间，位于 $\mathbb R^m$；
• 零空间 $\operatorname{Null}(A)=\{x:Ax=0\}$，位于 $\mathbb R^n$。

列空间是线性变换所有可能输出的集合；零空间是被变换压成零的输入方向。秩—零化度定理给出

它表达输入维度要么转化为可见输出方向，要么消失在零空间中。

9. 仿射空间

子空间平移后得到仿射空间：

不经过原点的直线、平面和线性方程 $Ax=b$ 的解集（若非空）通常是仿射空间。机器学习里含偏置的“线性”模型严格说是仿射模型。

10. 降维与子空间

若数据接近某个 $k$ 维子空间，可选基矩阵 $U\in\mathbb R^{d\times k}$，把高维点表示为

再近似重构

当 $U$ 列正交时，$UU^Tx$ 是到该子空间的正交投影。PCA 选择使重构误差最小或投影方差最大的子空间。

易错点

1. 子空间必须包含零向量；不经过原点的直线不是子空间。
2. 基不唯一，但同一有限维空间的基向量数量相同。
3. 高维坐标不等于高内在维度。
4. 生成空间允许任意实系数，不只非负系数。
5. 数据点集合本身通常不对加法封闭，因此不是向量空间。

常见问答

Q1：embedding 空间真的是向量空间吗？

它的数值载体是 $\mathbb R^d$，所以代数上是；但任意线性组合未必对应有意义的真实对象，语义流形可能只占其中一小部分。

Q2：非线性降维还在找子空间吗？

不一定。流形学习假设数据靠近弯曲的低维流形，而非单个线性子空间；局部可能近似线性。

Q3：特征数 100 是否意味着数据维数 100？

环境维度是 100，但若特征高度依赖，内在维度和矩阵秩可能远小于 100。

练习

1. 判断 $\{(x,y):y=2x\}$ 是否是 $\mathbb R^2$ 的子空间。
2. 判断 $\{(x,y):y=2x+1\}$ 是否是子空间。
3. 给出 $\mathbb R^2$ 中一组不同于标准基的基。
4. $v_1=(1,0,1)^T,v_2=(0,1,1)^T$ 的生成空间维数是多少？
5. 解释为什么一组基中的向量表示系数唯一。

答案与提示

1. 是，等于 $\operatorname{span}\{(1,2)^T\}$。
2. 不是，不含零向量；它是仿射直线。
3. 例如 $(1,1)^T,(1,-1)^T$。
4. 2，因为两向量不成比例，线性无关。
5. 若有两组表示，相减得到基向量的非平凡零组合，与线性无关矛盾。