矩阵的迹及常用恒等式

层级：B｜按需

1. 迹为什么频繁出现

方阵的迹只是对角元素之和，却能把向量二次型、Frobenius 范数、协方差总方差和矩阵导数写成紧凑形式。迹的循环性质允许重排矩阵乘积，是矩阵微积分最常用的技巧之一。

对 $A\in\mathbb R^{n\times n}$ ：

\operatorname{tr}(A)=\sum_{i=1}^{n}a_{ii}.

例如

\operatorname{tr} \begin{bmatrix}2&5\\-1&3\end{bmatrix}=2+3=5.

只有方阵定义普通迹。迹输出标量。

\operatorname{tr}(A+B) =\operatorname{tr}(A)+\operatorname{tr}(B),

\operatorname{tr}(cA)=c\operatorname{tr}(A),

\operatorname{tr}(A^T)=\operatorname{tr}(A).

对单位矩阵 $\operatorname{tr}(I_n)=n$ 。

只要乘积形状使结果为方阵：

\operatorname{tr}(AB)=\operatorname{tr}(BA).

更一般地：

\operatorname{tr}(ABC) =\operatorname{tr}(BCA) =\operatorname{tr}(CAB).

这是循环移动，不是任意换序。一般

\operatorname{tr}(ABC)\ne\operatorname{tr}(ACB).

证明两矩阵情形：

\operatorname{tr}(AB) =\sum_i\sum_j a_{ij}b_{ji} =\sum_j\sum_i b_{ji}a_{ij} =\operatorname{tr}(BA).

任意标量 $s$ 可视为 $1\times1$ 矩阵，所以 $s=\operatorname{tr}(s)$ 。例如

x^TAx =\operatorname{tr}(x^TAx) =\operatorname{tr}(Axx^T).

这个技巧把向量表达式改写成对矩阵 $A$ 线性的形式，便于求导和取期望。

矩阵的 Frobenius 内积定义为

\langle A,B\rangle_F =\sum_{i,j}a_{ij}b_{ij} =\operatorname{tr}(A^TB).

因此

\|A\|_F^2=\operatorname{tr}(A^TA).

矩阵可视为由所有元素组成的长向量，Frobenius 内积就是普通向量内积。

方阵的迹等于所有特征值之和（按代数重数）：

\operatorname{tr}(A)=\sum_i\lambda_i.

迹在相似变换下不变：若 $B=P^{-1}AP$ ，

\operatorname{tr}(B) =\operatorname{tr}(P^{-1}AP) =\operatorname{tr}(APP^{-1}) =\operatorname{tr}(A).

这说明迹不是依赖某组坐标的偶然对角和，而是线性变换的内在量。

协方差矩阵 $\Sigma$ 的对角元素是每个变量方差，所以

\operatorname{tr}(\Sigma) =\sum_{j=1}^{d}\operatorname{Var}(X_j)

是总方差。正交坐标变换不改变总方差，只重新分配到不同方向。PCA 选前 $k$ 个方向保留尽可能大的特征值之和。

矩阵重构误差

\|X-UV^T\|_F^2 =\operatorname{tr}\big((X-UV^T)^T(X-UV^T)\big).

展开后可借循环性质把待求导矩阵移动到方便位置。这在线性回归、低秩分解和矩阵求导中非常常见。

在形状适当时：

\frac{\partial}{\partial X}\operatorname{tr}(A^TX)=A,

\frac{\partial}{\partial X}\operatorname{tr}(X^TAX) =(A+A^T)X.

若 $A$ 对称，则为 $2AX$ 。不要只背公式，应先检查标量目标和所有形状。

微分常写为 $df=\operatorname{tr}(G^TdX)$ 。循环移动可把 $dX$ 放到末尾，从而读出梯度 $G$ 。

受影响。只有正交旋转保持 Euclidean 长度与总方差；任意缩放会改变对角方差和迹。

迹是特征值之和，行列式是特征值之积；两者都在相似变换下不变，但表达不同性质。