《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容,并指出矩阵就是两个向量空间的线性变换的表达形式。
本文以一个示例,讲解如何理解线性变换,并且以此进一步理解最小二乘法。
以参考文献 [1] 中提供的示例,说明矩阵与线性变换的关系。
设向量空间 $\mathbb{P}_2$ 是二次函数 $p(t)=a_0+a_1t+a_2t^2$ 的集合,基为 $\pmb{\beta}=[\pmb{v}_1,\pmb{v}_2,\pmb{v}_3]$ ,向量 $\pmb{v}_j=t^{j-1},(j=1,2,3)$ 。
$p(t)$ 可以用 $\pmb{\beta}$ 表示:
$$
p(t)=a_0\pmb{v}_1+a_1\pmb{v}_2+a_2\pmb{v}_3\tag{1.1}
$$
则其坐标向量为:
$$
[p]_{\pmb{\beta}}=\begin{bmatrix}a_0\a_1\a_2\end{bmatrix}
$$
假设有如下线性变换:
$$
q(t)=\pmb{T}(p(t))=p(t+1) \tag{1.2}
$$
根据线性变换的加法和数量乘法封闭性,可得:
$$
\begin{split}q(t)&=T(a_0\pmb{v}_1+a_1\pmb{v}_2+a_3\pmb{v}_3)\&=a_0\pmb{T}(\pmb{v}_1)+a_1\pmb{T}(\pmb{v}_2)+a_2\pmb{T}(\pmb{v}_3)\end{split}\tag{1.3}
$$
上式可以理解为:向量 $\pmb{v}_j$ 经 $\pmb{T}$ 的映射后结果为 $\pmb{T}(\pmb{v}_j)$ (此结果称为像),即:
$$
\begin{split}&\pmb{T}(\pmb{v}_1)=\pmb{T}(t^0)=(1+t)^0=1=\pmb{v}_1\&\pmb{T}(\pmb{v}_2)=\pmb{T}(t^1)=(1+t)^1=\pmb{v}_1+\pmb{v}_2\&\pmb{T}(\pmb{v}_3)=\pmb{T}(t^2)=(1+t)^2=1+2t+t^2=\pmb{v}_1+2\pmb{v}_2+\pmb{v}_3\end{split} \tag{1.4}
$$
上述系数可以写成:
$$
[\pmb{T}(\pmb{\beta})]=\begin{bmatrix}1&0&0\1&1&0\1&2&1\end{bmatrix}\tag{1.5}
$$
将(1.4)代入(1.3)式,得:
$$
q(t)=a_0\pmb{v}_1+a_1(\pmb{v}_1+\pmb{v}_2)+a_2(\pmb{v}_1+2\pmb{v}_2+\pmb{v}_3)=(a_0+a_1+a_2)\pmb{v}_1+(a_1+2a_2)\pmb{v}_2+a_2\pmb{v}_3
$$
所以 $q(t)$ 的坐标向量为:
$$
[q]_{\pmb{\beta}}=\begin{bmatrix}a_0+a_1+a_2\a_1+2a_2\a_2\end{bmatrix}
$$
可以通过“矩阵乘法”将 $[q]{\pmb{\beta}}$ 和 $[p]{\pmb{\beta}}$ 联系起来:
$$
[q]{\pmb{\beta}}=\begin{bmatrix}1&1&1\0&1&2\0&0&1\end{bmatrix}\begin{bmatrix}a_0\a_1\a_2\end{bmatrix}=[\pmb{T}]{\pmb{\beta}}[p]_{\pmb{\beta}}\tag{1.6}
$$
其中 $[\pmb{T}]_{\pmb{\beta}}$ 称为线性变换 $\pmb{T}$ 基于基 $\pmb{\beta}$ 的表示矩阵。
对比(1.5)和(1.6)式,发现 $[\pmb{T}]_{\pmb{\beta}}$ 和 $[\pmb{T}(\pmb{\beta})]$ 互为转置矩阵。
线性变换 $\pmb{T}:\mathbb{V}\to\mathbb{W},\dim\mathbb{V}=n,\dim\mathbb{W}=m$ ,$\pmb{\beta}_{\mathbb{V}}=[\pmb{v}_1,\cdots,\pmb{v}n]$ 是向量空间 $\mathbb{V}$ 的基,$\pmb{\beta}{\mathbb{W}}=[\pmb{w}_1,\cdots,\pmb{w}_m]$ 是向量空间 $\mathbb{W}$ 的基。
线性映射 $\pmb{y}=\pmb{T}(\pmb{x})$ 对应矩阵乘法 $[\pmb{y}]{\pmb{\beta}{\mathbb{W}}}=\pmb{A}[\pmb{x}]{\pmb{\beta}{\mathbb{V}}}$ ,其中 $m\times n$ 阶线性变换表示矩阵 $\pmb{A}$ 的第 $j$ 列即为 $\pmb{T}(\pmb{v}j)$ 基于 $\pmb{\beta}{\mathbb{W}}$ 的坐标向量 $[\pmb{T}(\pmb{v}j)]{\pmb{\beta}_{\mathbb{W}}}$ :
$$
\pmb{A}=\begin{bmatrix}[\pmb{T}(\pmb{v}1)]{\pmb{\beta}{\mathbb{W}}}&\cdots&[\pmb{T}(\pmb{v}j)]{\pmb{\beta}{\mathbb{W}}}&[\pmb{T}(\pmb{v}n)]{\pmb{\beta}_{\mathbb{W}}}\end{bmatrix}
$$
$\pmb{T}$ 与线性变换的表示矩阵 $\pmb{A}$ 的关系,如下图所示:
![](https://github.com/qiwsir/Math4ML_book/raw/main/images/images/2021-3-18/1616046059230-transpose2.png)
图中的 $\pmb{L}{\mathbb{V}}:\mathbb{V}\to\mathbb{R}^n,\pmb{L}{\mathbb{W}}:\mathbb{W}\to\mathbb{R}^m$ 表示向量在对应基中的映射,即将向量分别映射为相应向量空间中的坐标(以相应的基)。
《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导(如下所示的(3.1)式,即为正规方程),并且由此引出最小二乘法。
$$
\pmb{A}^T\pmb{A}\hat{\pmb{x}}=\pmb{A}^T\pmb{b} \tag{3.1}
$$
正规方程(3.1)的解即为 $\pmb{Ax}=\pmb{b}$ 的最小二乘近似解( $\pmb{A}$ 是 $m\times n$ 矩阵)。
如果 $\pmb{A}$ 的列向量线性无关,则 $rank\pmb{A}=n$ ,称 $\pmb{A}$ 满秩。
此时,$N(\pmb{A})={\pmb{0}}$ ,行空间 $C(\pmb{A}^T)$ 充满整个 $\mathbb{R}^n$ 。
因为 $rank\pmb{A}=rank(\pmb{A}^T\pmb{A})$ ,则 $\pmb{A}^T\pmb{A}$ ( $n$ 阶方阵)是可逆的,由此可知(3.1)存在唯一的最小二乘近似解:
$$
\hat{\pmb{x}}=(\pmb{A}^T\pmb{A})^{-1}\pmb{A}^T\pmb{b} \tag{3.2}
$$
则最小误差平方的投影向量:
$$
\pmb{p}=\pmb{A}\hat{\pmb{x}}=\pmb{A}(\pmb{A}^T\pmb{A})^{-1}\pmb{A}^T\pmb{b}
$$
正交投影矩阵为:
$$
\pmb{P}=\pmb{A}(\pmb{A}^T\pmb{A})^{-1}\pmb{A}^T \tag{3.3}
$$
向量 $\pmb{b}$ 和误差 $\pmb{e}$ 的关系:
因为 $(\pmb{I}-\pmb{P})^2 = \pmb{I}-2\pmb{P}+\pmb{P}^2=\pmb{I}-2\pmb{P}+\pmb{P}=\pmb{I}-\pmb{P}$
$\pmb{I}-\pmb{P}$ 也是一个投影矩阵,且:$(\pmb{I}-\pmb{P})\pmb{b}=\pmb{b}-\pmb{Pb}=\pmb{b}-\pmb{p}=\pmb{e}$
因此,向量 $\pmb{b}$ 经 $\pmb{I}-\pmb{P}$ 正交投影至 $\pmb{e}\in\N(\pmb{A}^T)$ 。
总结:
从线性变换角度,理解最小二乘:
- 向量 $\pmb{b}\in\mathbb{R}^m$ 经正交投影矩阵 $\pmb{P}=\pmb{A}(\pmb{A}^T\pmb{A})^{-1}\pmb{A}^T$ 映射至列空间 $C(\pmb{A})$ 的投影向量 $\pmb{b}$ :$\pmb{b}\overset{\pmb{P}}{\to}\pmb{p}$
- 向量 $\pmb{b}\in\mathbb{R}^m$ 经正交投影矩阵 $\pmb{I}-\pmb{P}$ 映射至左零空间 $N(\pmb{A}^T)$ 的最小误差向量 $\pmb{e}$ : $\pmb{b}\overset{\pmb{I}-\pmb{P}}{\longrightarrow}\pmb{e}$
- 向量 $\pmb{b}\in\mathbb{R}^m$ 经变换矩阵 $(\pmb{A}^T\pmb{A})^{-1}\pmb{A}^T$ 映射到行空间 $C(\pmb{A}^T)$ 的最小平方近似解 $\hat{\pmb{x}}$ :$\pmb{b}\overset{(\pmb{A}^T\pmb{A})^{-1}\pmb{A}^T}{\longrightarrow}\hat{\pmb{x}}$
- 最小二乘解 $\hat{\pmb{x}}$ 经矩阵 $\pmb{A}$ 映射至列空间 $C(\pmb{A})$ 的投影向量 $\pmb{p}$ :$\hat{\pmb{x}}\overset{\pmb{A}}{\to}\pmb{p}$
因此,将向量 $\pmb{b}$ 映射至投影向量 $\pmb{p}$ 的正交投影矩阵 $\pmb{P}$ 可以理解为两个线性变换的复合:
$$
\pmb{b}\overset{(\pmb{A}^T\pmb{A})^{-1}\pmb{A}^T}{\longrightarrow}\hat{\pmb{x}}\overset{\pmb{A}}{\to}\pmb{p}
$$
注意,以上讨论的前提,$\pmb{A}$ 的列向量线性无关,否则 $\pmb{A}^T\pmb{A}$ 不是可逆矩阵,如果不可逆,则不存在唯一的最小二乘近似解。
[1]. https://ccjou.wordpress.com/2010/08/11/線性變換表示矩陣/
[2]. https://ccjou.wordpress.com/2009/10/28//從線性變換解釋最小平方近似/