一些空间的定义
泛函分析
- 以下内容属于“泛函分析（functional analysis）”范畴，泛函分析研究的是函数空间（function space）的性质。
- 函数空间是指空间里面的点（元素）都是函数的空间。
线性空间
- 线性空间（linear space）：定义了数乘和加法的空间。可以通过确定一组基底（basis），通过线性组合得到空间中的所有点。
- 举例：
- 二次函数空间，基底为 $\lbrace 1,x,x^2\rbrace$，任意函数 $f(x)=\alpha_1·1+\alpha_2·x+\alpha_3·x^2$，坐标为$(\alpha_1,\alpha_2,\alpha_3)$。
- 一般选择正交的函数作为函数空间的基底，正交基（orthogonal basis），函数正交定义：
$$
\int f(x)g(x) {\rm d}x = 0
$$
线性度量空间
- 线性度量空间（metric linear space）：定义了距离（metric）的线性空间。
- 距离的性质：
- 非负性：$d(x,y) \geq 0; d(x,y) = 0; \Leftrightarrow x = y$；
- 对称性：$d(x,y) = d(y,x)$；
- 三角不等式：$d(x,y) + d(y,z) \geq d(x,z)$。
线性赋范空间
- 线性赋范空间（normed linear space）：定义了范数（norm）的线性度量空间。
- 范数的性质：
- 非负性：$||x|| \geq 0$；
- 齐次性：$||\alpha x||=|\alpha|||x||$；
- 三角不等式：$||x||+||y||\geq||x+y||$。
- 范数和距离的区别：
- 范数可以导出距离，范数符合距离所有性质；
- 距离导不出范数，距离不一定范数齐次性。
- $d(x,y)=||x-y||$
巴纳赫空间
- 巴纳赫空间（Banach space）：完备的线性赋范空间。
- 完备性（completeness）：任一柯西序列都收敛。
- 柯西序列（Cauchy sequence）：
内积线性空间
- 内积线性空间（inner product linear space）：定义了内积（inner product）的线性赋范空间。
- 内积：标量积（scalar product）或点积（dot product）。
- 内积的性质：
- 对称性：$\langle x,y\rangle =\langle y,x\rangle $；
- 线性性：
- $\langle x,y\rangle +\langle x,z\rangle =\langle x,y+z\rangle $；
- $\langle \alpha x,y\rangle =\alpha\langle x,y\rangle $（数乘只对第一变元有效）；
- 正定性：$\langle x,x\rangle \geq 0$。
- 内积和范数的区别：
- 内积可以导出范数，$||x||^2 = \langle x,x \rangle$；
- 范数导不出内积。
欧几里得空间
- 欧几里得空间（Euclidean space）：有限维的实内积线性空间。
希尔伯特空间
- 希尔伯特空间（Hilbert space）：完备的内积线性空间。
举例
泰勒级数（Taylor series）展开，基底为：$\lbrace x^i \rbrace,i=0,1,2,\cdots$；
傅里叶级数（Fourier series）展开，基底为：$\lbrace 1,\cos x, \sin x, \cos 2x, \sin 2x, \cdots \rbrace$；
核函数
特征值与特征向量
- 有限维的$n\times n$矩阵$A$，可以定义特征值$\lambda$和特征向量$x$为：
$$
Ax=\lambda x
$$ - 特征向量可以看成这个矩阵$n$维列空间的一组基底。
核函数
- 我们把每个函数$f(x)$看作一个无穷维的向量，定义一个无穷维的矩阵$K(x,y)$，如果它满足：
- 正定性：$\forall f \rightarrow \iint f(x)K(x,y)f(y){\rm d}x{\rm d}y \geq 0$；
- 对称性：$K(x,y)=K(y,x)$；
则称之为核函数（kernel function）。
- 核函数究竟是什么？
- 首先，他不是映射，而是一种在高维空间的内积计算方式；
- 其次，应用核函数的时候，我们是不用找具体的低维映射到高维的映射方式，只需要把高维空间的内积计算方式定义好，并将其表示为在低维空间中的坐标之间的计算；
- 最后，Mercer Theorem 保证了一个符合条件的核函数一定存在一个映射后的高维空间与之对应。
核函数的特征值与特征函数
对于一个核函数$K(x,y)$，存在特征值$\lambda$和特征函数$\psi(x)$，满足：
$$
\int K(x,y)\psi(x){\rm d}x = \lambda\psi(y)
$$对于不同的特征值$\lambda_1,\lambda_2$和他们对应的特征函数$\psi_1(x),\psi_2(x)$，满足：
$$
\int \lambda_1\psi_1(x)\psi_2(x){\rm d}x = \iint K(y,x)\psi_1(y){\rm d}y\psi_2(x){\rm d}x \
=\iint K(y,x)\psi_2(x){\rm d}x\psi_1(y){\rm d}y \
$$
$$
=\int \lambda_2\psi_2(y)\psi_1(y){\rm d}y \
=\int \lambda_2\psi_2(x)\psi_1(x){\rm d}x \
$$
因此：
$$
\langle\psi_1,\psi_2\rangle=\int\psi_1(x)\psi_2(x){\rm d}x=0
$$
- 此时我们找到了无穷多个特征值$\lbrace\lambda_i\rbrace_{i=1}^{\infty}$，一组无穷多个元素的正交基$\lbrace\psi_i\rbrace_{i=1}^{\infty}$。
再生核希尔伯特空间
如果我们把$\lbrace\sqrt{\lambda_i}\psi_i\rbrace_{i=1}^{\infty}$当成一组正交基来生成一个希尔伯特空间$\mathcal{H}$，则这个空间中的所有函数都能表示为：
$$
f=\sum_{i=1}^{\infty}f_i\sqrt{\lambda_i}\psi_i
$$函数坐标：$f=(f_1,f_2,\cdots)_{\mathcal{H}}^T$；
函数内积：
$$
\langle f,g \rangle_\mathcal{H} = \sum_{i=1}^\infty f_i g_i
$$核函数看成一种内积形式：
$$
K(x,·)=\sum_{i=1}^\infty\lambda_i\psi_i(x)\psi_i(·)
$$
$K(x,·)$：$x$是一个输入的函数（核函数是函数的函数，输入变量是两个函数），$x$这个函数写成基和坐标的形式是：$\sum_{i=1}^\infty\sqrt{\lambda_i}\psi_i(x)$；
$K$的向量表示：$K(x,·)=(\sqrt{\lambda_1}\psi_1(x),\sqrt{\lambda_2}\psi_2(x),\cdots)_\mathcal{H}^\infty$；
$K$的内积表示：$\lbrace K(x,·),K(y,·)\rbrace_\mathcal{H} = \sum_{i=0}^\infty \lambda_i\phi_i(x)\phi_i(y) = K(x,y)$ —— 再生性 —— 再生核希尔伯特空间（reproducing kernel Hilbert space，RKHS）。
映射函数
- 定义一个映射$\phi:X\rightarrow\mathcal{H},\phi(x)=K(x,·)$，他把一个点$x$映射成了一个函数：
$$
\phi(x)=K(x,·)=(\sqrt{\lambda_1}\psi_1(x),\sqrt{\lambda_2}\psi_2(x),\cdots)_\mathcal{H}^\infty
$$
- 则：
$$
\lbrace\phi(x),\phi(y)\rbrace_\mathcal(H)=\lbrace K(x,·),K(y,·)\rbrace_\mathcal(H)=K(x,y)
$$
- 不用确定$K(x,·)$的具体形式，但是一定可以找到，具体可以看 Moore-Aronszajn 定理 —— 核方法。
SVM 中的应用
- 未完待续
