3.4.1　基本模型

从一般意义上考虑，当存在一组观测数据Y=［y₁，y₂，…，y_n，…，y_N］，其中y_n∈ℝD是一个观测向量，X=［x₁，x₂，…，x_n，…，x_N］表示Y对应的一组隐变量，其中x_n∈ℝq（q≤D）是与y_n∈ℝD对应的隐变量时，可以利用概率框架为两者建立一种从隐变量空间到观测空间的映射，表示为[6]：

y_n=g（x_n；W）+η_n，y

（3-20）

其中，W是映射函数g的一组参数，η_n，y∈ℝD代表噪声，并假设其服从均值为零的高斯分布，，β-1为噪声方差。这种模型称为一般意义上的隐变量模型。

由于q≤D，隐变量的维度小于观测向量，因此可以利用隐变量模型进行数据降维。它能够过滤样本间误差及个体差异，被广泛应用于模式识别、机器学习等领域[4]。

在具体应用时，为便于计算，可以考虑利用一组基函数的线性组合来表示函数g：

其中，ϕ_i为一组基函数，W=［w₁，w₂，…］是基函数的投影矩阵，w_i∈ℝD。

对于式（3-21），假设W的每一个行向量都服从高斯分布，，即从所有的隐变量到观测变量的每一维建立映射时，给每个映射都赋予一个高斯过程先验，则观测数据Y第d行向量Y_d，:的似然函数可以表示为[7]

其中，K_Y为核矩阵，Θ是与K_Y相关的参数集，K_Y中的元素由核函数（K_Y）_i，j=k（x_i，x_j）定义，其计算公式为

其中，δ_x，x′为Kronecker δ函数，即x=x′时，δ的值为1，x≠x′时，δ的值为0。

从式（3-23）可以看出，基函数的选择与核函数形式密切相关，例如，当基函数选择为线性时，即ϕ_i（x）=x，核函数的形式变为

k（x，x′）=xTx′+β-1δ_x，x′

（3-24）

还可以通过选择合适的基函数，使核函数变为径向基函数（Radial Basis Function，RBF）形式：

其中，θ₁，θ₂，β₁和β₂是RBF中的参数。

隐变量模型有一个很重要的性质是条件独立，即在给定隐变量的时候，观测变量的各维之间是独立的，因此观测数据的似然概率可以表示为各维似然概率的乘积[7]：

以上建立的隐变量模型由于从低维的隐空间到高维的观测空间的映射是一个高斯过程，因此称为高斯过程隐变量模型（GPLVM）[8]。GPLVM的一个显著特征就是利用核函数可以把线性降维拓展到非线性，因此模型精度更高，而且可以处理小样本的高维数据。