基于Hessian能量的半监督回归

半监督一般模型 是中维子流形。 对于一个有个标记点的数据集，半监督学习的目标函数可以写为： 这里是上平滑函数的集合，是损失函数，是正则项。一种简单的定义。

正则项估计 (1)

我们不知道数据所嵌入的流形，但是我们可以结合未标记的数据来得到的估计值。 对于一个实值函数 ，我们使用 Eells 能量，可以写为： 称为的二阶协变导数 (covariant derivative) 。 在上正规坐标系 (normal coordinates) 下可以简单地估计导数值。一个给定点在上的正规坐标，可以近似认为在点周围的流形是一个欧式空间。

正则项估计 (2)

点周围以点为原点的坐标系 因此在点，二阶协变导数的形式就是在正规坐标下 Hessian矩阵的 Frobenius 范数，称其为 Hessian 正则项。

局部 PCA

点的局部正规坐标可以由其近邻组成的集合来进行估计。 为了估计局部张量空间，我们在上使用 PCA 。 个主特征向量对应一组正交基。现实数据集中，流形的维数无法自动确定，需要由关于问题的先验知识或者使用交叉验证的方法来确定。

近邻点正规坐标估计 有了点的张量空间后就可以确定其近邻点的正规坐标。 是个正规化的主 PCA 特征向量，点的正规坐标由下式给出： 显然有。

点的 Hessian 估计 (1)

已知点的正规坐标，用一作用于内点的线性算子来估计点的Hessian 值，

近邻点的函数值根据一个二阶多项式来拟合：

点的 Hessian 估计 (2)

是周围的二阶 Taylor 展式， 为了拟合多项式， 其中， 。 的第行由的第个近邻点的正规坐标计算得到。 问题的解为，其中， ，表示的伪逆。

点的 Hessian 估计 (3)

的后个分量记为，对应多项式系数，于是我们可以得到。 的第个分量，假设其对应，则 这样就有。

点的 Hessian 估计 (4)

于是在点的 Hessian 值由下式给出： 其中。

的 Hessian 估计 最终 Hessian 能量的估计是所有点的 Hessian 值的和，由下式给出： 是所有的和。

求解优化问题 于是我们的优化问题： 问题的解由下式给出： 其中为对角矩阵，若已标记则，否则为 0 ；若已标记， 为类别号，否则。

谢谢