本文给出了一种新的求解NMF的方法:将梯度分解成一个梯度减另一个梯度的形式(两个子梯度都非负),然后利用乘子(Multiplicative)的形式更新变量。乘子为两个子梯度的商。(这种做法是否合理?是否能够收敛,文中未给出证明。这种解法是引用其他文章的?)

本文提出了Semi-supervised NMF:We formulated SSNMF as a joint factorization of the data matrix and the label matrix, sharing a common factor matrix for consistency. Weighted residuals for the decomposition of the data matrix and the label matrix were introduced to handle missing data and to incorporate partially labeled data, respectively.

所谓的半监督:是只模型中用了部分没有分类的样本。注意,本文是content-based的,也就是特征向量X是观测到的。

个人观点:

在模型中,由于unobserved的样本无论是在特征X的权重还是label权重都为0,所以,实际情况是,在学习参数(如,S)的时候依旧不会用到该样本(参数并不会因为该样本而发生更新)。从这个角度来看,本文所谓的半监督其实是没有意义的。本文真正用到unobserved 样本的地方,是在做特征提取的时候,用到了pseudo inversion(伪反转?),即,用X乘以模型参数A用于估计提取的特征向量S,再用这个特征做分类。但是在聚类的时候,直接用模型学出的S来做k-means,主要的区别在于label项的约束(随机影响?)



留言

登录 请先登陆, 再留言!