剧集

时间对比学习和非线性 ICA 的非监督特征提取

替换为 Aapo Hyvarinen

非线性独立组件分析(ICA)为无监督特征学习提供了一个有吸引力的框架,但到目前为止提出的模型是无法识别的。 在这里,我们首先提出了一个新的直观原则,即使用数据的非固定结构从时序进行无监督深度学习。 我们的学习原则,时间对比学习(TCL),找到一种表示形式,允许对时间段(窗口)进行最佳歧视。 令人惊讶的是,当重新定义 ICA 以包括时态非固定性时,TCL 如何与非线性 ICA 模型相关。 特别是,我们表明,TCL 与线性 ICA 相结合,估计非线性 ICA 模型与源的点位转换,此解决方案是唯一的---因此为非线性 ICA 提供第一个可识别性结果,这是严格、建设性的,以及非常普遍的。