剧集
大规模优化:超越随机梯度下降和凸度
替换为 Suvrit Sra, Francis Bach
随机优化在于机器学习的核心,其基石是随机梯度下降(ZN),这是60多年前引入的主食! 然而,近年来,为随机方法带来了令人兴奋的新发展:差异减少(VR)。 这些 VR 方法在允许多个传递训练数据的设置中表现出色,在理论上和实践中,实现收敛速度比新元快。 这些加速突显出 VR 方法的巨大兴趣激增:到现在,大量的工作已经出现,而新的结果定期出现! 本教程为更广泛的机器学习受众介绍了 VR 方法背后的关键原则,方法是将它们定位到 VIS-à-visZN。 此外,本教程除了凸起性外,还介绍了非凸问题的研究边缘结果,同时概述了关键点和尚未提出的挑战。
学习目标:
– 向更广泛的 ML 受众引入快速随机方法,以超越 60 岁的算法 (ZN) - 通过这个快速移动区域提供指导灯,统一和简化其演示、概述常见陷阱和揭秘其功能 - 提高对该地区开放挑战的认识,从而刺激未来的研究
目标受众;
- 研究生(硕士和博士流)
- 学术界和行业的 ML 研究人员,他们不是随机优化专家
– 想要扩大工具剧目的从业者
随机优化在于机器学习的核心,其基石是随机梯度下降(ZN),这是60多年前引入的主食! 然而,近年来,为随机方法带来了令人兴奋的新发展:差异减少(VR)。 这些 VR 方法在允许多个传递训练数据的设置中表现出色,在理论上和实践中,实现收敛速度比新元快。 这些加速突显出 VR 方法的巨大兴趣激增:到现在,大量的工作已经出现,而新的结果定期出现! 本教程为更广泛的机器学习受众介绍了 VR 方法背后的关键原则,方法是将它们定位到 VIS-à-visZN。 此外,本教程除了凸起性外,还介绍了非凸问题的研究边缘结果,同时概述了关键点和尚未提出的挑战。
学习目标:
– 向更广泛的 ML 受众引入快速随机方法,以超越 60 岁的算法 (ZN) - 通过这个快速移动区域提供指导灯,统一和简化其演示、概述常见陷阱和揭秘其功能 - 提高对该地区开放挑战的认识,从而刺激未来的研究
目标受众;
- 研究生(硕士和博士流)
- 学术界和行业的 ML 研究人员,他们不是随机优化专家
– 想要扩大工具剧目的从业者
想提供反馈? 在此处提交问题。