CCML2019 8.7上午特邀嘉宾演讲听会报告

在CCML2019开幕后的第一天（8月7日），大会邀请了三位教授做出了分享汇报。

一、AI at Dawn：Opportunities and Challenges
来自悉尼大学的陶大程教授从人工智能最初的发展讲起，他提到，经历过几次寒冬与热潮交替发展的AI正处于蓬勃发展的阶段，甚至将迎来第四次热潮。陶大程教授积极投身于计算机视觉方向的研究工作，报告中，教授介绍了他的团队在的计算机视觉中取得的新成就，就感知学习、推理、行为分析等方面进行了分享。

二、Comprehensive Theories of Deep Learning - Representation, Optimization, and Generalization
来自北京大学的王立威教授就深度学习的表征、优化及泛化的理论方面进行了近期研究发现的分享。长期从事机器学习理论研究的他从以下三个方面展开介绍：

1. 深度神经网络为何能有效学习表征
2. 梯度下降算法在学习拥有众多超参的深度神经网络时，是如何找到这个高度非凸的目标函数的全局最优
3. 深度学习为何能够有效泛化

首先，王教授提到，深度学习如此有效的一个重要因素是拥有众多超参。同时，他用理论证明，当网络足够宽且利用高斯初始化，这样的深度网络用一阶优化方法（梯度下降）可以找到全局最优，并且时间复杂度是线性的。对于一个这样拥有众多超参数的网络结构，如何能够使这个算法加速呢？他想到利用二阶优化算法（高斯牛顿法），但在求解二阶优化算法时，求逆是时间复杂度最大的操作，因此在网络结构中大家更偏向于利用一阶优化算法进行求解。考虑到求逆的时间复杂度大，迭代的计算大，王教授提出，利用求伪逆替代二阶优化算法（高斯牛顿法）中的求逆操作，这样能够降低计算复杂度，减少迭代次数。经过实验分析证明，他们提出的算法在回归任务中生成拥有众多超参的网络结构时，计算复杂度与SGD算法几乎相同。

其次，我们都知道，为一个特定问题寻找到一个适合的网络结构非常重要，因此有学者投身于利用机器自动寻找好的网络结构的研究工作中，但王教授则转换思路，通过分析发现常微分方程的解（欧拉方法）与ResNet在表达形式上十分相近。因此他提出，利用这种关联性通过求解出一个更好的常微分方程的解从而推出一个更好的网络结构。对流扩散方程是物理领域中一个经典的常微分方程，它描述了粒子相互之间的影响，及其自身的流动组成的系统。求解该常微分方程的常用方法为spliting，但教授提出，将transformer architecture作为求解该常微分方程数值解的核心方法，通过分析求得解的形式得到新的网络结构。他们将该方法应用于自然语言处理领域的翻译中进行实验，结果表明该方法能够使得性能得到一定程度的提升。

第三部分内容主要围绕深度学习的泛化性能展开，王教授强调，他们的研究表明，只需要未标记样本就能加强网络结构的泛化能力，同时具有强大的对抗性。

三、偏标记学习的研究
来自东南大学的张敏灵教授就偏标记学习展开了团队研究进展的分享报告。报告中，讨论了偏标记学习的问题设置及其与相关弱监督学习框架的相同及不同点，并且对现有的偏标记学习算法进行了总结，同时介绍了他们团队提出的一种针对标记消歧的新方法 - 基于特征感知的消歧（PL-LEAF），不同于辨识消歧和平均消歧，该方法利用了样本在输入空间的关系进行辅助消歧，通过近邻图刻画输入空间的结构，利用近邻矩阵估计候选标记的置信度得到新的训练集再去做回归或分类。