深度学习还不够好,安全的人工智能需要贝叶斯深度学习
Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI
理解模型的不确定度(uncertainty)是机器学习的关键。但能够理解不确定度的传统机器学习方法(如高斯过程,Gaussian processes),无法应用于如图像、视频等高维数据。深度学习(deep learning)能够高效处理该类数据,但其难以对不确定度建模。
本文旨在:
(1)给出不确定度的类型,并建模。
(2)使用不确定度为多任务深度学习模型减重。
图像深度估计示例:(1)图像深度估计贝叶斯神经网络输入样本;(2)深度估计输出;(3)估计的不确定度。
不确定度类型(types of uncertainty)
认知不确定度和随机不确定度(epistemic and aleatoric uncertainty)
认知不确定度(epistemic uncertainty)
认知不确定度(epistemic uncertainty)描述了根据给定训练集得到的模型的不确定度。这种不确定度可通过提供用足够多的数据消除,也被称为模型不确定度(model uncertainty)。
认知不确定度对下列应用至关重要:
(1)安全至上的应用,认知不确定度是理解模型泛化能力的关键;
(2)训练数据稀疏的小数据集。
随机不确定度(aleatoric uncertainty)
随机不确定度(aleatoric uncertainty)描述了关于数据无法解释的信息的不确定度。例如,图像的随机不确定度可以归因于遮挡、缺乏视觉特征或过度曝光区域等。这种不确定度可通过以更高精度观察所有解释性变量(explanatory variables)的能力来消除。
随机不确定度对下列应用至关重要:
(1)海量数据(large data),此时认知不确定度几乎被完全消除;
(2)实时(real-time)应用,取消蒙特卡罗采样(Monte Carlo sampling),用输入数据的确知函数(a deterministic function of the input data)表示随机模型(aleatoric models)。
随机不确定度可细分分为两个类:
(1)数据相关(data-dependant)不确定度或异方差不确定度(heteroscedastic uncertainty):依赖于输入数据且模型输出为预测的随机不确定度。
(2)任务相关(task-dependant)不确定度或同方差不确定度(homoscedastic uncertainty):不依赖于输入数据的的随机不确定度;对于所有输入数据,它为常量;它在不同的任务之间变化;它不是模型输出;它可用来描述依赖任务的不确定度。
示例:图像语义分割中的随机不确定度与认知不确定度,随机不确定度给出了有噪标签的物体边界。第三行给出模型对人行道(footpath)不熟悉时,图像语义分割失败的案例,其对应的认知不确定度变大。
贝叶斯深度学习(Bayesian deep learning)
贝叶斯深度学习(Bayesian deep learning)是深度学习(deep learning)与贝叶斯概率论(Bayesian probability theory)的交叉领域,它给出了深度学习架构的不确定度评估原理(principled uncertainty estimates)。
贝叶斯深度学习利用深度学习的层次表示(hierarchical representation power)对复杂任务进行建模,同时对复杂的多模态后验分布(multi-modal posterior distributions)进行推理。贝叶斯深度学习模型(Bayesian deep learning models)通过模型权重的分布(distributions over model weights),或学习直接映射输出概率(a direct mapping to probabilistic outputs)对不确定度进行估计。
- 改变损失函数对异方差随机不确定度(heteroscedastic aleatoric uncertainty)建模
异方差不确定度是输入数据的函数,因此可通过学习输入到输出的确知映射(a deterministic mapping)对其预测。对于回归问题(regression tasks),可定义类似欧式距离( L 2