深度学习还不够好，安全的人工智能需要贝叶斯深度学习

深度学习还不够好，安全的人工智能需要贝叶斯深度学习

---

Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI

---

理解模型的不确定度（uncertainty）是机器学习的关键。但能够理解不确定度的传统机器学习方法（如高斯过程，Gaussian processes），无法应用于如图像、视频等高维数据。深度学习（deep learning）能够高效处理该类数据，但其难以对不确定度建模。

本文旨在：
（1）给出不确定度的类型，并建模。
（2）使用不确定度为多任务深度学习模型减重。

图像深度估计示例：（1）图像深度估计贝叶斯神经网络输入样本；（2）深度估计输出；（3）估计的不确定度。

不确定度类型（types of uncertainty）

认知不确定度和随机不确定度（epistemic and aleatoric uncertainty）

认知不确定度（epistemic uncertainty）

认知不确定度（epistemic uncertainty）描述了根据给定训练集得到的模型的不确定度。这种不确定度可通过提供用足够多的数据消除，也被称为模型不确定度（model uncertainty）。

认知不确定度对下列应用至关重要：

（1）安全至上的应用，认知不确定度是理解模型泛化能力的关键；
（2）训练数据稀疏的小数据集。

随机不确定度（aleatoric uncertainty）

随机不确定度（aleatoric uncertainty）描述了关于数据无法解释的信息的不确定度。例如，图像的随机不确定度可以归因于遮挡、缺乏视觉特征或过度曝光区域等。这种不确定度可通过以更高精度观察所有解释性变量（explanatory variables）的能力来消除。

随机不确定度对下列应用至关重要：

（1）海量数据（large data），此时认知不确定度几乎被完全消除；
（2）实时（real-time）应用，取消蒙特卡罗采样（Monte Carlo sampling），用输入数据的确知函数（a deterministic function of the input data）表示随机模型（aleatoric models）。

随机不确定度可细分分为两个类：

（1）数据相关（data-dependant）不确定度或异方差不确定度（heteroscedastic uncertainty）：依赖于输入数据且模型输出为预测的随机不确定度。
（2）任务相关（task-dependant）不确定度或同方差不确定度（homoscedastic uncertainty）：不依赖于输入数据的的随机不确定度；对于所有输入数据，它为常量；它在不同的任务之间变化；它不是模型输出；它可用来描述依赖任务的不确定度。

示例：图像语义分割中的随机不确定度与认知不确定度，随机不确定度给出了有噪标签的物体边界。第三行给出模型对人行道（footpath）不熟悉时，图像语义分割失败的案例，其对应的认知不确定度变大。

贝叶斯深度学习（Bayesian deep learning）

贝叶斯深度学习（Bayesian deep learning）是深度学习（deep learning）与贝叶斯概率论（Bayesian probability theory）的交叉领域，它给出了深度学习架构的不确定度评估原理（principled uncertainty estimates）。
贝叶斯深度学习利用深度学习的层次表示（hierarchical representation power）对复杂任务进行建模，同时对复杂的多模态后验分布（multi-modal posterior distributions）进行推理。贝叶斯深度学习模型（Bayesian deep learning models）通过模型权重的分布（distributions over model weights），或学习直接映射输出概率（a direct mapping to probabilistic outputs）对不确定度进行估计。

1. 改变损失函数对异方差随机不确定度（heteroscedastic aleatoric uncertainty）建模

异方差不确定度是输入数据的函数，因此可通过学习输入到输出的确知映射（a deterministic mapping）对其预测。对于回归问题（regression tasks），可定义类似欧式距离（ L 2