深层网络与浅层网络

深层网络和浅层网络可以用得分路径（Credit Assignmment Path）CAP来区分，得分路径是一条可以学习的、连接行为和结果的因果链。对于FNN来讲，CAP的深度，也就是网络深度。通常情况下认为CAP>2就可以认为是深层网络。

浅层网络有单隐层网络、高层混合模型、隐形马尔可夫模型、条件随机场、支持向量机、逻辑回归、最大熵模型等。

浅层网络对解决许多简单问题且有良好约束的问题非常有效，但在解决真实复杂的问题时，往往出现函数表达能力不足的情况。这是因为处理某些问题时，可能需要指数增长的计算单元。而此时深层网络则可能仅需要相对较少的计算单元。