组合模型表示层级的有意义的部分和子部分之间的关系,组合模型有能力表示身体部分之间的高顺序的相关性,有助于解决Low-Level 的模糊,以前的组合模型假设不真实的子部分-部分关系,使他们没有能力表示复杂的组合模式。高层次部分的状态空间是指数大的,使推理和学习变得复杂。为来解决这个问题,引入一个新颖的框架,命名为DLCM,这个新颖的框架采用的组合模型结构,并且利用从下到上/从上到下的推理过程;另外,本文作者提出bone-based部位表示,bone-based不仅简洁地编码了部位的方向,scale和形状,而且避免了他们的巨大潜在状态空间(state spaces)。
当存在过度重叠部分,附近人和背景杂乱引起的模糊时,它们仍然容易失败。一个有效的将解决以上问题的方法是采用身体部位的组合模型的方法,如文献[10,11],本文的组合模型[13,14]通过两阶段推理姿态。
组合模型存在如下几条问题:1、通常在子部分与部分的位移上假设一个子部分的锚的位置是高斯分布的均值,这种假设不存在于真实的场景[20];2、通常使用一组离散类型变量(discrete type variables)来模拟零件之间的兼容性,离散变量不仅包括身体的方向和尺寸scale而且跨越语义分类(直胳膊VS弯曲胳膊);3、当组合结构有闭环,近似推理算法一定会用。
为了解决以上问题,提出DLCM网络框架,我们首先说明一般组合模型的每隔自底向下/自顶向下的推理步骤实际上是本文称之为空间局部信息概括(SLIS)的广义过程的实例化。
bone-based 部分表示有两点好处:1、一个层级结构;2、多语义结构。它的设计有三点好处:1、紧密编码身体的scale,方向和形状;2、避免指数地巨大的高层次部位的状态空间;3、指导CNNs学习人体的多层级组成。
3.1组合模型
组合模型是被定义成一个多层级图结构(hierarchical graph)。它由四部分( ,,, ),And-nodes 将子部件的组成转化成更高级别的部件(更高级的部件比如左上手臂,左下手臂);Leaf nodes :叶节点建模最原始的部分,即最低级部位(最低级部位如手腕,脚踝等)。我们称在最顶级的And-nodes作为根nodes。表示图边缘。恒等((电脑Alt+41428))
the bottom -up stage
最大分数,即S()分别被计算,公式如下:
{向上的箭头}()是节点及其后代形成的子图的最大分数,根节点u为状态,依靠等式4递归计算,边界条件由等式3计算。递归的计算是从Leaf-level开始,直到达到根节点。