1. 论文简介
(1)将NeRF和SDF方法结合来更好的回归物体表面(mesh)。
(2)通过在神经辐射场后嵌入可微模拟器,实现动力学参数学习和进行场景编辑。
2. 核心思想
上述论文包含三个模块:
1)Time-invariant information
看作是静态物体建模,相当于动态NeRF中的canonical pose,NeRF在该空间进行渲染,然后通过时间参数预测形变,进行动态物体渲染。
该模块有三个mlp:rigidity mlp用于预测前景背景,这里用该mlp将前景(运动物体)扣出来预测其canonical pose下的重建函数。输入是三维点坐标,输出就是一个数,越大表示该点属于动态物体的概率越大。
color mlp为nerf的颜色mlp,输出c(.)
sdf mlp对应nerf的density mlp,区别是这里用sdf的表达替换掉了nerf体密度的概念,输出为s(.)。
渲染方程如下:
其中,w是加权权重,可学习。
2)Time-variant information
motion mlp也比较简单,输入有时序特征-latent code,和每个点的三维坐标,输出是一个变化量,
3)仿真模块
这个模块主要是用来进行运动模拟的。
pipeline:
通过marching cube 找到运动物体。
Physics Engine.
采用DiffPD的方法 获得mesh运动参数,可微分,直接引入神经网络训练。
类似匀变速公式:a=x/t^2,F=ma-> t^2 F= m x
h是time step。
参数优化
思路也很简单,mi+b 得到的canonical坐标,应当和物理模型映射 回去的相同。