【原文:http://blog.csdn.net/guoyilin/article/details/36697625】
最近开始研究三维人脸合成和表情变化,文章列表如下
1. Synthesizing realistic facial expressions from photographs:
98年的文章,较为简单,第一步是2d图片映射到3d模型,首先从5个角度拍摄头像,手工标注人脸轮廓的13个特征点的位置,主要是眼角,耳朵,嘴型,鼻子。 然后通过3d摄像机投影得到一些等式,通过13个点来求解等式的解,这里使用了least square的方法求出特征点的3d坐标,旋转矩阵等等摄像头的参数。接下来,我们deform initial model, 通过13个点构造deform函数,这里用到radial basis function 来得到其他顶点的函数映射关系。最后,通过标注更多的特征点来refine 3d模型。 第二步,纹理映射,3d纹理是各个2d照片的线性组合。这部分暂时没有细看。第三步,不同的表情之间通过线性插值的方法产生动画。
2. Face Transfer with Multilinear Models
论文的主要贡献是把人脸的属性分为identity, expression, viseme, 通过一个线下构造好的具有不同人种,表情和viseme的数据库,将人脸表示成该三个属性的multi-linear模型。该文使用Kanade-Lucas-Tomasi的人脸跟踪算法来求解模型各维度的参数。
3. A Morphable Model For The Synthesis Of 3D Faces
经典论文。论文的主要思想是任意一张人脸表示成预先构造的人脸数据库的线性组合。
4. 3D Face Reconstruction from a Single Image using a Single Reference Face Shape
5. Face Reconstruction in the Wild
具体编程实践的相关一些材料:
-
Foundations of 3d book tell us about the basics of 3d. (这本书我觉得讲的很好,主要是讲3d数学基础, 我读了前面7,8章很精彩)
-
Opengl Guide tell about opengl api.(非常简单入门)
-
Book about facial animation: http://www.amazon.com/Computer-Facial-Animation-Frederic-Parke/dp/1568814488 书很旧,没找到电子书。
-
http://expression.sourceforge.net/ : this is a great opensource api about how to do various expressions.