面部动作捕捉
也许这就是微软亚洲研究院网络图形组主任研究员童欣博士将人脸逼真动画称作计算机图形科学“圣殿”的原因。数十年来的计算机图形学研究已经开发出许多项捕捉三维动态人脸图像的技术。但是，它们都有所缺陷，或者无法捕捉足够的细节，或者不能准确地描绘不断变化的表情。
最近，由童欣博士带领的微软亚洲研究院研究团队与德克萨斯A＆M大学的柴金祥教授合作，开发了一种创建高保真三维人脸图像的新方法：它不仅能描绘大尺度特征和表情，更能够捕捉细微的皱纹和皮肤运动。他们的工作可能会对计算机影视制作领域带来深远影响，甚至能够在会议和其他应用中创建极具真实感的用户虚拟化身。
SIGGRAPH 2011
童欣团队有关面部扫描研究的论文——《利用动作捕捉和三维扫描捕捉高保真面部表现》已经在SIGGRAPH 2011上发表。SIGGRAPH 2011——第38届国际图形学大会于8月7日至11日在加拿大温哥华举行，吸引了来自科学、艺术、游戏以及其他研究领域的25,000名专家学者。
微软研究院的研究员们为SIGGRAPH 2011贡献了11篇论文。此外，会议期间微软研究人员获得了两个重要的行业大奖：微软研究院的杰出工程师Jim Kajiya因对计算机图形学的杰出创造性贡献而获得“Steven Anson Coons奖”；而微软研究院交互可视化媒体小组总监Richard Szeliski荣获了计算机图形学成就奖。
这篇由微软研究院童欣、黄浩达和吴湘涛以及德克萨斯A＆M大学柴金祥教授共同撰写的论文探讨了捕捉高清逼真面部特征和表情的新途径。
童欣博士表示，这是一项很艰巨的挑战。人类的面部不仅表情丰富，而且也是一种沟通的形式——我们只要看看对方的面孔，通常就可以立即了解他人的想法或感受。
“我们很熟悉面部表情，对其中的任何微小的错误也会十分敏感。”他说：“这意味着我们需要捕捉更高层次的面部表情细节，而且还要捕捉带有较高时间分辨率的非常微妙的面部细节。”也就是说，这些细节的微妙运动也需要捕获得到。
现有的脸部和表情捕捉手段包括基于标记的动作捕获和高分辨率扫描仪。在基于标记的技术中，需要将小反光点固定在被摄者的脸上，当他的表情变化时，这些反光点之间的相对位置变化就会被记录在视频上。这种方法能够准确地捕捉不断变化的表情，但空间分辨率较低，无法捕捉表情变化的细节。
另一方面，高分辨率扫描仪能够捕捉到人脸的所有细微之处，甚至包括细小的皱纹和皮肤毛孔，但通常只能适用于静态姿势。经过专门配置的高速摄影机也可用于捕捉面部表情，但它们价格昂贵，而且只能提供较少的面部细节。
基于这两种捕捉技术的特点，研究团队试图将基于标记系统的动作捕捉精准度与高分辨率扫描仪的丰富细节结合起来。研究人员还希望从计算的角度，提升捕捉和识别的效率，这样就把重建精确面部表情所需的数据量减到最小。
研究人员聘用了三名面部肌肉非常灵活的演员，他们首先使用基于标记的运动捕捉，在每个演员的脸上固定约100个反射点。随着视频滚动，演员做出一系列预先确定的面部表情来收集脸部表情变化时的粗略数据，用于三维扫描。
上面一行图片显示了标记如何在所有面部扫描图像之间创建一个对应集;下面一行图片则显示了两步法人脸扫描配准如何在所有面部扫描图像之间产生密集、一致的表面对应
另外，通过分析所捕获的基于标记的数据，研究小组确定了重建精确面部表情所需的最低扫描数量。
下一步，研究小组利用激光扫描仪捕捉高保真的面部扫描。然后，将这些扫描与基于标记的面部数据中的对应画幅相匹配。他们使用新的算法，实现了面部扫描的互相配准。
但这绝非易事。他们在论文中指出，在一次扫描中出现的几何细节未必出现在另一次扫描中。另外，在细粒度特征（如皱纹或毛孔）即使出现细微的配准失误，都会造成面部重建显得不自然。
“我们希望确保这些特征相互匹配，否则你会看到一些奇怪的面孔，”童欣博士说：“脸上的一条皱纹可能一会而出现，一会儿又消失，显得很不自然。”
为了避免这种情况，研究小组利用了两步配准算法。首先，这种算法在清晰度面部扫描之间进行显著面部表情的配准。接着，它将面部分割成八个区域，并使用光流技术在当前扫描与面部相似的其他扫描的相同区域进行配准；光流技术已经考虑到摄像头和人脸之间的相对运动。
最后，研究小组综合运用动作捕捉信息和面部扫描信息，重建演员当时所做的实际表情，其所产生的图像既捕捉到了脸上的“大”运动，又捕捉到了皮肤纹理和皮肤运动的精致细节。
童欣相信，他的团队所做的工作将对现实世界产生影响。
“它有很多种应用，”童欣博士说：“这就是我们投入这么多努力的原因。”
例如，电影和视频游戏产业也可受益于更容易、更高效的虚拟面孔创建方法，使虚拟人物比今天常见的人物更加逼真。
Xbox 360游戏
此外，童欣博士认为新的扫描技术可以用来创建计算机的虚拟化身(Avatar)，作为逼真版本，用于代替Xbox 360等设备中预设的玩家化身。
“角色可能是虚拟的，但是表情是真实的，”他说：“在电视电话会议中，它可能会非常有用，例如在商业会议上，人们对表情非常敏感，并通过表情来判断对方的想法。”
但是童欣博士表示，未来的工作还有很多。目前他的小组所用的扫描技术还不能捕获精确的眼部和唇部的动作。此外，还需要相当强大的计算能力和若干小时的工作时间才能成功地对所有图像进行配准。童欣希望做到实时配准。
“未来的挑战还有很多，”他总结道：“但这是一个非常激动人心的研究领域。”