论文链接：https://arxiv.org/abs/1909.01064 角色定制系统是角色扮演游戏（RPG）中的重要组成部分，在 RPG 游戏中玩家可以按照自己的偏好（而不是默认模板）来编辑游戏人物的面部外观，比如流行明星或者自己。 最近，来自网易伏羲实验室、密歇根大学、北航和浙大的研究者发表新研究，提出了一种按照输入人脸图像自动创建游戏人物的方法。研究者基于人脸相似性度量和参数搜索机制实现「对人脸图像的艺术加工」，通过在大量具备物理意义的面部参数空间中执行搜索来解决优化问题。 实验结果表明，该方法创建的游戏人物与输入人像无论在整体外观还是局部细节上都实现了高度相似。去年该方法已被用于新游戏开发，现在它已经被玩家使用超 100 万次。 RPG 游戏是如何定制游戏角色的？ 游戏中的角色定制操作。 RPG 游戏中标准游戏角色面部创建工作流程的第一步是：配置大量面部参数。然后游戏引擎以用户指定的参数作为输入，生成 3D 人脸。游戏角色定制可以看作是「单目 3D 人脸重建」或「风格迁移」的特例。然而，长期以来，生成图像语义内容和 3D 结构在计算机视觉领域被认为是艰巨的任务。 玩家参与定制角色尽管增加了游戏的趣味性，使得玩家可以捏出各种各样的面孔，但是需要耗费很多时间在定制参数和调试效果上面。另外，在很多角色扮演游戏，特别是网游中，很多希望能够定制自己的面孔、或者采用明星面孔的玩家对于这样的方法不甚满意。 网易伏羲实验室提出新方法 来自网易伏羲实验室等机构的研究者提出一种按照输入人脸图像自动创建游戏人物的方法，如图 1 所示。该方法通过预测一组具备明确物理意义的面部参数，为骨骼驱动模型（bone-driven model）创建 3D 人物形象。该方法中，每一个参数控制每个人脸组件的单个属性，包括位置、方向和缩放。更重要的是，该方法支持用户在创建结果的基础上进行再加工，游戏玩家可以根据自己的需求对游戏人物做进一步的调整和改进。 图 1：方法概览。该方法可基于输入人脸图像自动生成游戏角色，它基于人脸相似性度量和参数搜索机制（对大量具备物理意义的面部参数执行搜索）实现。之后用户可以根据需要自行微调生成游戏角色的面部参数。 该研究提出的模型包括模拟器 G(x) 和特征提取器 F (y)。前者模拟游戏引擎的行为，以用户定制的面部参数 x 作为输入，生成「渲染后」的人脸图像 y。后者则决定了人脸相似性度量可以执行的特征空间，以搜索最优的面部参数集。该方法的处理流程图见下图 2： 图 2：该方法的处理流程。模型包括模拟器 G(x) 和特征提取器 F (y)。前者模拟游戏引擎的行为，以用户定制的面部参数 x 为输入，生成「渲染后」的人脸图像 y。后者则决定了人脸相似性度量可以执行的特征空间，以搜索最优的面部参数集。 模拟器 研究者训练了一个卷积神经网络作为模拟器，模拟游戏引擎的输入-输出关系，从而使得角色定制系统可微分。研究者在模拟器 G(x) 中使用了类似 DC-GAN 的网络配置，包括 8 个转置卷积层。出于简洁性的考虑，模拟器仅利用对应的人脸定制参数，拟合人脸模型的前视图。 研究者将模拟器的学习和预测过程构建为基于标准深度学习的回归问题，旨在最小化游戏渲染图像和该方法生成图像在原始像素空间中的差异。 研究者在训练过程中使用了游戏《逆水寒》的引擎，利用对应的人脸定制参数随机生成 20000 个不同人脸。其中 80% 的人脸样本用作训练数据，其余 20% 作为验证数据。 图 3：模拟器 G(x) 的架构。该模拟器的训练目的是，学习从输入人脸定制参数 x 到游戏引擎渲染人脸图像 yˆ 的映射。 人脸相似性度量 模拟器训练完成后，面部参数生成必然成为人脸相似性度量问题。由于输入人脸图像和渲染游戏角色属于不同的图像领域，因此为了高效度量人脸相似性，研究者设计了两种损失函数作为度量指标：人脸整体外观和局部细节。研究者没有直接计算它们在原始像素空间中的损失，而是利用神经风格迁移框架，在神经网络学得的特征空间中计算损失。我们可以把参数生成看作基于模拟器流形的搜索过程，旨在找出最优解，使生成图像和参考图像之间的距离最小化。 推荐阅读：叶紫 （正文已结束） （编辑：喜羊羊） 免责声明及提醒：此文内容为本网所转载企业宣传资讯，该相关信息仅为宣传及传递更多信息之目的，不代表本网站观点，文章真实性请浏览者慎重核实！任何投资加盟均有风险，提醒广大民众投资需谨慎！ |
