这个超逼真的虚拟小姐姐，可能是腾讯游戏未来的样子

问耕 发自 凹非寺
量子位 出品 | 公众号 QbitAI

“This breaks my brain.”
% o. Y9 I* a2 D3 [# K目睹了GDC大会期间的一幕时，有人发出上面这句感叹。如果翻译成中文，应该就是两个字：“炸裂”。
让人惊叹的，是一个名为Siren的数字人类。
这个基于计算机视觉等技术构建的虚拟小姐姐，拥有逼真的眼睛、皮肤和头发……细节方面达到了前所未有的程度。
. B  G! p3 p8 V7 V

, Z2 C# T4 u2 t9 C  }

" g' E( e# ?! @2 a但绝不仅是细节让人惊叹这么简单。
/ j' v5 v/ {6 M4 x+ P5 ^Siren背后的系统，还具备强大的人类表情动作实时捕捉以及合成技术。
干讲没意思，一起感受下GDC现场：


https://www.zhihu.com/video/960872992260186112

6 \/ Z! ?; U. e* Y' L6 W& u, M
没错，就是你看到的这样。
一个真实的女性人类在现场侃侃而谈，她的表情、动作、声音，被实时的赋予身后大屏幕上的女性数字人类Siren。
这就是开头提及的炸裂一幕。
实际上，Siren这位小姐姐的容貌身形，也不是凭空虚构出来。而是一位来自中国的演员：姜冰洁。
而负责现场演示的是英国演员Alexa Lee，她的表情和声音，被头戴设备捕捉之后，与姜冰洁的外貌进行合成，最后就成了Siren。
这个过程，是这个样子：
# D1 u+ B9 ~" G3 R, r" |
& F4 y) ?% O' ]9 [' b: P+ D
https://www.zhihu.com/video/960873115450081280
$ x( Y" r, A# f2 w* u9 @# `& P简而言之，就是这样一个“换脸”过程。


说个花絮，其实Alexa Lee说她体验到Siren后，自己也吓了一跳。Siren的声音表情跟她一样，但是脸却是姜冰洁的样子。
4 D4 Z/ o8 @: Z- ]0 ^2 g整个合成的动作在15毫秒内完成。
这个项目是Epic Games聚光灯计划（Project Spotlight）的一部分，这个计划意在虚拟环境中构建一个真实世界。
所有Siren的演示，都是以每秒60帧的速度运行在虚幻引擎中。“创建一个可以实时互动、让人信任的数字角色，是近年来计算机图形行业最激动人心的事情之一，”Epic Games首席技术官表示。
这里解释一下Siren这个名字。
其实，塞壬（Siren）是希腊神话中的海妖，惯以美妙的歌声引诱水手，使他们的船只或触礁或驶入危险水域。这个词也有汽笛、妖冶而危险的女人等意思。
& l% N( E! ]$ R/ m6 x/ P" K幕后公司

5 ]6 B& M+ g  j9 C3 A但Siren并不是某一个公司的功劳。
; E0 t5 n, F1 B' H除了上面提到的Epic Games，参与这个项目的还包括拥有最先进面部扫描技术的3Lateral，提供了实时面部解算；Vicon提供人体动作捕捉系统；以及腾讯旗下游戏工作室Next Studio等。
# v) D0 z8 t! w( ^, a/ l' X

这是一个通力合作的项目，不过Epic Games特别强调，在GDC 2018大会上，他们最想测试Cubic Motion脸部捕捉系统的潜力。
“Cubic Motion突破性的计算机视觉和面部动画技术是我们取得成功的关键之一，”还是Epic Games首席技术官说。
这家被重点提及的公司，创立于2009年。现任CEO为Gareth Edwards，他是一位计算机视觉和AI技术专家。
Cubic Motion的计算机视觉技术，能以每秒90帧的速度跟踪200多种面部特征，并将这些数据实时映射到高分辨率的数字角色身上。
Alexa Lee戴的头盔，就是来自Cubic Motion。

( V/ Y; w6 |1 D
9 m6 f0 y6 h$ Q: t7 E  Q
, ?: M9 `( _' b: D9 M- q
) N! A7 E, o  p4 m另外，Vicon提供的是全新的Shōgun 1.2软件、Vantage光学动作捕捉系统、VUE视频摄像头。所有这些将Alexa Lee的肢体动作，直接解析到Siren的身上，手指的部分还用了一种更逼真还原的算法。
& F+ F% N- v: f' [- c, F5 P+ u当然，虚幻引擎的光效也功不可没。
至于腾讯。
实际上，Siren项目始于Epic Games和腾讯之间的合作，目的是通过一个概念验证演示，以展示虚幻引擎4的实力，以及下一代数字角色长什么样。
& n, v, l8 H5 f% b5 O也就是说，今天Siren上的相关技术，未来可能会应用到腾讯的游戏中。
如果你不熟悉这个领域，那么需要说一下，Siren并不是凭空出现，只是这类技术的一个最新进展。同样的原理，这种技术可以帮助电影、动画、游戏等行业降低生产成本，提高虚拟人物的亲和力。
4 z; F3 u: F( y7 K最后，来看一段Siren的自我介绍吧。

! N& `( z( U% E4 b" N# |. w4 R7 Y( ^
! M9 M) u. r2 n# W8 \! khttps://www.zhihu.com/video/960873344468430848
! }7 s  L8 P; ?' d4 d, g— 完 —
欢迎大家关注我们的专栏：量子位 - 知乎专栏
1 x- {+ \# r6 x$ E: ~+ I诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态

我同学一眼就看出是假人。。。

头太大了

感觉有点不自然，主要是嘴巴和眼睛。。虽然有神情，但感觉不到人气。。

为什么叫死人？

这头个身体的比例完全不对啊(›´ω`‹ )

安吉拉宝贝终于不需要抠图了！

他的目的不是以假乱真，而是真人投射到游戏里进行游戏，你想象一下，这套设备加上HTC的虚拟现实设备一起玩游戏，你真人的动作表情游戏里别的玩家都能看见，而不是设定好的几个动作，而你也能感受到别人的真实反应，就像在现实世界一样自然，加上HTC的沉浸式体验，多恐怖。活生生一个虚拟的真实世界。完全开放的虚拟世界，和真实世界一样没有重复的角色，神情，语气，动作，习惯。

我同学/亲戚/朋友系列

不够漂亮