虚拟人——从游戏中来，走向更大的世界

　　欢迎关注“新浪科技”的微信订阅号：techsina 

　　文/卫夕

　　来源/卫夕指北（ID：weixizhibei）

　　你有没有想过未来的数字生活到底会是怎样的？

　　电影《头号玩家》展示了其中的一种图景，人们通过“化身”在虚实结合的世界中探索各种可能。

　　在电影中，尽管女主角阿尔忒密斯现实中并不完美，但在“绿洲”中却是飒爽英姿的女侠，这其中就离不开一项重要的技术——虚拟人。

　　今天，卫夕就和大家一起来聊一聊虚拟人技术和它所代表的未来。

　　一、虚实同屏：从一场特别的晚会说起

　　在这个五一假期里，央视的五四晚会今年显得特别与众不同。

　　它的一个重要亮点是三位虚拟人和众多青年演员一道登上了表演的舞台，三位虚拟人分别为腾讯互娱的童和光、星瞳和吉莉。

　　伴随着《New Youth》熟悉的旋律，三位虚拟人与在武汉大学、人民大学的校园与众多青年学子虚实同屏。

　　这是央视突破性引入虚拟人技术等前沿数字科技的新尝试，开创了国内首个虚拟节目沉浸式互动体验的先河。

　　事实上，作为国家级传媒平台，为了打造更优质的观看体验，央视在新技术的运用方面从来都不遗余力。

　　央视的晚会也历来都是众多黑科技的重要展示窗口：AR合成、全息投影、8K直播、VR直播、无人机阵列、四足机器人等众多硬科技都先后通过央视的晚会节目开始向普通人的生活普及。

　　在某种意义上，央视对于新技术的选择也在不同侧面上代表着文化产业前沿新技术的风向标。

　　这次晚会三位虚拟人的表演向观众非常直观地传递了一个重要信号——虚拟人作为一项极具潜力的复合技术，可以非常自然和无缝地融入到文化娱乐场景中。

　　值得注意的一点，这次参与晚会的三位虚拟人全部来自游戏领域。

　　这在某种意义上并非偶然，其背后有更深层次的原因——

　　首先，游戏行业在虚拟人技术和研发上有更深厚的沉淀，可以通过其技术实力制作出自然、逼真、强互动的虚拟人形象。

　　其次，游戏行业长期致力于数字世界打造和数实融合的探索，对虚拟人在的应用场景、发展趋势也有更深刻更前瞻的理解。

　　这次五四晚会童和光、星瞳和吉莉的表演是虚拟人技术逐渐走进普通用户生活场景的一个缩影，也是未来数实融合的数字化交互成为常态的一个重要节点。

　　而虚拟人技术背后还有更广泛的价值和意义值得科技行业的从业者探讨与分析。

　　二、站在科技与人文的十字路口：虚拟人的前世今生

　　先来简单认识一下虚拟人。

　　虚拟人并非一个单一的技术，而是多重技术的集合产物。

　　根据相关定义，虚拟人是指通过计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等技术，打造出的具备数字化外形的虚拟人物。

　　备受粉丝追捧的“初音未来”就是一个典型的虚拟人，它拥有优美的人物造型，具有辨识度的嗓音，能互动甚至还能开直播演唱会。

　　1984年，英国的Max Headroom成为首个参演电影的虚拟人，以此为起点，虚拟人开始萌芽，此时早期的虚拟人还以手绘技术为主。

　　之后随着深度学习和计算机视觉技术的进步，CG、语音识别、图像识别、动捕、实时渲染等相关技术的成熟，虚拟人越来越走向追求沉浸感的“全真化、可互动”的方向。

　　从“初音未来”到“洛天依”，从数字黄仁勋到虚拟航天员记者小诤、从捉妖人柳夜熙到时尚达人“星瞳”，从全息演唱会到虚拟人综艺，今天的虚拟人已经成为一个蓬勃发展的产业，并在各个领域发挥重要的价值。

　　根据量子位的报告，预计至2030年中国虚拟人市场规模将达到 2703亿元，市场需求将持续扩大。

　　今天的虚拟人产业站在科技和人文的十字路口，一方面它的形象创建和互动体验高度依赖背后的技术，另一方面它的IP和人设则高度依赖人文和情感的深度注入。

　　三、冰山底下有什么？——以星瞳为例看虚拟人背后的技术

　　如果说虚拟人是一座冰山，那么我们看到的部分就是冰山水面以上的部分，而看不到的水面以下则是支撑虚拟人的底层技术。

　　接下来我们就以“星瞳”为例，看一看虚拟人背后的技术。

　　这位登上央视舞台的虚拟人星瞳，它诞生于游戏，它的成长依赖游戏技术但它的意义却超越游戏。

　　根据公开的资料，星瞳诞生于2018年，最早是游戏QQ炫舞的其中一位NPC，在2019年的时候，腾讯互娱对星瞳的建模和3D形象进行了升级，星瞳开始走向更广泛的用户视野。

　　如今，星瞳不仅是QQ炫舞的虚拟形象代言人，更是一位在B站积累超过26万粉丝的时尚虚拟博主。

　　潮流的造型、出色的穿着品位、湛蓝的眼眸、呆萌的脸蛋、娴熟的舞蹈功底、优雅的互动谈吐......星瞳的确让喜欢她的众多粉丝眼前一亮。

　　而这背后是腾讯互娱在资源与技术上对其不遗余力的重视与支持。

　　不得不聊一聊星瞳背后的技术，虚拟人制作主要涉及建模、驱动和渲染三大技术。

　　首先，3D建模为构建虚拟人形象的基础，重点在于实现细节的精细还原；

　　其次，通过将捕捉采集到的动作驱动虚拟人模型是目前3D虚拟人动作生成的主要方式，核心技术是动作捕捉；

　　最后，渲染技术解决了虚拟人的拟真程度的还原，以及虚拟人所处环境表现和效果的打造。

　　星瞳之所以形象如此鲜活，背后源于其团队对于虚拟人直播技术的投入——

　　3D虚拟人实时直播是多领域的技术集合， 它的复杂之处在于需要集合动捕的实时驱动、引擎的实时渲染、直播内容音画的实时同步。

　　这其中涉及到了动捕设备、面部驱动、材质结算、灯光渲染，渲染引擎、直播内容音画等多个耦合环节的精准对接，任何一环只要有一个小的差错，画面就会惨不忍睹。

　　为了啃下虚拟人3D实时直播这块“硬骨头”，腾讯互娱内容生态部统筹了内部各个技术团队的开发资源，从0开始打造了一套基于Unreal Engine4的实时驱动技术管线；同时与Epic、FACEGOOG等公司战略合作，实现了更多高难度的直播效果。

　　经过几个月的反复调试与试验，全流程跑通了从脸部、手部、到身体全实时捕捉技术，通过实时骨骼解算+Clothing Tool等工具，实现毛发、衣物、配饰等材质的全实时物理运动效果。

　　同时为了在直播时更加真实自然，星瞳技术团队还使用了精细灯光处理+引擎光追效果，实现多角度多动作灯光实时渲染。

　　饱和的技术研发投入目前被证明是值得的，一路走来，今天的星瞳在形象表现力上在国内众多虚拟偶像中可以称得上第一梯队。

　　当然，真正让虚拟人发挥更大价值，除了“好看的皮囊”还需要“有趣的灵魂”，毕竟，虚拟人最终的落脚点并非“虚拟”而是“人”。

　　人就意味着个性、意味着情感、意味着灵魂、意味着故事，而这些需要从“好看的皮囊”中通过鲜活形象和有温度内容进行具体落实。

　　没有比直播更能生动地表现虚拟人的个性、亲和力和感染力的互动方式了。

　　自去年6月份在B站开始直播起，星瞳几乎是以每周一播的节奏和粉丝们深度互动。

　　10月23日更是进行了长达24小时的不间断生日直播，并现场与伊万_iiivan、冰糖IO、七海Nana7mi几位B站其他知名虚拟主播进行了连线或同框互动，现场氛围非常热烈。

　　在每一次直播中，星瞳呆萌可爱的个性、出众的舞蹈力，不俗的谈吐都让这个虚拟时尚少女变得更加立体和丰满。

　　甚至从B站的弹幕中，细心的粉丝还能感受到星瞳从开始直播的略微紧张到后来游刃有余的微妙转变。

　　同时，为了让星瞳拓展更多的可能性，星瞳的运营团队也让这位时尚少女突破次元壁。

　　星瞳先后成为“李宁、Levi's虚拟代言人”、“MAKE UP FOR EVER艺术潮妆大使”、“长沙首位非遗文旅推广大使”、“孔雀舞流行化演绎的传承者”、“花滑冠军庞清佟健弟子”。

　　这些标签都让星瞳作为新一代虚拟偶像，成为助力与反哺多元产业的生动案例，也进一步拓宽了虚拟人技术的应用场景。

　　星瞳源于游戏，但早已超越了游戏。

　　她一路走来，是虚拟人作为一个新兴产业助推数实融合的缩影。

　　四、虚拟人技术并非一蹴而就

　　如果你认为腾讯第一次涉猎虚拟偶像就能将星瞳迅速打造成行业的标杆，那么你就错了。

　　事实上，作为国内最早一批布局虚拟人的科技企业，腾讯对虚拟人技术的积累和突破并非一蹴而就——

　　早在2018年，NExT Studios参与联合打造的高保真虚拟人Siren就凭借实时表情动作驱动，在当时一度引发行业轰动。

　　一年后诞生的Matt就已经能通过AI技术实现语音驱动面部表情，将语音与生动的面部表情和情感紧密关联起来。

　　2021年，腾讯NExT Studios基于实时高保真虚拟人技术，与新华社共同推出了中国第一位数字记者和全球首位数字航天员小诤，完成了多次航空航天报道工作。

　　而这次和星瞳同台登上央视的童和光、吉莉也各有特色——

　　吉莉采用了虚幻引擎次世代真实人物模型生成系统MetaHuman和前沿的Facegood面捕技术让肢体和表情更加生动自然；

　　而童和光背后有着NExT Studios自研的xFaceBuilder®数字角色制作、xMoCap®动捕动画全流程生产两条管线和xLab照相建模、动作捕捉两大实验室的技术支持，也是男性虚拟偶像的代表。

　　可以看到，虚拟人技术的积累和突破离不开游戏企业的前瞻布局和研发积累，本质上是游戏技术发展到现阶段，已经有能力‘走出去’，可以赋能更多上下游产业。

　　脱胎于游戏的虚拟人技术已经发展成为交叉覆盖计算机图形学、人工智能、虚拟现实等互联网前沿学科的“新物种”，在众多领域有着极其广泛的应用。

　　五、虚拟人的应用——在多个产业中开花结果

　　虚拟人产业并没有止步于虚拟偶像这一细分赛道，如今，它早已走向了更广泛的应用场景。

　　总体而言，虚拟人可分成身份型和功能型两类：

　　身份型虚拟人多为虚拟IP、偶像，具有明显的人设和IP属性，而功能型虚拟人主要用于代替真人服务，是现实世界中服务型角色的虚拟代表。

　　今天，这两种类型作为虚拟人产业的两条路线，都在加速走出自己的特色——

　　首先看身份型的虚拟偶像这一块，它的发展其中一个重要原因在于——和真人偶像相比，虚拟偶像永远不会有“塌房”风险，因此，各大娱乐公司也在积极布局虚拟偶像市场。

　　再看功能型虚拟人，它的发展源于其实用价值，比如最简单的场景——博物馆讲解员，它可以切实地节约博物馆的人力成本。

　　随着技术进步，虚拟人的制作成本逐渐下降，因此数字员工、虚拟主播等新业态被相继开发，其在娱乐、电商、教育、文旅等诸多行业的应用也开始逐步落地。

　　比如，湖南卫视在2022年1月1日首播的《你好，星期六》节目中启用了虚拟主持人小漾。

　　国家在政策层面的支持也是功能型虚拟人蓬勃发展的一个重要动力。

　　2022年10月，《广播电视和网络视听 " 十四五 " 科技发展规划》指出，推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目。

　　这从政策层面为功能性虚拟人发展指明了方向。

　　可以看到，随着需求端和供给端的日益发展，无论是身份型虚拟人还是功能型虚拟人都在各自的领域表现出可观的潜力。

　　六、虚拟人背后的游戏技术：构建更大世界的“造梦工坊”

　　虚拟人技术脱胎于游戏技术，它随着游戏技术的进步而不断获得突破。

　　我们可以通过下面这张图直观地感受一下——

　　这是《古墓丽影》中劳拉形象演变的过程。

　　可以清晰地看到，随着以深度学习、实时渲染、CG、动作捕捉、机器视觉为代表的游戏技术的进步，虚拟人劳拉的形象从模糊到清晰，从笨拙到灵动，从卡通到真实。

　　而虚拟人形象的生动和丰满反过来又进一步提升了游戏的体验。

　　在更宏观的下一代互联网“超级数字场景”中，游戏技术以及由它衍生的虚拟人技术在某种意义上会成为未来数实融合产业中的“元技术”，将起到“造梦工坊”的基础设施作用。

　　这背后的核心逻辑在于——无论是根据元宇宙的相关蓝图，还是下一代全真互联网的相关定义，下一个计算平台一定会模糊“现实”与“虚拟”之间的界限。

　　而在这一过程中，“身份”都是其中极为重要的部分。

　　什么意思？

　　今天的线上世界，定义我们身份的，在微信里是一个简单的头像，在王者荣耀里是一个卡通的英雄，在Facebook的VR社交场景中，是一个没有双腿的半身形象，它们现在都非常单一，非常“不生动”。

　　这背后最本质的原因在于这些“Avatar”输入的带宽太小，它不能直观地体现我们包括动作、神态、情绪在内的“精气神”。

　　而在未来，这个输入带宽一定会提升的，到那时，作为现实世界的人类，我们才能完成真正的“线上化”，这背后其实都属于广义的虚拟人技术。

　　而无论下一代计算平台如何变化，“人”和“世界”这两个因素都非常关键。

　　这其中的人既包括我们和我们的数字化身，也包括他人和“他人的数字化身”，还包括完全数字化的“纯虚拟人”。

　　而其中的世界既包括现实世界，也包括虚拟世界，还包括数实融合的世界。

　　为了实现对现实世界的映射和延伸，从游戏技术“外溢”的虚拟人技术可以创造出与现实真人无异的虚拟人及“真人分身”，而游戏技术本身可以高效、高质地从0构建兼具形、声、色的数字场景。

　　不要以为我所描述的未来很遥远，事实上，我们已经可以看到游戏技术不仅仅“外溢”到了虚拟人产业，也“外溢”到了更多产业和场景——

　　比如，游戏技术被广泛应用于影视制作行业，它能有效提升影视创作灵活性与表现力，同时降低拍摄成本。

　　在 2019 年的热门美剧《曼达洛人》在摄制过程中，摄制团队采用Unreal Engine4 打造出精细的星球大战场景，实现数字虚拟拍摄。

　　汽车工业也得益于脱胎于游戏的技术，比如游戏引擎作为实时3D创作平台，可应用于汽车行业设计、模拟培训与自动驾驶等细分领域。

　　比如，在自动驾驶方面，腾讯TAD Sim引入UE4，借助物理引擎模拟真实行车条件下的天气及交通状况，可以实现环境仿真效果。

　　游戏引擎驱动的数字孪生系统还可以帮助智能城市规划，比如，香港机场就基于数字孪生开发了机场运维系统。

　　游戏引擎鼻祖约翰*卡马克开发DOOM（毁灭战士） 引擎并在1997年宣布将其开源时，一定不会想到自己所开创的技术会在几十年后超越游戏，被如此广泛地应用到影视、汽车、自动化等多个工业领域。

　　导演杨德昌说，电影发明以后，人类的生命至少延长了三倍。

　　在某种意义上，游戏发明以后，人类的生命至少在电影的基础上又延长了三倍。

　　而连接“游戏世界”与“现实世界”的，是第九艺术游戏背后不断“化腐朽为神奇”的技术。

　　彼时的游戏，将不再是游戏。