XR词汇的提出，可以追溯到CO Allen于2014年的申请的一份专利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》，文中将XR作为AR的别称进行使用，约2年后，一些国际媒体服务器厂家开始在市场中尝试推广XR的概念。
XR（Extended Reality）即通过摄像机追踪与实时图像渲染技术，使显示介质（LED/投影幕）及显示介质外的虚拟场景实时跟踪摄像机视角，在摄像机镜头前与现实拍摄画面合成，从而营造出无限空间感的技术。
XR是虚拟现实（VR），增强现实（AR）和混合现实（MR）三种视觉交互技术的融合，以此带来虚拟世界与现实世界之间无缝转换的“沉浸感”数字体验。
2020年，XR延展技术的兴起使影视行业出现了全新的变革，基于LED背景墙的LED虚拟制作成为了行业内人士一直讨论的热门话题。XR（Extend Reality）技术与LED显示屏结合，搭建了一座贯通虚拟与现实的桥梁，在影视虚拟制作领域大放异彩。本文将重点从整体制作流程、集成设备应用、核心优势等方面深入剖析，为更多影视虚拟化制作项目的成功落地提供参考。
什么是LED影棚虚拟制作？
LED影棚虚拟制作是一种综合的解决方案，工具和途径。我们将LED虚拟制作定义为“实时的数字化制作”，在实际使用中，LED虚拟制作可以分为“VP摄影棚”和“XR延展影棚”两种类型应用。
VP摄影棚
VP摄影棚是一种新型的影视拍摄方式，更多用于电影、电视剧的拍摄，可以使影视制作人用LED屏取代绿幕，直接在片场显示实时背景和视觉特效。
VP摄影棚拍摄的优势可以体现在多个方面：
1、摄影空间自由化，可在室内影棚内完成各种场景的拍摄，无论是森林草原雪山，都可以使用渲染引擎实时创建，大幅度减少取景和拍摄成本。
2、制片全流程简单化，“所见即所得”，在拍摄过程中制作人可以在屏幕上及时查看想要的拍摄画面，场景内容和叙事空间皆可实时修改、调整，大幅度提高换景、改景的效率。
3、表演空间沉浸化，在片场的演员站在实时生成场景的XR舞台上，可以在沉浸式空间内进行表演，直接体验，演员表演更真实、更自然。
同时，LED显示屏的光源为现场提供真实光影效果与细腻色彩表现打光，拍摄出的效果更加逼真、完美，极大提升影片整体质量。
4、缩短投资回报周期，相比起传统的耗时耗力的电影拍摄流程，虚拟拍摄制作因为效率高、周期大幅度降低，可更快实现影片的上映，节省演员的片酬以及工作人员的支出费用，大幅度降低拍摄成本。
这种基于LED背景墙的电影虚拟制作被认为是电影制作方面的巨大发展，为影视行业的未来提供了全新的动力。
XR延展影棚
XR延展拍摄，是指使用视觉交互技术，通过制作服务器将真实与虚拟相结合，利用LED显示屏打造一个可人机交互的虚拟环境，为观众带来虚拟世界与现实世界之间无缝转换的“沉浸感”。
XR延展影棚可用于网络直播、电视台直播、虚拟音乐会、虚拟晚会和广告拍摄等场景。XR延展影棚拍摄可以将虚拟内容扩展到LED舞台之外，使虚拟和现实实时叠加，增强观众的视觉冲击感和艺术创意感，让内容创作者在有限的空间创造出无限可能，尽情追求无尽的视觉体验。
XR能否取代绿幕一直是个热点话题。相较绿幕，XR有一些明显优势：
1、XR实时呈现的背景为演员提供临场感，能够让缺乏无实物表演经验的人们直观了解当下处境，掌握自身走位。
2、XR使演员表演与表演环境相结合的效果及时呈现，并且更方便创作团队及时修改创作想法。
3、XR能够节省掉影视制作过程中许多花费在光线修复上的时间和金钱。
但是xR技术本身同样具有局限，如果是基于LED屏幕方案实现的xR技术，那么站在LED屏上的演员脚下将没有影子，这是xR技术的一个较大遗憾。
LED影棚虚拟制作的工作流程
在LED影棚虚拟制作中，“VP摄影棚”与“XR延展影棚”的整个拍摄流程大致相同，分为前期筹备、前期制作、现场制作、后期制作四个部分。
VP摄影棚拍摄流程
VP影视制作与传统电影制作方法最大的不同在于流程上的变化，最重要的特征是“后期前置化”。VP影视制作将传统视效影片中的三维资产制作等环节移至影片实际拍摄之前，前期制作的虚拟内容可直接用于现场摄影机内视效拍摄，而渲染、合成等后期环节移至拍摄现场，合成画面的实时完成，大大减少了后期制作的工作量，提高了制作效率。
在视频拍摄前期，视觉特效师需使用实时渲染引擎以及虚拟制作系统，创建3D数字资产。接下来，利用高显示性能的无缝拼接LED显示屏作为背景墙（通常呈现为环幕或球幕）在工作室中搭建一个LED舞台，通过XR虚拟服务器将前期制作的三维渲染场景载入到LED背景墙上，打造出高画面质量的沉浸式虚拟场景。再采用精确的摄影机追踪系统，采用物体位置追踪与定位技术对物体进行跟踪拍摄，最终拍摄完成后，将拍摄到的素材通过特定协议（Free-D）传回到XR虚拟服务器进行查看剪辑。
XR延展影棚拍摄流程
XR延展拍摄的步骤与VP影棚拍摄大致相同，但通常在VP摄影棚拍摄中整个拍摄画面都是在相机中捕获的，而不需要扩展。
而在XR延展影棚中，因为其画面延展的特殊性，在后期制作时多了对“背景”画面进行扩展的环节。在拍摄好的素材回传至XR虚拟服务器后，需要再通过画面叠加的方法，将场景延展显示到外锥无屏区域，将现实场景与虚拟位置进行融合，实现更真实、更加沉浸式的后台效果。然后通过颜色校准、定位校正、色彩匹配及边缘过度等画面处理技术，实现屏内外画面的和谐统一，最终输出扩展后的整体画面。在导播系统后台，就可以看到并输出完成的虚拟场景。
在扩展现实的基础上，XR延展拍摄还可以加入动态捕捉传感器，实现AR追踪的互动效果，表演者可以在舞台上即时、无限制地与三维空间内的虚拟元素进行交互。
LED虚拟制作用到的设备有哪些？
LED影棚虚拟制作是技术的融合，所需要的软硬件设备有LED显示屏、虚拟引擎、摄像机追踪系统以及虚拟制作系统等。只有通过这些软硬件系统的完美集成配合，才可以拍摄出奇幻炫酷的视觉效果，获得最终的效果。
XR延展摄影棚的LED显示屏虽然建设面积较小，但是在直播中需要低时延特性提供支持，需要更大的数据传输与实时互动，需要性能更强的系统支持即时的影像处理。
VP摄影棚LED建设面积较大，但因不需画面扩展，对系统的要求相对较低，但是需要高质量画面拍摄，对虚拟引擎、摄像机等其他设备配置较高，须达到专业级别。
虚拟制作服务器
虚拟制作服务器是将物理舞台与虚拟场景连接起来的基础设施，高度集成LED显示屏硬件、控制系统、内容渲染引擎和摄像头跟踪。
XR虚拟制作服务器是虚拟拍摄工作流的核心，负责接入摄像机跟踪系统+虚拟生产内容+摄像机拍摄的实时画面，输出虚拟内容到LED墙，输出合成的XR视频画面给导播台，用于直播及存储。
最常见的虚拟制作系统有：Disguise、Hecoos。
渲染引擎
视频制作的渲染引擎是各种最新图形技术的表现者，渲染引擎应用于视频制作就犹如汽车的引擎，决定着节目画面的真实感、流畅度、吸引力。
观众所看到的画面、场景、色彩效果等内容都是由引擎直接控制的，这些效果的实现包含了许多渲染技术：光线追踪-图像像素以光的粒子计算；路径追踪-光线反射回视口计算；光子映射-光源发射“光子”计算；光能传递-散射表面反射到摄影机中的照明路径。
最常见的渲染引擎有：Unreal Engine、Unity3D、Notch、Maya、3D MAX 。
摄像机追踪系统
摄影机定位跟踪指的是对真实空间中摄影机的位置和姿势进行跟踪的过程。由定位机、摇臂、摄像机稳定器、云台、编码器、双目立体视觉机器等一整套设备组成。
拍摄的空间信息被实时传送至渲染引擎，为引擎中的虚拟摄影机提供真实摄影机在三维空间中的位置信息，以及镜头参数信息，包括焦距、焦点和光圈等。依靠实时渲染和实时抠像与合成技术，实现虚拟摄影机与真实摄影机的运动及构图的同步，使得实拍画面与虚拟元素得以实时合成。
摄像机实时动态跟踪技术分为三种：网格识别–基于摄影机在二维X、Y轴平面的轻微移动进行实时的运算的跟踪方式，无需改装摄像机的跟踪方式；机械传感跟踪-装在基座上或三脚架上，提供非常精确的高分辨率的解决方案；红外跟踪-通过红外和发射器计算摄像机位置。
最常见的摄像机追踪系统有：Mosys、Redspy。
灯光系统
在场景已有的自然光源照明不足的前提下，有必要人为地增强场景中的照明，以增强胶片的感光，提高画面的亮度，对于空间的建立、氛围的营造有着重要的作用。
基础灯光-在LED背景墙提供基础光照的情况下，仍需要利用灯光设备补充光照，以弥补背景墙照明窄光谱低显色、无方向性、无硬光的问题；补充灯光-LED灯光矩阵+柔光灯弥补背景墙照明窄光谱、低显色、无方向性、无硬光的问题；特效灯光-在特定的拍摄场景，根据场景+剧情需要而临时布置的灯光；灯光控制系统-数控灯光可以通过DMX/Artnet等协议被虚拟引擎和XR融合系统直接驱动控制。
常用的灯光系统有：ARRI。
LED显示屏
LED影棚虚拟制作是大屏显示应用的新场景，是LED小间距市场不断发展，LED显示设备的技术水平不断提高而衍生出的新市场。
与传统的LED屏幕应用相比，虚拟制作的LED显示屏对准确色彩还原，动态高刷新，动态高亮度，动态高对比度，无色彩偏移的广视角、高质量画面显示等等都有更为严苛的要求。
抑制摩尔纹
摩尔纹是LED屏幕在拍照设备的感光元件上成像时形成的高频干扰，会使图片出现彩色的条纹。Mini 4合1技术可以使LED显示屏达到80%以上的发光开口率。
Mini LED搭配特殊型号的镜头、景深和光圈，可以获得更广的调节自由度，虚焦程度更低，巧妙避开显示屏在成片中产生摩尔纹的情况，最终实现拍摄角度逼真的沉浸式效果。
低反射
小的光反射率对屏幕表面的影响越小，可以实现更真实的背景画面。在Mini小间距屏体表面，灯组之间有独特的吸光槽设计，以减少光的影响；并且表面采用磨砂哑光工艺，将光线反射率控制在5%以下，拍摄角度可接近180度。轻松应对拍摄现场的各种光线环境，画面更干净，拍摄不易穿帮。
宽色域高显指
色域匹配及转换技术应用，可以真实、准确地还原自然界色彩。高显指CRI，保证色彩均匀性好，可以优化各色各波段的连续光谱，提升显色指数。同时，提高光效，在保证发光效率前提下，抑制部分蓝光能量，补偿红色（R9）光谱。
广视角无色偏差
Mini LED产品能够提供近180°更广阔的拍摄视角，保证不偏色；24bit处理深度，更好地呈现图像的层次、细节，从任何角度观察或拍摄，都能呈现到良好的视觉效果。
低扫描高刷新率
1/6扫描率和7680Hz的刷新率，Mini LED小间距屏在高刷新下，拍摄画面稳定，无波纹黑屏，图像边缘清晰，准确还原图像真实信息。
XR制作的好处
沉浸式与实时的制作与编辑流程
演员或主持人、制片人可以在现场看到虚拟环境，让他们可以在现场进行表演或拍摄的调整与指导，减少了后期制作所花费的时间和预算。简单来说就是“后期制作前置化”。此外，虚拟制作解决了外景拍摄的剧组交通成本及环境等待成本，简单来说，你可以无需踩点等待下雨或夕阳落山的时刻，随时复现和修改所需的环境。
真实的现场交互灯光
照明由XR现场的LED显示屏提供，这有助于真实人物与虚拟环境的无缝融合，并减少进一步照明调整的时间。这点特别适合有高反射的真实物体拍摄，需要提供真实的环境反射信息及光照，而无需通过后期合成添加处理。
没有颜色溢出问题与抠像合成的困扰
在传统绿幕拍摄环境下，常常需要花费大量的时间进行精细的抠像处理，同时修补颜色溢出的问题，而XR完全不需要抠像，现场直接出镜头。
XR的行业应用
企业活动
当今公司越来越多地将XR视为解决远距离会务问题的新方法。虚拟会议、虚拟报告会甚至是产品发布会都可以使用XR技术来提高参与者的沉浸体验，使他们真切感受到品牌的文化和理念。
教育
XR可以让远程教学中的学生沉浸在逼真的场景中，让学生在模拟的虚拟情境中更好地理解知识，学习知识，并留下深刻的印象。
电影
xR为电影拍摄提供了机会，减少了工作人员的旅行时间和疫情期间的接触危险。在后期制作中，LED屏幕可提供比绿色屏幕更快，更轻松和更高质量的替代产品，从而缩短了生产周期，并可以实时做出更具创造性的视觉决策。
电视演播
在演播室环境中，LED屏幕实时提供高分辨率的清晰内容和照明，虽然最后都需要用摄影机进行采集，但实时呈现的内容可以让主持人更好地与虚拟环境进行交互，而不是像之前一样进行盲猜与踩点。
版权声明：图文素材来源ZEEY，如需转载请注明来源。
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
