云渲染科技与艺术的碰撞，平行云支持2022砂之盒沉浸艺术季大千VAST展示和全球首场VR演唱会｜腾股小伙伴动态

平行云作为砂之盒沉浸展XR云渲染技术支持合作伙伴，支撑和服务了新一代沉浸式虚拟娱乐平台大千(VAST）VR体验空间展示和全球首场真正意义上的VR演唱会“电器樱桃”虚拟演出，为观众带来奇幻炫酷高沉浸感的视听体验。

云渲染加持大千（VAST），全球随时随地创作和体验的沉浸式虚拟娱乐平台

相比历届SIF只提供线下观展渠道，沙核科技依托于UE引擎独立开发的新一代沉浸式虚拟娱乐平台——大千（VAST）在SIF 2022中首次亮相。沙核科技一直在寻找CloudXR解决方案和供应商，如何实现借助云端算力突破VR/AR眼镜对内容精度的限制，推流高质量沉浸感视频给各类终端。早在SIF 2022活动筹备初期，沙核通过英伟达的推荐开始了解接触平行云，双方在大千（VAST）这个产品内容分发路径展开多轮了解和沟通，在产品选型、测试验证、技术方案、部署搭建上进行数月的探讨和实施，在该项目上验证推出：VR眼镜现场体验的云渲染推流公有云部署方案，私有云服务器一体机作为补充方案，以及全球100余个云节点推送SR访问体验。

这次大千体验活动现场，沙核科技在阿那亚海边排练场搭建多个无线VR设备体验点，观众可以在VR头显设备，利用平行云云渲染产品调用云端算力，无需本地图形工作站，轻终端观看体验到VAST平台上高精度的VR作品展示，瞬间切换畅游丰富的VR场景。

平行云全程支持大千VAST体验空间（Powered by PXY）

VAST大千体验空间，观众用VR头显设备观看作品

VR眼镜里的VAST：多种沉浸式线上空间，可将不同World放置传送门或直接传送到相应区域

大千（VAST）打造一场元宇宙展示平台，让全球的潮流文化和艺术作品及其受众可线上交流、展示、互动。SIF集结全球海量潮流IP、跨领域合作方及海内外艺术家资源，在大千（VAST）平台的支撑下打造了全球最大规模的虚拟实时交互的艺术和影像展。沙核科技创始人楼彦昕谈到大千（VAST）的愿景“我们会在内容孵化、IP设计、元宇宙展会等方面一起探索新的形式……，希望通过这种形式，创造更多突破想象力的世界，让不同科幻作品、不同IP在元宇宙里打开。”

平行云云渲染LarkXR支撑全球部署的云服务器节点，全球首场虚拟+现实同赏“真VR”实时演唱会

7月28日晚9时，阿那亚 区蜂巢剧场座无虚席。观众们正观看砂之盒沉浸展携手著名音乐制作人闫津和华语唱作人肖懿航组成的双人乐队——电气樱桃，为大家呈现通过VR实时动作捕捉呈现的音乐Liveshow，全球首场真正意义上的VR直播音乐现场。区别于传统VR制作，这次虚拟演出是即兴的、实时的，却不是传统现场的LIVE，为观众打造了一个不同于现实的奇幻世界，艺人和虚拟演出场内观众在其中有着自己的数字化身和虚拟舞台。

SIF电气樱桃真实现场演出画面

这次电气樱桃虚拟演出设置了两个会场，阿那亚 区蜂巢剧场为音乐人live演出现场，大千（VAST）体验空间为VR虚拟演出观看场地。现实与虚拟演出在两个物理空间同时进行，为演出一大亮点。在蜂巢演出现场，音乐人穿着动捕服，通过麦克风、吉他、电子合成器等设备在真实舞台表演，剧场观众观看现实乐队表演。同时，音乐人们的姿态和音乐效果会同步到虚拟世界，十几位评委嘉宾戴着头显在VR中观看和在虚拟场景中亲自参与这场精彩演出。此外，结合WiFi 6与5G通信技术，和平行云的实时云渲染产品，在大千（VAST）平台上，不仅通过双人实时动捕在VR中同步呈现，还在欧洲、亚洲和北美都铺设了全球云端节点，让身处世界各地的观众，和大千（VAST）体验空间的十几位嘉宾一样欣赏这场沉浸式的演出。

在虚拟舞台场景里，演出者和观众嘉宾身处的环境会随着歌曲的主题发生变化，呈现出符合歌曲意境的虚拟场景，氛围感和临场感更为出众。观众可以随意飞行、穿梭、变换自己的位置，跟着音乐摇摆、雀跃、发冲击波，甚至站在虚拟音乐人的乐器上等任意地点用任意的视角体验这场演出。

SIF电气樱桃观众视角演出画面

VR体验中最核心的两个要素是沉浸感与实时互动这两个要素，要同时满足需要大千（VAST）所具备的“真VR直播能力”——即通过动作捕捉技术，为VR中的观众们呈现出演出现场的盛况，同时还让现场的艺术家们能够与虚拟世界中的观众们实时互动进行即兴表演，为观众们带来更强的参与感。

按住画面移动小窗

X

电气樱桃VR演唱会舞台现场和虚拟演出视频片段

根据沙核科技的技术负责人介绍，为了呈现这场演出，需要解决两大问题：

一是如何在双人动捕数据量加倍信 干扰更严重，且需要面对复杂 络环境的情况下，保证海量动捕数据传输的实时性与稳定性，防止不同步和其他运算偏差的情况出现；

二是如何向身处全球多地、使用各类不同设备观看演出的观众们提供几乎一致的高品质VR体验。

全面解读平行云实时云渲染产品在全球首场真正意义上的VR演出的技术还原和呈现

面对跨平台的全球同步直播难题，沙核科技的答案是——实时云渲染技术。一方面，通过平行云LarkXR 云渲染平台，大千（VAST）平台实时捕捉现场的动作和声音将其传输到云端服务器中，实时渲染并推流到各个终端设备上。观众们无论使用PC、手机还是VR一体机，无论身处世界各地，都能够通过VAST平台遍布全球的云端节点，都可以“身临其境”地享受云端渲染技术带来的出色的画面与音乐效果，还可以与同时观看虚拟演唱会的其他观众进行低延迟的实时互动。其特点是，将画面渲染工作放到云端，利用云端服务器算力的动态调度与有效扩展，让各种类型的XR设备能够摆脱性能的限制，只要能够显示云端流式传输的画面，就能呈现最佳的VR画面渲染效果。无需下载任何客户端，只要一个URL地址任意VR/AR/SR终端设备即可访问。并且LarkXR具备松耦合特性，和各云厂商的IaaS结合可以快速部署，在全球范围内服务。这次活动不仅使用了云渲染技术完成VR头显设备体验，沙核在全球部署了100多个SR云节点，利用平行云云渲染服务器完成全球观众的电脑/平板/手机/大屏等终端的接入，全球观众无需VR/AR头显直接参与直播观看体验。

另外为了应对临时的额外VIP嘉宾体验需求与灾备/预留，沙核联合平行云进行了云渲染私有化部署方案。平行云高密度GPU专用一体机服务器，在场内作为补充。

Lark Nest软硬件一体服务器

为了提供高品质的VR和SR用户体验，需要强大的算力支持，而常规的终端设备无法满足需求，LarkXR为高保真的XR应用提供无限的云端算力，让用户可以使用VR一体机手机平板等轻量化的终端，而且无需下载等待，随时随地访问XR应用。LarkXR针对 络传输做了大量优化，根据 络拥塞控制算法及自研的增强传输协议，动态的调整码率、发送速度以及丢包控制，从而实现超低延时，减少抖动和丢包，给用户提供优质的用户体验。

此次SIF2022活动有多种类型的应用，为了用户访问和便于管理，减少本次活动构建成本，需要在同一个平台既支持眼镜类VR应用和平板类SR应用的云渲染，平行云的LarkXR作为一个功能强大的一体化XR PaaS平台，可以同时支持VR、AR、SR、MR等多种类型的应用云渲染，支持快速部署，开箱即用，具有XR应用统一管理、自动分发、集群快速的扩容、自动上下线、对集群节点进行实时监控等功能。此次活动采用国内/国外MEC边缘化，多分区部署方式，根据用户请求结合智能调度算法将用户请求分配到较优节点，依托平行云自研的GPU云化技术，实现超细粒度动态调度GPU资源，最大化提升GPU使用率。

为了增加用户的互动体验，对音频输入输出有着很高的要求。由于云渲染应用是在云端运行，如何让云端的应用采集客户端麦克风的语音数据，将应用的音频输出给客户端，同时不需要开发者处理底层设备驱动以及音频的编解码，而云端同一台服务器上往往同时运行多个XR应用，如何匹配客户端设备和应用的对应关系，这对于传统的XR内容开发者来说是一个极难解决的问题。平行云根据客户需求，2周时间内完美的解决这个痛点问题，利用客户端的音视频输入设备采集声音及视频图像，并在本地进行音视频的编码，然后利用LarkXR的新插件音频数据通道传给云渲染服务器，同时在服务端多个应用并发运行时对每个客户端的音视频输入设备进行隔离，绑定到对应的应用上，实现了音视频输入设备的隔离，XR应用本身不需要做任何特殊的处理，如同读取本地设备一样访问客户端音视频设备。

通过云渲染加持的大千（VAST）平台遍布全球的云端节点，都可以“身临其境”地享受云端渲染技术带来的出色画面与音乐效果，还可以与同时观看虚拟演唱会的其他观众进行实时互动。

实时云渲染架构实现

在此基础上，平行云Hermes还优化了Cloud XR的流式视频传输功能，减少了视频流的带宽占用，提升了同一 络环境下能够支持的终端设备数量。此外，沙核科技还联合阿里云、亚马逊云科技在亚洲、美洲与欧洲设立了多个全球节点，实现云渲染服务器节点的高效调度与数据传输，让用户能够始终与延迟较低且稳定的云端节点动态建立连接，上传VR头显姿态数据并获得渲染画面的推流，从而减少设备使用过程中卡顿、眩晕等状况的出现，也保证了全球各地的用户都能同步享受精彩的高质量实时演出。

截止2022年8月10日，全球用户访问平行云LarkXR分布

平行云与行业合作伙伴每一次合作创新，拓展了新业务场景和未来合作前景

客户的反馈是平行云格外重视和珍惜的，此次长达数月的合作中，沙核科技技术负责人罗皓在接受平行云的访谈中表示整个合作过程是愉快而又实效的，双方在配合和攻克技术难点、时间调配应急等环节都比较默契和顺畅。在平行云赋能行业伙伴做场景和技术创新上，罗皓复盘叙述以下价值点：

通过平行云托管和发行应用，解决了用户设备渲染能力不足和软件包过大等问题，让更多的用户可以快速进入应用，也缩短了应用开发的周期。

平行云减轻了团队分发应用的压力，以往需要针对各种设备来测试应用的兼容性和运行负载情况，现在只需要配置好应用的运行环境，剩下的一切交给平行云。

通过平行云可以查看不同应用的使用情况，通过记录的数据能够了解到市场的反应以及真实的用户反馈，帮助我们更好地改进产品。

在平行云的帮助下，我们将产品从以往单个复杂的结构改进成更灵活的分布式结构，应用可以根据用户需求灵活选择不同的运行环境，这带给了我们更多的可能性和创新。

通过平行云托管的应用，不再需要采集卡来捕获画面，直接可以将画面输出给端用户，还可以使单台服务器同时为多个用户提供渲染服务。极大地节省了采购设备的成本，同时也去除了增设采集卡设备会造成的额外延迟。

沙核和平行云就此次SIF 2022这个合作案例上沉淀的技术经验和产品整合，双方高层表示在未来大千（VAST）全球运营和SIF展等活动和演出会有更深度的合作和新尝试，将中国VR/AR文化产业推向新的高度和活跃，落地更多的商业模式。在全国VR连锁线下店业务，平行云的私有化部署方案、一体机标准化产品可以更为广泛的投入商业化运营中。