继2021年硬件入口(VR)的销量迈过了1000万台的临界点,2022年人形机器人的关注度迅猛提升,诉诸于“交互”“智能”最终能实现的终极目标,基于元宇宙的新硬件未来将呈燎原之势,故我们以本篇“拆机 告”,先聚焦于硬件入口VR,我们以小派科技3季度将正式发售的Pimax Crystal为样机进行系统拆解,详细回答下述6个问题:
1) VR与智能手机相比,底层架构上,究竟有哪些区别?
2) 一台VR硬件,其迭代新产品的经典路径是怎样设计的?
3)Pimax Crystal全拆解出来的5大组件共54块,组件(外壳模组、核心计算模组、光学与现实模组、电池及声学模组、人体工学模组)的具体构成、最重要的部分、分别的作用;每一块硬件的名称、构成数量、参数、作用、作用范围、重要性、应用模式、供应商、供应商对此硬件的预估与反馈、特定设计的考量、改进或创新之处、改进或创新后的效用提升比例、成本占比等?
4) 与硬件配套的操作系统?
5) 与硬件配套的内容、生态、销售策略?
6)以Pimax Crystal为代表的VR硬件入口,其未来趋势?
核心观点:
■围绕这6个问题,我们首先回答了市场关心的第一个问题:XR作为新硬件,“新”在哪里?针对这个问题,或许换一个问法更为合适:“继智能手机之后的下一代计算平台是什么?”我们强调,基于未来计算平台的新硬件,将与智能手机及之前的硬件有本质性的区别;基于对沉浸感的追求,VR技术迭代的目标分别是接近人眼的视觉、接近自然的交互。用户对沉浸感的需求却时刻伴随着眩晕感,为降低VR眩晕感,我们细密分析了硬件、软件、内容分别的精进之路。
■其次我们回答了VR与智能手机相比,架构的区别在哪里?第一,需明确VR技术与VR设备是完全不同的概念,VR整个产业链包括硬件、软件、应用及服务,Virtual Reality(虚拟现实技)技术囊括计算机、电子信息、仿真技术于一体,其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感;VR设备只是产业链中的其中一环;第二,VR是对过去50年一系列二维设备的全部生态的迭代,经过近十年的发展,相关技术、产品形态及内容应用已经呈现一定的成熟度,第三,在开发引擎上,智能手机是基于UI的架构,而VR是基于三维图形渲染的,也即以Unity与Unreal等游戏引擎为主。同时,我们以小派、Oculus、Pico为例,尝试勾画出VR产品的迭代路径。
■再次,我们阐述了本次拆机 告,为何会为什么选Pimax(小派科技)?为什么拆Pimax Crystal?并给出了全拆解地图,包括五大组件共54块拆解出来的硬件;同时,详细描述了与硬件配套的算法、内容与生态、定位与市场。
■由小派Pimax预判VR未来发展趋势的同时,我们根据安信构建的元宇宙数据库,更新了国内外VR硬件厂商2022年以来的新品迭代;新硬件作为元宇宙六大版块之一,我们也给出了对其2023年的展望。
■参考交互硬件50年的发展史,由“垂类”到“通用”、从“大型”到“小型”,硬件玩家的竞争从来都是全球性的,门槛高、竞争烈;以对行业的挚爱为起航、关键技术节点上的引领、市场推广时的对打、硬件之外的短板补足、行业拐点时的避坑……最终的胜利者,都是时代皇冠上的明珠。在全行业静待Apple这一顶级吨位的航母下水之际,国内以小派科技为代表的VR与AR厂商,均在“定义下一轮交互”这一总目标下,构建基于自身资源禀赋与行业理解力的技术路径。无论“定义下一轮交互”的顶级创意与璀璨才华将花落谁家,显示、光学、交互等关键部位的创新与进步,都须“积跬步”;且“软硬一体”的大趋势愈发明显,产业链与价值链的映射关系,难以再直接参考智能手机时代的经验。
■显示&光学,交互(即操作系统),内容与生态,是VR为代表的硬件入口的价值链中,占比较高的部位;结合中国优势,硬件入口的产业链配套(尤其是光学部位)、内容与生态,我们认为将是最值得关注的核心投资领域;相较而言,交互(即下一代操作系统)则是Apple等海外科技巨头更擅长的,我们亦关注这一方向上的国内突破。
■展望2023年新硬件的发展趋势,我们认为硬件入口、分布式垂类硬件在2023年,均是“大年”。此外,与硬件入口相匹配的内容、应用、场景等,我们认为2023年有望真正跑出有元宇宙部分“精气神”的爆款,但顺序可能先是应用、场景甚至是模式,最后才是真正的爆款内容出现。
■投资建议:本篇拆机 告,我们全拆解以襄助于市场对硬件入口的认知,目前各厂商均在探索各自的技术路径,产业链并未定型,但产业链的关键部位在于光学、显示与交互;根据我们对备战元宇宙投资的三个阶段的划分,当下仍处于第一阶段,即筛选的投资标的,标准只有一个——它有元宇宙(如硬件产业链)的相关业务。
回到元宇宙的整体性行情上,我们认为当下元宇宙行情再起,在2021年虚拟数字人、NFT、元宇宙的基础上,我们认为细分方向有望新增Web 3、人形机器人、XR硬件相关等,各方向相关标的在去年基础上会有明显的发散,但核心仍然在于弹性:
1)2021年的元宇宙行情,源于海外相关板块的映射效应;目前海外年初以来的调整正处于修复过程中,对国内元宇宙行情的启动有映射作用;
2)2021年的元宇宙行情,相关个股目前基本已调整回2021年8月份启动时的股价水平;
3)2018年以来的政策性调整(产业政策收紧、金融资本严格约束),有望推动产业出清以来的拐点;
4)内容产业是供给决定需求的行业属性,新的计算平台、技术、机制有望带来新的内容、应用、场景、模式;
5)二季度业绩预告,部分子方向相对靓丽。
关注标的:
1)NFT与区块链:数码视讯、安妮股份、中文在线、平治信息、 达软件、光一科技、华媒控股、数字认证、捷成股份、视觉中国、三六零;
2)营销:立昂技术、天下秀、宣亚国际、蓝色光标、省广集团;
3)游戏:宝通科技、中文传媒、吉比特、中青宝;
4)影视广电教育等:新文化、幸福蓝海、广电 络、国联股份、中公教育、国新文化;
5)产业链:歌尔股份、共达电声、闻泰科技、国光电器、鹏鼎控股、兆威机电;
6)光学:苏大维格、远光软件、中光学、利亚德;
7)智能穿戴:合力泰、万祥科技、深天马A;
8)3D引擎:全志科技、乾照光电、北京君正;
9)3D打印:银邦股份、亚太科技、蓝光发展;
10)人工智能:长安汽车、华西股份、科大讯飞、高乐股份;
11)脑机接口:冠昊生物、航天长峰、新智认知、浙大 新;
12)溢出效应:爱尔眼科;
13)港股:腾讯控股、 易、心动公司、百度。
■风险提示:技术路径探索不成功的风险、市场推广不成功的风险、中美贸易战带来的产业链配套低于预期的风险、公司治理风险。
1. 概述
元宇宙作为新一代计算平台,大幕已拉开。根据我们建立起的研究框架,元宇宙共有硬件入口及操作系统、后端基建、底层架构、人工智能(AI)、内容与场景、协同方六大版块,2021年全球科技巨头在硬件入口、内容与场景两大版块上均有重磅入局与探索,2022年的焦点与动态将呈现在底层架构上,2023年预计后端基建与人工智能(AI)两大版块将有重大进展,进而驱动硬件与内容的新一轮迭代。
国内外在元宇宙研究方向上的认知路径有一定差异,相较海外以“智能”来提纲挈领,国内的研究则沿袭了“硬件”、“软件”的分门别类。在硬件方面,我们提出了“新硬件主义”的认知思路,即将基于元宇宙这一新计算平台的新硬件,分类成硬件入口、垂类硬件两大类,前者以VR/AR为典型,后者则以人形机器人为代表;硬件入口的核心是“定义新一轮的交互”,垂类硬件的命门则是“基于现实世界的智能能力”。
继2021年硬件入口(VR)的销量迈过了1000万台的临界点,2022年人形机器人的关注度迅猛提升,诉诸于“交互”“智能”最终能实现的终极目标,基于元宇宙的新硬件未来将呈燎原之势,故我们以本篇“拆机 告”,先聚焦于硬件入口,我们联合小派科技,以其3季度将正式发售的Pimax Crystal为样板,详细回答下述6个问题:
1. VR与智能手机相比,底层架构上,究竟有哪些区别?
2. 一台VR硬件,其迭代新产品的经典路径是怎样设计的?
3. Pimax Crystal全拆解出来的5大组件共54块,每一块的名称、作用、性能、供应商、成本占比等?
4. 与硬件配套的操作系统?
5. 与硬件配套的内容与生态?
6. 以Pimax Crystal为代表的硬件入口,其未来趋势?
参考交互硬件50年的发展史,由“垂类”到“通用”、从“大型”到“小型”,硬件玩家的竞争从来都是全球性的,门槛高、竞争烈;以对行业的挚爱为起航、关键技术节点上的引领、市场推广时的对打、硬件之外的短板补足、行业拐点时的避坑……最终的胜利者,都是时代皇冠上的明珠。在全行业静待Apple这一顶级吨位的航母下水之际,国内以小派科技为代表的VR与AR厂商,均在“定义下一轮交互”这一总目标下,构建基于自身资源禀赋与行业理解力的技术路径。无论“定义下一轮交互”的顶级创意与璀璨才华将花落谁家,显示、光学、交互等关键部位的创新与进步,都须“积跬步”;且“软硬一体”的大趋势愈发明显,产业链与价值链的映射关系,难以再直接参考智能手机时代的经验。
显示&光学,交互(即操作系统),内容与生态,是VR为代表的硬件入口的价值链中,占比较高的部位;结合中国优势,硬件入口的产业链配套(尤其是光学部位)、内容与生态,我们认为将是最值得关注的核心投资领域;相较而言,交互(即下一代操作系统)则是Apple等海外科技巨头更擅长的,我们亦关注这一方向上的国内突破。
2. VR与智能手机的架构对比
2.1. XR作为新硬件,“新”在哪里?
在《由特斯拉机器人回溯智能交互硬件50年发展史》这一 告中,我们以人机交互技术为重要节点去回看了硬件发展历史,在计算机技术出现之后,人与硬件/机器的关系发生变化,即人与硬件开始有交互,尤其是有了人工智能技术加持之后,我们进入了硬件的智能化时代。过去50年,我们历经了多种交互硬件的迭代,依次为游戏主机→个人电脑→智能手机,大致是遵循垂直计算硬件→通用计算硬件→小型化硬件这样的发展路径,相应的计算平台也在迭代。
上一个改变世界的计算平台的载体是智能手机。但手机这一概念很早就有,最早是作为通信工具而存在,以BB机、大哥大、小灵通等产品形态出现,然而并不是所谓的计算产品,其主要的功能是通讯,也是手机最本质的用途。直到2010年左右智能手机的普及之后,人们对于手机的认知从功能机转变为智能交互硬件。
智能手机发展至今经过十余年的时间,已经深刻改变了人们的生活,基于智能手机这一计算平台上的应用、内容产品越来越丰富。对很多人而言,用一部智能手机就能处理好生活的方方面面,可以进行通讯、 交、阅读、办公、娱乐、打车、购物,所以智能手机可以是人们的电话、 纸、电脑、游戏机、电视、随身听、出租车、超市、钱包等。随着集成的功能越来越多,智能手机凭一己之力淘汰了其他众多技术产品或蚕食了其他产品的市场份额,如MP3播放器、傻瓜数码相机、GPS、掌上游戏系统、闹钟、电子阅读器、录音机、字典、 络会议设备等。
目前智能手机从一个简单的通信工具,转变为一个功能不断更新的包罗万象的平台。在智能手机的功能已经如此丰富的当下,很多人提出“有了功能如此强大的手机,为什么我们还需要发展VR?”疑问。
针对这一问题,我们从以下几个角度去探讨。
从硬件本身发展的角度来看:手机性能提升的边际效用递减。全球智能手机市场已经从蓝海转化为红海,智能手机的人口红利不复存在,而手机厂商竞争格局却在不断加剧,具体体现为:一方面,手机性能与质量不断提升,拉长了人们的换机周期;另一方面,智能手机的计算硬件的更新迭代速度放缓,已难以做出巨大的提升,所能带来的特别惊艳的迭代并不多,为保持竞争力,厂商不得不在续航、摄像头、屏幕上下功夫。
从产品形态与功能来看:未来“智能”硬件的形态是多样化的。我们需明白“手机”与“智能手机”的区别,手机最本质或最早期的用途是电话通讯,两者之间最核心的区别在于“智能”。既然“智能手机”的内核在于“智能”,那未来智能硬件长什么样子并不重要,手机依然可能会存在,如插了电话卡的手表/平板也可以作为稳定的通讯工具,就像智能手机并没让个人电脑消失一样,个人电脑仍然承载着在特定环境下的功能作用。我们认为未来的智能交互硬件会越来越多,本质上是AI的内核,只是根据场景的需求呈现为不同的形态或物理装置。
从体验与交互的角度来看:新硬件正在定义新一轮的“交互”。过去50年,智能硬件从只能运行大白方块的游戏机发展到今天的智能手机,体验与交互不断升级。首先,在体验上,智能手机作为一个计算平台,很好地为各类软件、内容应用提供了应用环境,而这在VR/AR硬件上却表现着更大的发展潜力,如 交的临场感、游戏的逼真感或是全新的感官体验(视听触味嗅),更强调沉浸式;其次,在交互上,从电脑到智能手机的发展,人机交互方式相应的从键盘鼠标等外接设备升级到触控,以iPhone为代表的智能手机定义了过去十余年的交互方式,再到现在已出现了语音、手势等交互方式,交互越来越直接与自然。我们认为,以VR/AR、智能机器人等为代表的新硬件,核心是“智能”,定义的是“新一轮交互”。
综上所述,在用户增长、计算性能、应用生态、交互方式等方面上,智能手机的发展已遇到了瓶颈。现在亟待新的计算平台以及基于其上的新硬件来重构生产生活方式,除了VR/AR这类可穿戴的设备,汽车机器人、人形机器人等独立移动设备也陆续出现,亦有望催生出下一代计算平台。回到刚开始提出的问题“有了功能如此强大的手机,为什么我们还需要发展VR ?”针对这个问题,或许换一个问法更为合适:“继智能手机之后的下一代计算平台是什么?”
我们强调,基于未来计算平台的新硬件,将与智能手机及之前的硬件有本质性的区别:
1) 软硬一体将大势所趋。软硬一体有助于实现算法调优,软硬件一体化显然已经成为当下智能科技产品的核心命脉。如智能电动车之所以被冠以“智能”二字,便是其以软硬件一体化为基础的车机系统,这也是当下智能汽车区别于传统汽车的关键;再如VR/AR并不完全是硬件,而是“硬件+软件”的概念,VR/AR技术可以应用于头戴设备上,也可以应用于智能手机上(如AR游戏《Pokémon》)。
2) AI的重要性更加凸显。硬件在我们看来,仅仅是外在的表现形式,内核仍然是服务于人的交互的AI,AI的智能化升级最大的影响就体现在硬件的智慧程度上。
3) 入局的玩家将前所未有的广泛。既然未来智能硬件的本质是AI,什么样的长相并不重要,不一定是VR/AR头显、机器人的形态,也有可能是智能音箱、智能台灯、智能宠物等垂类硬件形态,未来的智能交互硬件会越来越多,目前新计算平台的入局方可以是六大框架中的每一个企业,进而重塑硬件产业链的过往惯性路径,难以再直接参考智能手机时代的经验。
总结来看,从游戏主机到个人电脑再到智能手机,我们已经见证了多次计算平台的迭代,不管下一代计算平台是什么,我们本篇 告先立足于当下的VR,去探寻相关技术的迭代路径。首先,需明确VR技术与VR设备是完全不同的概念,VR整个产业链包括硬件、软件、应用及服务,Virtual Reality(虚拟现实技)技术囊括计算机、电子信息、仿真技术于一体,其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感;VR设备只是产业链中的其中一环;其次,VR是对过去50年一系列二维设备的全部生态的迭代,经过近十年的发展,相关技术、产品形态及内容应用已经呈现一定的火候。最后,未来新计算平台的入口不局限于VR这种单一的产品形态,预计会独立发展出其他硬件体系,带来更多元的交互与应用体验。
参考PC互联 、移动互联 的发展经验,PC/智能手机从最开始出现到普及耗费了约20-30年的时间。VR头戴设备预计也将遵循PC/智能手机时代的发展规律,2015-2021年,VR硬件形态从VR盒子到PC VR/游戏主机VR再到移动VR一体机的进化,产品形态越来越便携化、小型化。我们认为未来VR普及的关键因素在于:用户体验的改善、技术壁垒的攻克、内容与应用生态的全面起步,三者是相辅相成的关系。
VR的近眼显示设计可提供逼真的视觉体验,同时也更强调可用性与舒适性。VR普及的关键之一是用户体验的改善,相较于智能手机,VR硬件体验的舒适度尤为重要,原因在于VR头显是带在头上的设备,且离眼睛非常近,更强调沉浸感,同时也更容易带来眩晕感。因此,从VR问世的第一天起,体验问题一直备受关注,晕动症是VR发展过程中的主要痛点之一。
而构成VR用户体验的要素大体可归纳为以下几个方面,即硬件、软件、内容及其他个体等要素。同时,构成VR用户体验的各要素也会影响用户产生眩晕的几率及眩晕程度。
(1)什么是晕动症?
每个人在不同状态下都可能有过眩晕体验,比如常见的晕车与晕船,由于乘客关于身体的视觉输入让其以为他们似乎没有移动,但前庭系统的感知信 却表示他们正在移动,这时乘客就会产生晕眩与恶心的症状。从生理层面来讲,晕动症是我们视觉所见与前庭感觉系统体验不一致所导致的结果,其基本表现为头晕、恶心、想吐、冒虚汗、体温上升、耳鸣、打瞌睡等表象。
简单来说,晕动症的产生是由于预期运动与实际经历的运动在感官上不一致,这背后是人的生理防御机制在起作用,类似的防御机制体现在很多方面,如人酒喝多之后的呕吐、人多度运动后会产生乳酸堆积等。
(2)VR晕动症
VR晕动症产生的原理与晕车晕船类似。VR晕动症是特指用户在虚拟空间中,即戴上VR头显设备进行空间位移行为时,大脑因为视觉信 与平衡感知信 冲突而导致的晕眩甚至呕吐的症状。
VR晕动症根据其具体引发原因又可以分为视觉晕动症与模拟晕动症。模拟晕动症本质是由于用户视觉上观察到的状态与身体的真实状态之间的不一致引发的。视觉晕动症就是单纯的由头显的视觉系统引起的眩晕感,跟用户身体自身无关。主要是由于头显本身的刷新率、闪烁、陀螺仪等引起的高延迟问题导致的眩晕感。
综合而言,造成VR设备用户体验差、引起晕动症的原因,包括硬件本身、软件系统、内容设计以及其他个体等因素。从技术的角度来看,VR头显设备本身所带来的眩晕问题,即视觉晕动症会随着软硬技术的迭代而逐步得到解决。
(3)VR晕动症与MTP
虚拟现实是融合多种前沿综合科技的集合体,包括实时三维计算机图像图形技术,宽幅视野立体显示技术,用户头、眼、身、手、心等追踪识别技术,以及触觉力觉反馈、立体声效、空间声效、 络传输、数据分析、语音输入输出、空间识别等技术。
通常来说,利用计算机进行三维建模渲染去建立图形图像模拟并不难。若拥有足够准确的参照资料,在充足的时间条件下,就可以利用三维建模渲染技术生成在不同光照条件下针对各种物体模拟的精确图像。但由于虚拟现实技术提供的图像是基于实时渲染的,对于需要快速变换图像内容、快速变换视角内容的重建来说问题就变得相当困难。例如驾驶和飞行模拟等内容,图像的实时更新就相当重要。
影响头戴式VR显示设备沉浸感的其中一个非常重要的因素是MTP。对于头戴式VR头显系统来说,在VR画面经过用户输入、传感器识别、信 传递、计算机CPU&GPU运算、显卡绘制、屏幕响应,之后最终输出到VR头显供用户可以看到,实现以上多个环节所需的时间叫做Motion To Photons Latency,指从用户运动开始到相应画面显示到屏幕上所花的时间,这个时间越短,设备的沉浸感越好,时间越长,用户的眩晕感越强烈。MTP(动显延迟)是VR领域中非常重要的一个概念。
MTP低于20毫秒能大幅降低晕动症的发生可能。人类的感官系统在一定范围内能感知到视觉与听觉中相对较小的延迟,VR晕动症主要看MTP,MTP数值越大越容易引起眩晕。人类生物研究表明,人类头动与视野回传的延迟须低于20毫秒,否则将产生视觉拖影感从而导致强烈眩晕,极大程度上破坏VR沉浸感。其表象为用户已经做完了一个指令输入,但是没有同步取得输入结果,有一定延迟存在。而正常的人类感知行为,是当进行一个动作时,视觉反馈与动作输入的结果几乎是完全同步的。VR中的延迟会在极大程度上破坏沉浸感,带来前庭系统的不适,从而引起眩晕。因此,VR对MTP要求通常以不高于20毫秒为目标。
目前VR头戴式显示设备的软硬件方案中,MTP的主要由传感器延迟、计算延迟、传输延迟与屏幕显示延迟这四个方面组成。
?第一部分是传感器延迟,指用户与头部运动数据的采集,与追踪定位系统相关,位置跟踪器需要一定的时间来采集与处理这些数据,用时约1-2毫秒;
?第二部分是计算延迟,指主机计算出用户与头部运动姿态以及根据相应的数据渲染出对应的画面,与CPU、GPU的计算性能相关,用时约3-7毫秒;
?第三部分是刷新率/传输延迟,指GPU将渲染好的画面传输至显示系统的过程,用时约8-16毫秒;
?第四部分是屏幕显示延迟,指屏幕的响应时间,不同显示屏的差异较大。
低MTP依赖于高性能的主机(CPU&GPU)、高刷新率的显示屏,以及相关的软件算法优化。在MTP的组成中,其中与显示屏相关所带来的延迟占有很大的比重。显示屏延迟实际上包含两个部分:1)输入延迟,与刷新率相关,显示屏的刷新率决定了单位时间内人眼可以看到多少画面的变化,比如90hz,表明人眼每秒可以看到90帧变化的画面,更高刷新率可以让人眼在单位内时间看到更多的变化画面,相应地画面的变化间隔时间也就越短,最终的MTP就越小。2)屏幕响应时间,指像素收到输入信息时响应并改变颜色所用的时间。以Oculus Rift为例,Oculus Rift总延时为19.3毫秒,其中屏幕显示延迟13.3毫秒,延时占比达到69%。
2016年,VR行业的平均MTP约为40毫秒,依然会产生眩晕的问题;2018年之后,VR的MTP可以达到20毫秒以内,使得大部分人在体验VR时不会有眩晕感。MTP时延的降低,离不开VR设备厂商、芯片厂商、光学模组厂商、显示屏厂商等的合力推动。
(4)相较于手机/电脑,为什么VR更容易产生晕动症?
晕动症与延迟的问题不只是存在于VR中,也可能在手机、平板与电脑中产生,如3D眩晕症。3D眩晕症是一种在游玩3D游戏时产生恶心感的病症,也是由于人在视觉上观察到的状态与身体的真实状态不一致而产生的。
VR在开发的过程中与手机/电脑这些硬件最大的不同之处在于要尽可能的降低MTP。目前当用户在电脑上玩大屏游戏的时候,一般情况下延迟的存在并不对人的体验产生很大的影响,而VR虚拟环境中的MTP的重要性非常凸显,更容易引发晕动症,这主要源于手机/电脑与VR是基于完全不同的操作与显示逻辑。以电脑为例,电脑与VR的延迟的构成要素不同,电脑的延迟指从点击鼠标/键盘到显示器画面的显示时间,从硬件路径来看,依次是鼠标/键盘-主板-CPU-GPU渲染-显示器。其中,在输入这一环节存在非常大的差异,VR的输入端的关键性在于要先感知人到在空间中的定位变化,VR对输入的延迟性要求很高;而电脑的输入主要是通过鼠标/键盘来完成,延迟极低。同时,由于涉及到复杂的3D空间定位,VR中的3D画面的渲染难度也在加大,VR需要针对两只眼睛同时渲染2张图像,比常规的PC渲染量都要大得多。
总结来说,VR所显示的内容与用户所处的位置有非常强的相对关系,VR显示的前提是必须要先感知到人在空间中的定位变化,即用户改变位置的状态被CPU计算并提交至GPU,GPU再将显示区域渲染出来,最后投送至显示屏幕上,这一系列的过程涉及到复杂的空间定位,若处理不好,就会有较大的延迟存在。而手机的操作逻辑是类似PC的窗体逻辑(触屏去下达指令),手机与电脑的输入延迟主要是由触屏或外设所带来的。
除了以上与MTP相关的软硬件技术之外,还有其他因素都能够造成VR的眩晕感,如内容设计、个体生理差异、外部环境变化等。
2.2. 基于沉浸感的需求,VR技术迭代的目标
VR的英文全称为Virtual Reality(虚拟现实),根据其定义,VR技术囊括计算机、电子信息、仿真技术,其基本实现方式是以计算机技术为主,利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果,借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界,从而使处于虚拟世界中的人产生一种身临其境的感觉。总结来说,VR整体发展迭代的重点在于沉浸感,以期达成的目标:接近人眼的视觉、接近自然的交互。
就目前的VR头显来看,主要通过视觉与交互两方面来达到沉浸感的目的:
1) 一是视觉方面,通过放大的显示屏技术,能够在用户眼前显示出一个放大的局部虚拟景象,目前显示视场角在介于90-110度,在这个显示范围内,主要通过三维引擎技术,实时渲染出3D图像。
2) 二是交互方面,通过和头部的位姿传感采集的数据配合,让三维引擎响应头部转动方向,以很高的频率实时改变显示的三维头像,用户头部转动的角度刚好与三维引擎模拟的三维画面视觉一致,让用户觉得与虚拟环境发生了交互。
2.2.1. 接近人眼的视觉
接近人眼的视觉体验,具体拆解为显示与光学两部分。
? 显示部分与像素密度即分辨率相关,涉及到PPI(像素每英寸)、PPD(像素每度);
? 光学部分与视场角相关,涉及到VFOV(垂直视场角)、HFOV(水平视场角)。
其中,PPI与PPD均是描述分辨率的单位,PPI是像素每英寸,是图像分辨率,指的是图像中存储的信息量。但这个概念在VR中不太准确,因为那只是物理屏幕上的像素数,而不是带上VR头显之后人在空间的一个区域内所感受到的像素数,所以VR中有个新的概念叫PPD(Pixels Per Degree),像素每度,为角分辨率,指视场角中的平均每1度夹角内填充的像素点的数量。
2.2.1.1. 分辨率
分辨率,又称为屏幕解析度或解像度,决定了位图图像细节的精细程度。通常情况下,图像的分辨率越高,所包含的像素就越多,图像就越清晰,印刷的质量也就越好。
分辨率可以具体分为显示分辨率与图像分辨率两大类。
屏幕分辨率(显示分辨率)是指显示器所能显示的像素有多少,一般是以(水平像素数×垂直像素数)表示。由于屏幕上的点、线、面都是由像素组成的,显示器可显示的像素越多,画面就越精细,同样的屏幕区域内能显示的信息也越多,所以分辨率是个非常重要的指标。显示分辨率一定的情况下,显示屏越小图像越清晰,反之,显示屏大小固定时,显示分辨率越高图像越清晰。
图像分辨率是指在计算机中保存与显示一幅数字图像所具有的分辨率,与图像的像素有直接的关系。图像分辨率表示的是图片在长和宽上占的点数的单位。例如,一张分辨率为640×480像素的图片,其分辨率达到了307200像素,也就是常说的30万像素;而一张分辨率为1600×1200的图片,其像素约200万。图像分辨率决定图像的质量。对于同样尺寸的一幅图,如果图像分辨率越高,则组成该图的图像像素数目越多,像素点也越小,图像越清晰、逼真。
而对于VR头显来说,头显屏幕分辨率最容易被人所误解,源于VR头显屏幕与普通屏幕有一个关键区别,即用户不是通过肉眼直接看屏幕,而是通过近眼显示与透镜来观看一个尺寸被放大数倍的屏。针对这样的VR视觉的分辨率就产生了显示上的区别。
2016年初,三大VR头显厂商(PSVR、Oculus Rift、HTV vive)普遍使用双眼 2K的分辨率,即单眼1080*1200,双眼2160*1200像素,他们定义了2016年度时间点的硬件标准,但在2K的分辨率下,VR头显显示有比较明显的纱窗感。2019年,主流VR头显的分辨率达到双眼4K的水平,可以提供800多万像素。
2016-2019年,对于VR头显来说,分辨率的提升是最大的进步之一,从2K提升至4K的分辨率。到2019年之后,在4K屏的加持下,用户能够感受到的纱窗感大幅减弱,当用户观看反光细节、远处的目标物时,能够明显感觉到分辨率的提升。
一般来说,1400P显示分辨率的头显会比1080P更清晰。但在VR中的逻辑不一定这样,4K分辨率的VR头显内的图像并不像电脑4K显示器那样清晰,仍有一定的纱窗效应出现,VR头显中的图像细节与消费级1080P显示器差不多。另外,同样分辨率、不同VR头显的成像质量可以差异很大,一个可能很清晰,另一个可能拥有更大的视野。
那么当VR的分辨率达到什么程度才能够达到人眼“视 膜”效果?2015年,AMD公司已经开始为开发者、生产商研发了LiquidVR SDK,同时他们还做了相关虚拟现实研究:全沉浸式体验需要什么?根据AMD的定义,全沉浸式体验是指20毫秒以下的时延,120度的水平视场角,135度的垂直视场角,以及单目8K、双目16K的综合分辨率。
理论上来说,人类视 膜中央凹能达到60个PPD(角分辨率)的可视度,在水平120度与垂直135度的视角下,根据测算,要达到 “视 膜”效果,就需要8100(135*60)x7200(120*60)分辨率,双眼就需要16200(8100*2)x7200分辨率,约1.2亿的像素数,也即接近16K分辨率的水平。
提高VR设备的像素密度,并不是单纯地把高密度显示面板造出来然后放进头显这么简单。从2K到4K、4K到8K的升级,每次升级表面上看只是数字翻了一倍,然而像素数量却是呈平方级提升的,4K是2K的4倍,8K是2K的16倍。同时也要考虑硬件的计算性能,也要相应地提升数倍,以及数据传输等因素。
然而16K分辨率也只是从理论上推出的极限数值,实际屏幕的分辨率只要达到12K左右就基本没有晶格感了。
总体来说,目前市场上主流的VR头显分辨率基本上为4K、8K,低于4K会感觉不清晰,从而带来眩晕感,且影响程度较为明显。
2.2.1.2. PPD
在传统硬件体系中,除了用每厘米像素数(PPC,Pixel Per Centimeter)来衡量图像的分辨率,也会用每英寸的像素数(PPI,Pixel Per Inch)来衡量。对于手机来说,苹果将视 膜分辨率的屏定义为300 PPI,也就是每英寸有300个像素数时,用户在使用手机时感觉不到像素颗粒。
尽管对目前的手机来说,PPI数值基本都已达到视 膜屏的程度来了。但是在VR硬件,用PPI来衡量屏幕清晰度其实不太准确,且VR体验对PPI的要求更高。因为VR头显是透过光学系统看放大后的虚拟图像,而不是直接看屏幕,单用PPI是无法衡量头显清晰度的。因此,我们需要引入一个更加跨平台、与使用场景无关的通用衡量标准——角分辨率 (PPD,Pixel Per Degree),指每一度视场角的像素数。
对于头戴显示类产品,PPD 数值越大,意味着人眼视野中单位区域的画面内填充的像素点的数量越多,视觉感受越清晰细腻。PPD 提高一倍,则代表着同一视野区域内填充的像素点数量增加为原来的4倍。
PPD的计算公式为,PPD=光学覆盖最大像素数/视场角度数。就目前市面上的VR头显设备来说,知道分辨率与视场角度数就能计算出PPD的数值。目前市场主流VR头显的双眼分辨率为4K,其PPD计算如下。
?Oculus Quest 2:单眼分辨率1832×1920像素数,最大视场角为97度,单眼PPD约为19.79。
?Pico Neo 3:单眼分辨率1832×1920像素数,最大视场角为98度,单眼PPD约为19.59。
?Pimax Vision 8KX:单眼分辨率3840×2160像素数,最大视场角为159度,单眼PPD约为24.15。
经过计算,我们发现目前市场上主流VR头显设备的PPD约为20-25。而人眼的极限PPD为60,即60PPD的显示分辨率是理想的视 膜分辨率,但是在30PPD左右时,人眼基本上就感受不到像素颗粒,视频看起来也较为清晰。因此,目前行业水平的20多PPD,离30PPD、甚至是60PPD,还有较大的提升空间。
2.2.1.3. 视场角
视场角(FOV,Field of View),即可见区域或可见角度,代表了人眼所能看到的空间区域范围。在计算机相关显示系统中,视场角就是显示器边缘与观察点(眼睛)连线的夹角。如图所示,设定O为用户观察点(眼睛),AOB角为水平视场角,BOC为垂直视场角。
正常来说,人眼视场角大致为30度到100度,双眼的裸眼水平视场角略大于200度,垂直视场角约130度。其中又可分为几个视域:
1) 分辨视域,约15度,指映在人眼视 膜上的图像,只有中心部分能分辨清楚;
2) 有效视域,十几度到30度,人还不需要转动头部,也能够立刻辨别清楚在该区域内物体及其状态,但分辨能力已有所下降;
3) 诱导视野,超过30度的周边部分,俗称眼睛的余光,人只能感觉到物体的存在或有动作出现,需转动头颈才能看清楚。这一角度为30度到100度,不同人之间的差异较大。
视场角的大小影响到VR的沉浸感与清晰度。视场角在VR中的作用主要是与沉浸感密切相关,一般来说,视场角越大、越不容易产生眩晕感,沉浸感也就会越强;视场角小意味着看到的影像小,对分辨率的要求低。人眼正常的视场角为120度左右,现实应用中,较小的视场角如60度,就会产生黑边效应。因此,对于VR设备而言,其水平视场角至少要达到90度左右,才能够保证用户获得较高的沉浸感。目前市场上主流VR设备的视场角范围在90度-110度之间,如Oculus Quest 2的水平视场角为97度,Pico Neo 3的水平视场角为98度,能支持大多数的VR游戏与应用场景,Pimax Vision 8KX的水平视场角甚至做到了159度。
VR中的视场角受多因素影响,并非越大越好,需搭配合适的屏幕。增大视场角是目前XR光学领域依然需要攻克的难题之一,但视场角并非越大越好,视场角只是影响VR沉浸感的因素之一,需综合考虑诸如分辨率、对比度、透光率、失真、尺寸、重量、成本等因素,此外更大的视场角也将对设备计算力、功耗等提出更高要求。
若不考虑其他因素,以屏幕大小为例,合适的视场角要搭配合适尺寸的屏幕才能展现出最佳的显示效果,屏幕越大,相对应的视场角也是越大越好;但对于小屏幕来说,大的视场角反而会破坏沉浸感。若一味的将视场角做大,不仅会造成视角浪费,在屏幕PPD还不够高的情况下,还会带来更强烈的颗粒感。
我们认为,VR视场角并非越大越好,而是要视具体的使用环境,从屏幕尺寸、分辨率等方面进行综合考量。以当前的软硬件技术水平来看,100度的视场角已基本能保证舒适的用户体验与沉浸感。
2.2.2. 接近自然的交互
每一次的技术革新及产品升级,都会带来重大的人机交互方式变化。在 PC 时代与移动互联 时代,人们分别通过键盘鼠标与触摸操作与数字信息进行互动。这些都是建立在二维世界的2D界面交互,并不适用于VR中的3D虚拟世界,2D交互远远不足以满足沉浸感的需求。这就要求VR中的交互方式需被重构,一方面是交互方式变得更加多样化,另一方面是交互体验更加自然。
不同于智能手机,VR产品的交互场景设计是产品的核心壁垒之一。从感官体验的角度,人的视觉、听觉、触觉、嗅觉、味觉可以直接关系到VR的沉浸感,其中立体视觉与立体音效已经可以实现,触觉、嗅觉与味觉的交互反馈技术也在加快发展。另外,在目前的VR交互体系之中,交互方式方式包括语音识别、手势识别、面部追踪、眼动追踪等,未来还可能加入脑波控制、意念识别等。
2.2.2.1. 头手6DoF
人眼通过VR设备所看到的画面是通过透镜将显示器上的画面折射到视 膜,而人眼所看到的画面会随着身体与头部的运动而不断变化,陀螺仪的作用就是实时监测到头部的运动,通过处理器来计算与生成显示器上显示的画面。超强沉浸感的实现,除了全方位虚拟景象的展现,实时的交互也很重要。根据可交互程度的不同,VR设备常提到3DoF与6DoF的概念。DoF(Degree of Freedom),即自由度。
3DoF是指当头部处于一个固定位置时,VR设备中的陀螺仪可以检测到头部向不同方向转动的角度,并呈现全景画面中相对应的部分,从而使用户在视觉上拥有被场景包裹的感受,实现基础的视觉沉浸。
6DoF就是6自由度,用户除了具备在X、Y、Z 三轴上旋转的能力之外,也具备在X、Y、Z三轴上移动的能力。即在6DOF的VR体验中,用户不仅可以体验到头部的转动带来的视野角度变化外,还能够体验到由于身体移动带来的上下前后左右位移的变化。
VR设备从3DoF到6DoF的交互升级,也带来了应用场景的拓展与体验的升级。一般来说,3DoF的VR设备对于不需要完全沉浸式的应用来说已经够用,比如看VR电影,而要达到玩游戏时与场景进行交互,则需要能够支持6DoF的VR设备,增加位置追踪功能可以带来更多的参与体验,比如用户可以在游戏中进行躲避障碍、跳跃等互动动作。
在具体的交互方式上,3DoF/6DoF的头部交互主要是通过射线投射(Ray casting)的方式来进行操作,其原理是从标定的视野中心向正前方射出一束射线,射线与空间中的界面产生交集。常规的交互设计中会将双目视线中央的一条线作为视中心,这样一来视中心的射线就会与界面产生交点,从而引导用户的视线落焦在相应的信息上,也就是常说的 Cursor(光标)。
目前6DoF VR一体机已成为主流产品。2019年之前的VR产品形态大多以PC VR出现,且以3DoF交互为主。2019年之后,6DoF VR一体机出现,HTC与Oculus分别发布了旗下的Vive Focus Plus、Oculus Quest产品,支持头手6DoF自由度追踪,并配备了升级版的手柄。自6DoF VR一体机开始,VR头显才真正实现了无线、移动、便携、全沉浸自由交互等特点。相比于电脑/智能手机的指尖交互,带来了更多的可扩展性与差异性。目前市场上主流VR设备大多都属于6DoF VR一体机的类型,如Oculus Quest 2、Pico Neo 3、奇遇VR等。
2.2.2.2. 面部追踪、眼球追踪
人的身体有视觉、听觉、嗅觉、味觉、触觉五大感知系统,我们所接收的80%的信息都来自于眼睛,且人的头部占据了四大感官系统。为追求更自然的交互,继6DoF之后,面部追踪、眼球追踪等是众多VR厂商都在极力研发与使用的技术。面部追踪与眼球追踪的概念由来已久,但在现阶段将多项追踪技术集成到一个VR头显中,还存在一定的难点,需要更多的组件,也意味着额外的成本,依赖软硬件的共同进步。
眼球追踪又称注视点追踪,是利用传感器捕获、提取眼球特征信息,测量眼睛的运动情况,估计视线方向或眼睛注视点位置的技术。眼动追踪被认为可以实现新的输入方式,且可以提供注视点渲染。相较于面部追踪,眼球追踪技术还远未成熟,比如人与人之间的生物学差异大,不同国家不同人群的瞳距、散光等不同,很难全面覆盖人群。
面部与眼球追踪技术除了能够带来更自然的交互体验之外,还能带来更广阔的应用场景,甚至可以优化屏幕显示效果。
?更自然的交互:现实生活中,人们优先以眼球转动来锁定注视目标,眼控交互可以让VR更人性。比如用神经处理技术来捕捉微笑、皱眉等人类面部表情,并基于这些表情可以去触发虚拟现实环境下的特定动作;
?更广阔的应用场景:捕捉用户快乐、愤怒、惊讶等常见面部表情以及眼神的变化,用于头像功能,使得用户在VR 交与办公场景中的3D化身更加真实;
?优化屏幕显示效果:人的瞳距不同、佩戴方式不同会影响用户体验,运用眼球追踪技术来测量玩家的瞳距以帮助最大限度得发挥VR头显内的屏幕3D效果;另外,由于眼球追踪技术可以获取人眼的真实注视点,通过注视点渲染技术,使得VR显示屏只专注于提升渲染玩家眼前的画面细节,以节省硬件算力。
各大硬件厂商在面部追踪、眼球追踪等技术领域早有布局,方案不尽相同。
?HTC:推出了面部追踪器的外置配件,售价1099元,Vive面部追踪器可以精确捕捉面部表情与嘴部动态,实时解读使用者的意图与情感,且其具备超低的延迟率,使得嘴部动态和声音可以同步。新VR产品HTC VIVE Flow有眼动追踪版本可选。
?Meta:正在研制的高端VR头显Project Cambria有望加入面部追踪与眼球追踪的功能。Cambria拥有传感器来记录面部动作,同时面部追踪也会与眼球追踪共同用于头像功能,是否用于输入与注视点渲染还不确定。
?Pico:已获得“基于虚拟现实的眼球追踪方法、系统”的相关专利。Pico Neo 3 Pro设备有眼动追踪版本可选。
2.3. 为降低VR眩晕感,未来硬件、软件、内容的精进路径
2.3.1. 硬件技术迭代:降低四大MTP延迟
2.3.1.1. 传感器延迟
追踪定位方案的不同影响MTP 。VR显示系统,技术路径是经典的“输入——计算平台——输出”,即感知并认知世界、决策、执行这三个环节。按照技术的实现路径,在MTP的构成之中,输入端承载着重要的作用,从深度映射到头部追踪,再到注视点追踪与手势传感器等一系列的传感器对于VR体验而言至关重要。因为有实时渲染的需求存在,开发低延迟传感器至关重要。
如果人在VR中发生了移动、转动,而画面没有及时得到相应的变化,那么人就会感到不自然,所以需要对人的动作与状态进行定位追踪(Tracking)。人移动的方向有三组,前后左右上下,头部的转动方向也是有三组,左看右看,上看下看,还有左右歪着头看,所以一共是有6个自由度的运动。而普通的手机追踪系统是基于3DOF、陀螺仪,手机上的应用与游戏只能感知到用户在转动,但是不能确定用户具体在什么样3D空间中进行转动,即只能感知到用户在平面内做运动。
不同的空间定位技术对MTP会带来影响,目前VR主流空间定位方案有两种:
?Outside-in tracking(由外而内的定位):也叫灯塔追踪,需要事先在环境中布置定位器,一般两个以上,实现从外到内的位置计算。早期如HTV VIVE pro、Oculus Rift、Varjo VR等均采用该类定位系统。
?Inside-out tracking(由内而外的定位):不需要额外布置空间定位设备,借助VR头显本身的摄像头与传感器进行环境的感知与位置计算。如Oculus Quest 2、HTC VIVE Cosmos、HTC VIVE Focus、Pico Neo等VR设备,以及Hololens1/2、Nreal等基于视觉SLAM算法的AR/MR设备,均采用该类定位系统。
(1)Outside-in外向内追踪技术
根据定位信息采集的方式,由外向内的定位方式又可以分为被动式定位与主动式定位。其中,被动式定位由事先放置的定位点收集信息进行反馈,主动式定位由头盔主动收集信息进行反馈。相较于被动式定位,主动式定位属于第二代定位技术,便利性更高。典型案例中,HTC VIVE采用的Lighthouse以及Oculus Rift采用的外置光学摄像头属于主动式定位。
HTC Vive -Lighthouse定位技术:采用红外激光定位,基本原理是在空间对角线上安装两个配套的定位“灯塔”,分别在水平与垂直方向轮流对空间发射激光扫描定位空间,再通过自身头显与手柄上的接收器接收光束之后,计算两束光线到达定位物体的角度差,从而计算出头显/手柄的空间坐标。
Oculus Rift 主动式红外光学定位技术:有别于HTC Vive的Lighthouse定位技术,Rift头显与手柄上配备了可以发出红外光的红外灯(为标记点),利用配套的摄像机去捕捉头显与手柄上的红外灯,过滤掉头显及手柄周围环境的可见光信 后,随后再利用程序计算得到头显/手柄的空间坐标。
(2)Inside-out内向外追踪技术
Inside-out是一种光学跟踪系统,基于计算机视觉技术(CV,Computer Vision),其原理是以三角定位算法为基础,基于环境中设备自身的摄像头与传感器进行周边环境的实时动态感知,并经过视觉算法(SLAM算法)计算出摄像头的空间位置数据,从而实现对目标的位置跟踪。
在VR设备中,主要是利用头显自身的摄像头或视觉传感器,让设备自己检测外部环境变化,并经过视觉算法计算出VR 头显的空间位置。
而根据光源发射装置(摄像头)数量,可分为多目视觉定位(如Oculus Quest)、单目视觉定位(如微软系列VR头盔)。对于多目视觉定位来说,因为多目传感器自身角度关系,既可以进行静态的位置估计,也可以进行动态的位置估计。单目视觉定位则只能在动态环境中获取不同时刻的目标图像,再根据坐标的变换进行位置估算。当前主流的VR设备大多为多目视觉定位。
总结来看,Outside-in与Inside-out定位技术在VR/AR领域均有较为广泛应用,两者各有优劣势。Outside-in定位技术的主要优点在于计算精度高、延迟低,缺点在于成本高昂(需配备众多传感器及提前进行部署环境)、活动空间范围受限等;而Inside-out定位技术的主要优点在于成本较低、无空间限制,但缺点在于目前的精确度度略低且有延迟、对算力要求较高。
Oculus旗下的Quest版本的头显均采用Inside-out定位技术,但第一代产品的体验仍不够好,随着算法的优化,真正带动体验跃升的是Quest 2版本,进而对行业整体的提振很大。Pico旗下新一代Neo系列头显亦采用了Inside-out定位技术,追踪摄像头数量从两个变成了四个,与Quest一样分布在头显的四角边缘位置。2021年1月,爱奇艺奇遇VR召开发布会,正式推出国内首个CV头手6DoF VR交互技术,以及定位为“发烧级游戏大作”的国内首款CV头手6DoF VR一体机“奇遇3”。
我们认为,基于CV技术的Inside-out定位技术未来将成为主流方式,且具备非常大的想象空间。目前市场上主流的VR头显基本上都采用了Inside-out定位技术,从未来虚拟现实发展的趋势来看,更高的沉浸感、更自然的交互、更逼真的场景体验都对虚拟现实定位技术提出了更高的要求,Inside-out空间定位技术预计将成为未来主流方式。另外,由于CV技术是算法依赖的,其优点是可以与AI深度融合,能够不断的提升,因此随着算法的优化,相关技术成为众多行业应用底层技术,如在自动驾驶、智能机器人、无人机等领域的应用已落地,未来前景广阔。
2.3.1.2. 计算延迟
根据CSDN平台用户“限量发行”的观点,Android系统采用一种称为Surface的UI架构为应用程序提供用户界面。在Android应用程序中,每一个Activity组件都关联有一个或者若干个窗口,每一个窗口都对应有一个Surface。有了这个Surface之后,应用程序就可以在上面渲染窗口的UI。最终这些已经绘制好了的Surface都会被统一提交给Surface管理服务SurfaceFlinger进行合成,最后显示在屏幕上面。无论是应用程序,还是SurfaceFlinger,都可以利用GPU的算力来进行UI渲染,以便获得更流畅的UI。在Android应用程序UI架构中,还有一个重要的服务WindowManagerService,它负责统一管理协调系统中的所有窗口,例如管理窗口的大小、位置、打开与关闭等。
在传统的智能手机UI架构上,用户与手机交互的过程中,手机屏幕最终所显示的信息是一层层刷上来的。这就带来了延迟的问题,但手机的操作延迟对用户的体验并影响不大。
UI用户界面,主要包含视觉(比如图像、文字、动画等可视化内容)以及交互(比如按钮点击、列表滑动、图片缩放等用户操作)。1973年第一台图形界面操作系统电脑Alto问世,UI开始走上历史舞台,此时的UI是黑白块与简单的图形。到2015年UI的发展到达一个顶峰,UI是伴随智能手机的崛起而发展壮大,随后开始缓慢发展。
智能手机与VR硬件架构运行逻辑有非常大的不同。当前智能手机上的UI,模式化太严重,很难区别一个产品与另外一个产品在界面表现上有多少特立独行的地方。UI属于非沉浸操作,用户很容易被打扰,被其他东西分散注意力。UI带来的主要是视觉体验,而VR带来的却是更多的感官体验,包括视觉、听觉、触觉等。
降低MTP延迟的要求,使得传统的智能手机UI架构已不适用,移动计算平台的性能很大程度上影响了移动VR设备的体验。2018年,在增强现实世界博览会(AWE)前举行的发布会上,高通推出XR专用平台Qualcomm骁龙XR1平台,XR1是向主流用户提供高品质XR体验、同时支持OEM厂商开发主流终端的下一代平台,支持3DoF、6DoF的头部追踪及控制器功能,捕捉延迟在20毫秒以内。
在开发引擎上,智能手机与VR硬件运行架构逻辑最大的不一样在于,手机是基于UI的架构,而VR是基于三维图形渲染的,也即以Unity与Unreal等游戏引擎为主,其中高通起到了非常关键的作用。
高通XR计算架构解决了底层计算架构的问题,促进了VR一体机的发展。高通XR计算架构的过程简单高效,绕过SurfaceFlinger,以最快的速度能够直接将画面渲染并传输至屏幕上,有效降低了MTP延迟。过去几年,高通公司一直在产业链的最上游,即算力领域,支持着VR/AR的发展,且深度布局 XR 生态。
? XR芯片:高通针对VR/AR设备打造了专用的芯片XR1、XR2,涵盖Oculus Quest、3Glasses、微软Hololens2、Nreal、爱奇艺VR等40余款VR/AR设备。同时高通还提供包括平台API在内的软件与技术套装以及关键组件选择、产品、硬件设计资料的参考设计,并在软件算法端加入眼球/手势追踪、场景理解等功能应用,为开发者提供了强大的性能支持。
? XR平台:高通推出骁龙Spaces XR开发者平台,该平台具有成熟的技术、开放的生态系统、并支持第三方平台拓展。围绕这一平台,高通还推出了“探路者计划”,旨在通过让AR创新者或企业提前获得平台技术、项目资助、联合营销与推广和硬件开发套件的支持,助力构建活跃的开发者 区。
2.3.1.3. 刷新率/传输延迟
传输延迟是指显卡传输图像到显示器的时间。VR头显对于头部运动的传输延迟与屏幕本身刷新率的过低会增加MTP延迟,进而导致VR晕动症的产生。
屏幕刷新率是指显示器每秒钟的显示信 刷新次数,单位是赫兹(Hz),取决于显示器。以计算机显示系统为例,是显卡将显示信 输出刷新的速度,如60Hz就是每秒钟内显卡向显示器输出60次信 。刷新率不仅仅包括绘制完全不同的内容,也包括对完全相同的帧画面的绘制。刷新率越高越好,图象就越稳定,图像显示就越自然清晰,对眼睛的影响也越小;而刷新频率越低,图像闪烁与抖动的就越厉害,眼睛疲劳得就越快。一般来说,当刷新率低于60Hz的时候,屏幕会有明显的抖动感与图像闪烁,而一般要到70Hz以上才能较好的眼睛体验。
由于VR的近眼显示的特性,如果VR头显的显示屏刷新率低于60Hz人眼会感到明显的闪烁,从而会引起眩晕。提高刷新率是提升VR体验的关键因素之一,刷新率越高VR延时越小,屏的闪烁感以及延时也会得到改善,体验也越好。因此目前行业的主流屏幕刷新率标准为90Hz,支持刷新率在75Hz~90Hz区间的VR设备为入门级标准指标;高于90Hz的VR设备为中阶VR产品。如Oculus Quest 2的刷新率为120Hz, Pico Neo 3的刷新率为90Hz。
原则上来说,屏幕刷新率的指标越高越好。但是受到相关行业发展的限制,显示屏的刷新率在短时间也很难提高到一个很高的程度。影响刷新率最主要的因素是显示器的带宽,同时刷新率也跟屏幕的分辨率相关。一般对于同一台显示器而言,假设将分辨率调至1024 x 768,刷新率最高能达到85Hz,调高至1280 x 1024,刷新率最高只能达到70Hz,调低至800 x 600,刷新率却能达到100Hz。因而,分辨率越高,在带宽不变的情况下,刷新率就越低,要想保持高刷新率,只有采用高的带宽。
2.3.1.4. 屏幕响应延迟
显示屏延迟实际上包含两个部分:1)输入延迟,又叫显示传输延迟,与刷新率相关,显示屏的刷新率决定了单位时间内人眼可以看到多少画面的变化;2)屏幕响应时间,指像素收到输入信息时响应并改变颜色所用的时间。
VR 显示系统的刷新率高低只会影响显示传输的时间。以 60Hz的刷新率为例,1秒刷新60帧,每一帧时间为T=1/60=16.7ms,即60Hz刷新率的输入延迟需要16.7ms,75Hz刷新率的输入延迟需要13.3ms。同时还要考虑显示器将图像显示出来的时间,即屏幕响应时间。屏幕响应时间是VR设备延时的最主要因素之一,所需时间占比较高。
降低屏幕显示延时的方法,一是提高刷新率,减少帧间延时;二是降低屏幕响应时间,这个主要与屏幕本身所使用的材质显示面板相关,所以盲目提高刷新率是没有效果的。目前市面上智能手机与笔记本电脑的屏幕材质主要以LCD、OLED为主,由于两者先天显示原理的不同,屏幕响应时间差异非常大。LCD显示器的发光原理主要依靠背光层,背光层发出白光,背光层上有一层有颜色的薄膜,透过薄膜之后就能显示出彩色,在背光层与颜色薄膜之间液晶层,调整红蓝绿的比例,所以传统的LCD显示器需要15-30ms不等的时间来响应;而OLED屏幕采用了有机发光材料,每个像素都可以发光,也就是可以自发光,不需要LCD屏幕那样的背光层、液晶层,也能点亮,因此OLED技术能够有效地减少显示屏延迟问题。
但LCD屏幕也有一定的优势,在VR头显中,LCD屏幕相比OLED的优点包括:成本更低;标准RGB、显示更细腻;可明显减轻OLED存在的纱窗效应等。故目前的VR产品硬件会综合考虑多种因素,在LCD、OLED或更好的屏幕上去做选择。
VR的显示屏幕方案迭代趋势正
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!