大朋VR E4如何实现《阿凡达》般零延迟、高精度的“心灵链接”？

时隔十三年，重回潘多拉。12月16日，《阿凡达：水之道》在内地同步北美地区上映，目前豆瓣评分8.2，比起初代的8.8分差了不少。原因也很好理解，作为以视觉特效、科幻未来感为主卖点的商业大片，十三年后很难让观众们再像当初一样发出响彻影院的惊呼。

例如男主本体与潘多拉身体链接所应用的“心灵链接”方式，彼时称得上天马行空，让人浮想联翩。可如今随着VR技术不断进步，戴上头显后的我们同样可以“链接”到虚拟时空。

当然，《阿凡达》中那种零延迟同步、超高精度操控的链接方式仍旧是VR的目标，但已经有一些勇敢的开拓者距离这个目标越来越近。

比如大朋VR最新推出的E4，就带来了0.1s高速响应、毫米级追踪精度、超低延迟以及高稳定性的现实版“心灵链接”——Hawkeye Vslam 4cam定位系统。

至关重要的“VR之舵”

在探讨大朋E4定位技术之前，需要明确的是另一个问题：定位技术，对于VR来说意味着什么？

如果说VR是一艘航行在虚拟时空的大船，那么定位技术就是它的“舵”。VR设备完全欺骗了眼睛提供了一个拟真世界，如果身体的视觉感知和动运感知不能及时匹配，除了会降低游玩体验，还引发头晕等症状。

因此，定位技术优秀与否，对VR产品的实际体验至关重要。

长久以来，VR定位方案主要分为两种：Outside-in和Inside-out。前者通过将传感器部署在与头盔或者人体无直接连接的周边环境中（即基站），实现大范围检测，一般用于支持多人互动应用场景。

而大朋E4则选择了便携性更佳、硬件成本更低、空间要求更宽松的Inside-out定位方案，无需架设定位基站，依靠VR头显自带的摄像头即可完成定位，去朋友家玩《半条命》终于不需要搬基站先累掉“半条命”了。

但舍弃了基站，采用Inside-out方案为玩家“减负”，实现优秀便携性的同时，想要达成同样的定位效果，对设备硬件、算法以及定位追踪方案也提出了更高的要求。为此，大朋VR做出了更多努力。

高精度背后的技术投入

首先是头显部分，基于定位精度、速度和成本等因素的考量，大朋VR E4采用了视觉（V）+惯性传感器（I），构成Vslam实现系统。大朋VR团队基于Intel Movidius高性能VPU进行开发设计工作，重新设计传感摄像头模块的同时，也带来了全新的头戴硬件布局。

大朋E4采用4路超广角追踪传感摄像头和更高精度的IMU惯导传感器，不仅在高速演算过程中实现了速度与精度的平衡、在快速移动场景中也可更好地实现快速重定位和闭环检测。此外大量边缘计算，分布式计算的应用，也降低了对主机平台的压力。

此外，大朋E4的整套Vslam系统在机器视觉定位识别方面也具有无可比拟的优势，高效的地图结构，可用于设备间的地图共享，环境鲁棒性好，可克服光线变化的影响。定位系统不受相机参数（增益和曝光）的影响，可建立稳定的空间几何关系，大大提升建图和定位的精度。

尤其是快速重定位和环境鲁棒性这两点，对于VR游戏的加持是巨大的。以VR热门游戏《Bonelab》为例，这款游戏强调物理交互，战斗中经常需要快速切换视角，在Hawkeye%20Vslam定位系统加持下，大朋VR%20E4在游戏过程不会出现“扭头即掉帧，晃动即失控”的情况，让游戏的乐趣不会因为设备追踪问题而受损。

至于环境鲁棒性，E4在高效AEC算法加持下，可以适应较为复杂的家庭光线情况，开灯关灯、晴天阴天，都不会让定位系统受限。

大朋VR团队在optitrack实验室环境（模拟用户真实使用场景）下测试头盔动态定位精度，以optitrack输出的6DoF数据为真值，计算头盔6DoF和optitrack真值之间的位移和角度偏差。最终测试结果达到了位移平均偏差0.0055m、角度平均偏差0.328141°的毫米级高精准度水平。

（optitrack实验室环境实测效果：黄色轨迹是头盔6DoF，白色轨迹是optitrack 6DoF）

而大朋E4 Hawkeye Vslam定位系统在降低延迟方面也表现突出，基于高帧率低延时的imu惯性导航加4个广角鱼眼相机实现的高精度定位跟踪，配合高精度的预测算法，可以实现接近于0ms的跟踪延时。

（蓝色轨迹为头盔6dof-x轴运动轨迹（vslam算法输出），绿色轨迹为头盔真实6dof-x轴运动轨迹；红色轨迹为头盔6dof-y轴运动轨迹（vslam算法输出），紫色轨迹为头盔真实6dof-y轴运动轨迹）

其次是手柄，大朋VR E4的 6DoF动作控制器，采用了红外光主动式光学定位追踪方案，以分布式计算方式与高精度的紧耦合融合算法实现手柄和头显的交互，完成手柄的6DoF高精度定位追踪。

手柄选型上更是采用了工业级IMU传感器，以及抗电磁干扰设计，让头手6DoF交互在一般游戏环境下都能达到0.1s高速响应识别、毫米级动态追踪误差、亚毫米级静态追踪和漂移误差的高精准度。

最显著的成效体现在类似《Beat Saber》这类对手柄定位精度要求较高的VR游戏上。想必不少玩家都体会过手柄挥出，但“光剑”没动或乱动的情况，让人烦躁不堪。

有了大朋E4，即使开启《Beat Saber》hard难度，也依然可以“指哪打哪”，让玩家真正感受到在虚拟现实世界的动静自如。

虚拟与现实的碰撞

“I see you.”这是《阿凡达1》当中的经典台词，男主在人类状态下看到女主，虚拟与现实在这一刻碰撞，所带来的感动难以言表。

大朋 E4优化升级的定位系统不仅带来了更优质的游戏体验，也是对VR定位方案、6DoF复杂场景应用的一次革新优化与案例打造，今后也将为大朋VR系列产品乃至同品类其他产品提供经验借鉴，让虚拟与现实无距离碰撞的那一天，提早到来。