谷歌为VR头盔开发了一种廉价的人工智能辅助控制器跟踪

虽然目前在系留式VR耳机中可以使用位置跟踪传感器作为控制器，但6DOF控制器的跟踪是独立VR耳机的圣杯。正如Adobe的DimitriDiakopoulos发现并在RoadtoVR中指出的那样，谷歌提出了一种廉价的人工智能辅助方法，将6DOF控制器的跟踪功能添加到一个单独的耳机中——详细信息包含在最近的谷歌研究论文中。

【谷歌为VR头盔开发了一种廉价的人工智能辅助控制器跟踪】这项技术首先使用独立VR头戴设备中的两个相同的鱼眼镜头来跟踪用户手和手臂的位置。在软件方面，它依靠一个用手、臂和控制器位置训练的神经网络来估计用户知道拥有的真实世界控制器的未知位置。由547，000个立体图像对组成的数据集用于训练网络，该数据集由20个用户在不同照明下做13个动作编译而成。
“我们的关键观察是，用户的手和手臂为控制器在图像中的位置提供了一个很好的背景， ”谷歌研究人员写道。“尽管控制器本身可能被屏蔽了，但这是一条有力的线索。为了简化系统，我们使用相同的摄像头头戴式6自由度姿态跟踪移动HMDs作为输入。在我们的实验中，它们是一对立体单色鱼眼镜头相机。除了标准的基于IMU的控制器，我们不需要额外的标签或硬件。
目前，谷歌能够在知道手和手臂位置的情况下，以33.5毫米的平均误差率确定控制器的位置，误差仅为1.32英寸。目前，该系统在一个移动CPU内核上以30FPS的速度运行，不需要任何物体发光来正确跟踪其位置。但该公司认为，它可以优化系统，实现更快更准确的跟踪，并扩展到无控制器的手动跟踪。预计谷歌将在5月8日举行的I/O开发者大会上对此发表更多看法。

谷歌为VR头盔开发了一种廉价的人工智能辅助控制器跟踪

猜你喜欢