您的位置: 主页 > 虎虎vr > 史上最稳?微软HoloLens中的SLAM技术大揭秘

史上最稳?微软HoloLens中的SLAM技术大揭秘

时间: 2017-07-07阅读:


    IMU包含有陀螺仪、环境感知摄像头和深度摄像头,区别就是,HoloLens有深度摄像头,这种摄像头和普通摄像头的不同就是能够获得拍摄对象的深度信息,也就让HoloLens获得了环境三维立体数据。如下图所示:



 从HoloLens中SLAM技术揭秘(上)的小测试里,我周围有什么(三维场景重建)离不开环境感知摄像头。HoloLens的定位不依赖深度摄像头,而对周围三维环境构建也不仅仅依赖深度摄像头。


  那么问题来了,环境感知摄像头是怎么知道HoloLens在空间中的位置呢?深度摄像头又是如何重建三维场景呢?这就涉及到SLAM的问题。


  SLAM作为一个三维感知的基础技术并么偶新鲜,SLAM从提出到现在已经三十多年,用于解决实现机器人的自主定位和导航。微软的SLAM项目早在2001年就创立了。



  今天我们就来谈谈HoloLens使用的技术,就是摄像机里的单目视觉和RGBD类。单目视觉,依托一个摄像头去完结SLAM。HoloLens有4个环境感知摄像头,仔细观察你就会发现,靠内侧的两个摄像头朝向前方,靠外侧的两个摄像头别离朝向左右两边。首要起作用的是靠内侧的摄像头,只要靠内侧的摄像头有一个不被遮挡,即便别的三个摄像头被遮挡,也不会影响HoloLens对空间方位的感知。


    根据网上流传的信息,可以肯定微软采用了基于深度识别的SLAM(实时定位与地图构建)技术。这里解释一下什么是SLAM,就是通过传感器获取环境的有限信息,比如视觉信息、深度信息、自身的加速度和角速度等来确定自己的相对或者绝对位置,并完成对于地图的构建。

    SLAM的准确度对于最后的显示效果非常重要,姿态确定就不是事儿。几十块的电容式陀螺仪或者几百块的MEMS抄几段代码就好,但怎么确定位置就是微软的功力了。当然深度摄像头这种事情微软常年吊打整个行业,Kinect快成行业标准了(帮助了多少论文发表)。想想我们用的激光雷达的价格。真是要哭了。


   相机位置追踪


 由于有深度摄像头,HoloLens并不需要靠环境感知摄像头去获得场景每个像素的深度值,只需要根据一些匹配上的关键特征点计算出摄像头相对场景位置即可。否则仅仅依靠环境感知摄像头计算场景所有深度信息,付出的代价确实相当大。


    RGBD类,最大的特点是可以经过红外构造光或Time-of-Flight原理,直接测出图像中各像素离与相机的距离。因而,它比传统相机可以提供更丰厚的信息,也不用像单目或双目那样费时吃力地核算深度。HoloLens的深度摄像头用的便是Time-of-Flight的原理,即经过从投射的红外线脉冲反射回来的时刻来获得Depth的信息。由于运用红外线,也恰是为什么HoloLens对黑色外表辨认不好的因素。


 HoloLens的三维场景重建利用的是Richard Newcombe创造的Kinect Fusion。为了更好的了解Kinect Fusion,幻想下,咱们在玩雕塑。先是有一个无穷的方块,咱们一个视点去检测,测到想要成型姿态的外表。能测到多深,用的更深度图的信息有关。然后不断换视点,继续重复上面的操作,这么多个视点,雕塑的姿态慢慢的显现出来了。


 具体重建的三维场景流程图如下:


来自 Microsoft Developer Network


  1)读入的深度图像转换为三维点云并且计算每一点的法向量。

  2)相机的追踪。Kinect Fusion是计算得到的带有法向量的点云,和通过光线投影算法根据上一帧位置从模型投影出来的点云,利用 ICP 算法配准计算位置,但深度摄像头的精细度并不高,如果HoloLens采用深度图数据来计算HoloLens位置,误差会挺大,全息场景也不会稳定固定在空间里。相机的位置用的是环境感知摄像头计算出来的。

  3)根据相机的位置,将当前帧的点云融合到网格模型中去。

  4)根据当前帧相机位置利用光线投影算法从模型投影得到当前帧视角下的点云,并且计算其法向量,用来对下一帧的输入图像配准。

  如此是个循环的过程,通过移动相机获取场景不同视角下的点云,重建完整的场景表面。


  现在,你应该对HoloLens中SLAM技术的使用有了更清晰的认识!

  目前对SLAM的研究依然还在继续,由于产品和硬件高度差异化,而SLAM相关技术的整合和优化又很复杂,导致算法和软件高度碎片化,市场上真正能在实际应用中运用SLAM的产品不多。


长按关注,虎虎VR带你遨游虚拟世界




上一篇:鏂扮増鈥淭ilt Brush鈥漡oogle鎺ㄥ嚭浜?D寤烘ā搴旂敤Blocks
下一篇:英特尔高通本非对手,却因VR/AR、AI燃起战火

相关阅读