虚拟现实(VR)和增强现实(AR)背后的核心技术是什么?

2021-8-5 22:58| 发布者: admin| 查看: 358| 评论: 206

摘要: 点击蓝字 关注我们虚拟现实(VR)和增强现实(AR)背后的核心技术是什么?一、从现实到增强现实增强现实(AugmentedReality,简称AR)和虚拟现实(VirtualReality,简称VR)概念的出现已经有了几十年的历史了,然而V ...
点击蓝字 关注我们


虚拟现实(VR)和增强现实(AR)背后的核心技术是什么?

一、从现实到增强现实

增强现实(AugmentedReality,简称AR)和虚拟现实(VirtualReality,简称VR)概念的出现已经有了几十年的历史了,然而VR/AR大量出现在科技媒体上吸引各方眼球也就是最近的事情。

AR中的R是真实的R,相比之下,VR中的R就是个山寨版的。那么A这个增强的概念就比较广大虚了:笼统的说,凡是能对R有附加额外的信息的都算。再次强调的是,AR里面的信息是叠加到真实的场景里面的,而不是虚拟的场景(即VR)里面的。一个有意思的小众研究方向是将一部分真实场景中的内容叠加到虚拟场景中,学名AugmentedVirtualization,简称AV。

虚拟现实(VR)和增强现实(AR)背后的核心技术是什么?

 图中的例子也许能更好地反映AR和VR的区别。上方显示的是典型的VR设备和人眼接收到的VR影像,下方则是AR设备和AR影像。简而言之VR和AR的区别是:VR是趋近现实;AR是超越现实。

接下来我们主要讨论AR,重点讨论AR和VR不同的那一部分。

二、AR中的视觉技术

增强现实技术流程


按照Ronald Azuma在1997年的总结,增强现实系统一般具有三个主要特征:虚实结合,实时交互,和三维配准(又称注册、匹配或对准)。近二十年过去了,AR已经有了长足的发展,系统实现的重心和难点也随之变化,但是这三个要素基本上还是AR系统中不可或缺的。

虚拟现实(VR)和增强现实(AR)背后的核心技术是什么?

上图描绘了一个典型的AR系统的概念流程。从真实世界出发,经过数字成像,然后系统通过影像数据和传感器数据一起对三维世界进行感知理解,同时得到对三维交互的理解。3D交互理解的目的是告知系统要“增强”的内容。

在AR的技术流程中,中间的对于环境和交互的精准理解就是目前的瓶颈了。上图中间的基于多模态(简单说就是影像+传感器)的环境和交互理解,是两个充满了各种或明或暗的坑的领域,足以让很多假的猛士知难而退。

AR跟踪配准技术发展

三维配准是链接虚实的最核心技术,没有之一。大致说来,在AR中配准的目的是对影像数据进行几何上的精确理解。这样一来,就决定了要叠加的数据的定位问题。比如说,在AR辅助导航中如果想把导航箭头“贴在”路面上,就一定要知道路面在哪里。在这个例子中,每当手机摄像头获取到新一帧图像,AR系统首先需要将图像中的路面定位,具体的说就是在某个事先设定的统一的世界坐标系下确定地面的位置,然后将要贴的箭头虚拟地放在这个地面上,再通过与相机相关的几何变换将箭头画在图像中相应的位置(通过渲染模块完成)。

如前所述,三维跟踪配准在技术上存在很多挑战,尤其在考虑到移动设备有限的信息输入和计算能力的情况下。鉴于此,在基于视觉AR的发展历程中,经历了从简单定位到复杂定位的几个阶段,下面简单介绍一下这个发展过程,更多的技术细节在下一节讨论。

二维码:和大家如今广为使用的微信二维码原理一样,二维码主要的功能在于提供稳定的快速的识别标识。在AR中,除了识别以外,二维码还兼职提供易于跟踪和对于平面进行定位的功能。因为这个原因,AR中的二维码比一般的二维码来说模式显得简单以便于精确定位。下图给出了AR二维码的例子。

虚拟现实(VR)和增强现实(AR)背后的核心技术是什么?

   二维图片:二维码的非自然人工痕迹很大得局限了它的应用。一个很自然的拓广是使用二维图片,比如纸币、书本海报、相片卡牌等等。聪明的小白朋友一定已经发现:二维码本身也是二维图片,那为啥不把二维码的方法直接用到二维图片上呢?哦,是酱紫:二维码之所以简单就是因为它上面的图案是设计出来的让视觉算法可以迅速的识别定位的,一般的二维图片则不具备这种良好的性质,也需要更强大的算法。并且,不是所有的二维图片都可以用来进行AR定位的。极端情况下,一个纯色的没有任何花纹的图片是无法用视觉的方法定位的。下图例子中,两张卡牌用来定位两个对战重点的虚拟战士。

虚拟现实(VR)和增强现实(AR)背后的核心技术是什么?

 三维物体:二维图片的自然扩展当属三维物体。一些简单的规则三维物体,比如圆柱状可乐罐,同样可以作为虚实结合的载体。稍微复杂一些的三维物体通常也可以用类似的方法处理或分解成简单物体处理,如在工业修理中的情况。但是,对于一些特定的非规则物体,比如人脸,由于有多年的研究积累和海量的数据支持,已经有很多算法可以进行实时精准对齐。然而,如何处理通用的物体仍然是一个巨大的挑战。

三维环境:在很多应用中我们需要对整个周围3D环境的几何理解,很长时间以来和可预期的一段时间以内,这一直是个充满挑战的问题。近年来,三维环境感知在无人车和机器人等领域的应用取得了成功的效果,这让人们对在其在AR中的应用充满憧憬。然而,相比无人车等应用场景,AR中可以使用的计算资源和场景先验常常捉襟见肘。受此影响,AR中的三维场景理解研发主要有了两个显而易见的思路,一是多传感器的结合,而是对于应用的定制。两个思路的结合也是实用中常见的手段。

在以上提到的技术中,二维码和二维图片的识别跟踪技术已基本上成熟,也已经有了广泛的应用。技术方面的发展目标主要是进一步提高稳定性以及拓宽适用范围。相比而言,三维物体和三维场景的识别理解还有很大的探索空间,即使是目前火爆的HoloLens所展现的令人惊艳的跟踪稳定性,从追求完美的角度还有很多可以提升的空间。

 

三维环境的AR跟踪


对于三维环境的动态的实时的理解是当前AR在技术研究方面最活跃的问题。其核心就是最近火热的“即时定位与地图构建”(SLAM,SimultaneouslyLocalization And Mapping),在无人车,无人机和机器人等领域也起着核心作用。AR中的SLAM比其他领域中一般难度要大很多,主要是因为AR赖以依存的移动端的计算能力和资源比起其他领域来说要弱很多。目前在AR中还是以视觉SLAM为主,其他传感器为辅的局面,尽管这个情况正在改变。下面的讨论主要局限于视觉SLAM。

标准的视觉SLAM问题可以这么描述为:把你空投到一个陌生的环境中,你要解决“我在哪”的问题。这里的“我”基本上等同于相机或者眼睛(因为单目,即单相机,请把自己想象成独眼龙),“在”就是要定位(就是localization),“哪”需要一张本来不存在的需要你来构建的地图(就是mapping)。你带着一只眼睛一边走,一边对周边环境进行理解(建图),一边确定在所建地图中的位置(定位),这就是SLAM了。换句话说,在走的过程中,一方面把所见到(相机拍到)的地方连起来成地图,另一方面把走的轨迹在地图上找到。下面我们看看这个过程大致需要哪些技术。

从图像序列反算出三维环境的过程,即mapping,在计算机视觉里面属于三维重建的范畴。在SLAM中,我们要从连续获取的图像序列来进行重建,而这些图像序列是在相机的运动过程中采集的,所以相关的技术就叫基于运动的重建(SfM,Structurefrom Motion)。题外话,SfX是视觉中泛指从X中进行三维重建的技术,X除了运动以外还可以有别的(比如Structurefrom Shading)。如果相机不动怎么办?很难办,独眼龙站着不动怎么能知道周围三维的情况呢?原理上来说,一旦获取的两张图像之间有运动,就相当与有两个眼睛同时看到了场景(注意坑,这里假设场景不动),不就可以立体了吗?这样一来,多视几何的东西就派上用场了。再进一步,运动过程中我们得到的实际是一系列图像而不只是两张,自然可以用他们一起来优化提高精度,这就是令小白们不明觉厉的集束约束(BundleAdjustment)啦。

那么localization又是怎么回事呢?如果有了地图,即有了一个坐标系,定位问题和前述2D跟踪在目的上基本一致(当然更复杂一些)。让我们考虑基于控制点的方法,那么现在就需要在三维空间找到并跟踪控制点来进行计算了。很巧的是(真的很巧吗?),上面的多视几何中也需要控制点来进行三维重建,这些控制点就经常被共用了。那么可不可以用直接法呢?Yes wecan!但是,如后面会讲到的,由于目前AR中计算资源实在有限,还是控制点法经济实惠些。



三、单目AR识别跟踪简介

由于识别跟踪的重要性,下面简单介绍一下AR中的二维图片跟踪和三维环境理解。二维码的技术已经很成熟而应用有较受限制,三维物体识别的技术大致上介于二维图片和三维场景之间,所以就偷懒不提了。

二维平面物体的AR跟踪


一般情况下, AR中二维平面物体的跟踪可以归结为如下问题:给定一个模板图片R,在视频流中时刻检测该图片的(相对相机的)三维精确位置。比如在下图的例子中,R是实现知道的人民币图片,视频是从手机端实时获取的,通常记为It (表示在时间t获得的视频图像),而需要得到的是R在It 中的几何姿态(通常包括三维旋转和平移),记为Pt。换句话说,模板图片R通过由Pt表示的三维变换就可以被贴到它在图像It中的位置。跟踪结果的用途也很显然,既然知道了这个姿态Pt,我们可以用一个美元的图片以同样的姿态叠加到视频中来替换人民币,从而达到6倍以上的炫富效果。好吧,例子中没有那么俗气,而是叠加了一个庄严的视频。




鲜花

握手

雷人

路过

鸡蛋
发表评论

最新评论

引用 dmjxv265 2021-9-4 00:38
顶起顶起顶起
引用 ksuod759 2021-9-4 00:35
一直在看
引用 wdsyy258 2021-9-4 00:34
众里寻他千百度,蓦然回首在这里!
引用 kitnw069 2021-9-4 00:24
边撸边过
引用 pbbzw458 2021-9-4 00:24
我只是路过,不发表意见
引用 ltsrm330 2021-9-4 00:24
锄禾日当午,发帖真辛苦。谁知坛中餐,帖帖皆辛苦!
引用 xpykr132 2021-9-4 00:06
纯粹路过,没任何兴趣,仅仅是看在老用户份上回复一下
引用 fwqbh146 2021-9-4 00:06
向楼主学习
引用 dxrzn371 2021-9-3 00:59
顶顶更健康
引用 poccx945 2021-9-3 00:58
大人,此事必有蹊跷!
引用 ioxqw847 2021-9-3 00:09
在撸一遍。。。
引用 yfadm539 2021-9-3 00:09
不错 支持一个了
引用 xpykr132 2021-9-3 00:05
小白一个 顶一下
引用 ydqhv179 2021-9-3 00:03
嘘,低调。
引用 pvqhe751 2021-9-3 00:02
垃圾内容,路过为证。
引用 docnr749 2021-9-2 00:13
是爷们的娘们的都帮顶!大力支持
引用 poccx945 2021-9-2 00:11
very good
引用 yfadm539 2021-9-2 00:11
占位编辑
引用 htxss172 2021-9-2 00:09
沙发???
引用 dmjxv265 2021-9-2 00:09
LZ是天才,坚定完毕

查看全部评论(206)

VR热点新闻
  • 官方微信公众号

  • 官方淘宝店

业界独家VR游戏客户端

8866VR游戏下载管理客户端

版权保护投诉指引|手机版|小黑屋|赞助本站|8866VR游戏客户端|关于我们|卡密兑换VIP|8866VR游戏破解汉化玩家交流学习网 |网站地图

GMT+8, 2021-9-18 10:09

Powered by 8866VR游戏下载网

Copyright © 2001-2020, Tencent Cloud.