计算机视觉
图像处理

三维重建技术在无人机方面的应用如何?

与其说是三维重建技术在无人机方面的应用,或者说是无人机在三维重建方面的应用。
倒不如说是试着把两个揉在一起弄一下看看出什么结果,结果没想到效果拔群!

无人机怎么怎么玩,三维建模怎么怎么玩,大家都知道。
看起来两个风马牛不相及的事情,尝试着把他们拼到一起,结果发现哎原来还可以这么玩,简直爆炸。

如虎添翼,我觉得用这个词来形容。

先说无人机:
随着这两年DJI和X度X航的努力,消费级旋翼无人机的市场逐渐做了起来。
向往天空已久的人们不需要像飞油直的航模玩家一样小心翼翼地操作外加在模拟器上训练好久才可以出师,也不用担心炸一次几万块钱出去外加搭上小手指头。买一个到手就能飞的相机已经是一件非常现实的事情。

此为背景。


再说建模:

一般来讲,模型与贴图最大的区别就是模型是立体的,贴图只是一个平面。
简而言之就是每一个像素都有一个深度信息。
再打个比方就是你用Google Map看到的地图就是贴图。但当你切成3D版本的地图时,一些大城市(纽约、巴黎)的建筑会变成立体的,你可以看到房子的高度信息,但如果你在一些小城市把地图切成3D版本的(门头沟、段芦头),视角虽然变成3D的了可以自由移动,但房子和建筑仍然还是纸片一样被拍平在地上。

于是问题来了:
为啥只有大城市有3D模型?为啥山疙瘩里面俺们家那座楼就没有?

这就涉及到成本问题了。

Google家的三维模型是怎么来的呢?
用卫星图或者高飞航拍照建模出来的2.5D而非3D模型,
而且一些重要的建筑是人工作业(我也参与过):请自行搜索软件Sketch Up。

为什么不全部用算法创建而要用人工呢?
因为精度的问题。
谷歌家用的是卫星照片和高飞拍照,所以做出来模型的效果并不算好。
那么如果要高精度非人工的进行三维建模,用什么呢?

雷达。

下图是一个雷达扫描图,可以看到其精细度之高:


于是问题又来了:成本。
尤其是从空中用雷达扫描进行建模,成本很高,很难推广到普通的商用,大多用户都是专业测绘人员或者从事相关工作的企业。

在往下谈论之前,首先让我们先假想一下:
如果测绘,或者说三维建模这种事情很容易也很便宜就能被使用,他有什么应用场景?他会对哪些行业或者对我们的生活产生什么样的改变?

比如说我明天要去某个地方买东西,查了一下这家店在某某大厦某某层某某号。
那么现在,我能做的是去搜索这个某某大厦要怎么走,Google Map 告诉我做哪路车在哪里下。然后希望在大厦入口有一个指示牌告诉我某某号具体在哪一层的哪个位置。
假想一下,如果说,大厦提供了一个自己建筑的三维模型,所有的顾客都可以旋转拖拽放大缩小这个三维模型,他可以把想要去的商店标注在地图上。借用wifi定位等技术他也可以把自己的位置标在地图上。
再补充上一些必要的内部细节之后,从哪一个楼梯走,往哪里走,还有多远,全都一目了然。

再比如说,现在如此流行的真人秀节目。
几个演员满城乱跑,导演要预想一下这些人可能会跑去哪里,他应该要到哪里布置机位,布置好之后大概能得到什么样的镜头?
能实地预演一次吗?能。但是是个大工程。
假想一下,如果说,导演提前拿到了这片区域的三维模型。解决这个问题简直易如反掌,电脑上跑一遍模拟仿真,能省下跟拍导演和摄影大叔的大部分精力。

再再比如说,对于某些脑子里只有打僵尸的人来说(实验室师兄们懂的),
三维建模可以让他们要把自己居住的街区变成游戏地图,再戴上VR眼镜玩个痛。

抑或者说minecraft,扫一个自己家的房子然后传进去就好啦~

总而言之就是:
我认为他可以解决一类问题:一类需要上帝视角才可以解决的问题。

那么有没有可能低成本进行高精度的建模,或者说测绘?

有, image based modeling。

这是 Image-based Street-side City Modeling paper中的一张插图,你猜猜看上面那个是建模得到的结果还是下面那个是?

答案是都是。(逃

methodology如下:

算法不在这里细讲,
主要的方法过程是:通过一系列的照片我们可以得到一个depth map,即贴图中的像素位置和此位置模型真实高度(深度)的映射。

这篇paper讲的是2.5D的建模,因为它是从街道的外面往里拍摄照片。
那么我们有没有可能拼出一个立体模型出来?
可以!只需要把 前后左右上 这五个view的照片拍齐了,把五个depth map拼起来就得到了三维模型!还可以顺便贴个图做成带贴图的三维模型!

精细度怎么样?质量怎么样?有没有毛刺?平滑不平滑?
答案是取决于相片的质量。

一个具有代表性的效果如下图:(使用altizure上传一系列拍摄的照片对某山区进行测绘)


我觉得效果确实挺好的,不说这是通过照片算出来的,肯定会有人以为这是雷达扫描的结果。

更多结果请查看 Altizure

还有一点就是:价格。
做测绘的都知道专业厂商提供的测绘服务(比如红鹏)一次要收多少钱。
而且提供类似照片生成模型的pix4d你可以搜一下他一个license卖多少钱….(而且他们精度比我们差很多
而altizure的绝大部分用户都是免费用户,不需要交纳费用就可以使用网站。我们的用户有 专业的测绘公司、古建筑保护公司、无人机爱好者和在NASA拿过奖的航空航天工程师。

再说用无人机进行3D建模

如上所讲,这样的建模需要拍齐五个view的照片。
自然从上向下拍需要能飞的照相机来协助。

目前Altizure的用户全部使用DJI的无人机进行拍摄,带有4K相机的 inspire 1 和 phantom 3。

DJI 家的飞机解决了方便性和相片质量两个问题。

那么还剩下一个问题:
新用户的门槛。

根据算法,若要取得最优结果,需要满足两个条件:照片是连续的,而且地理位置相邻的两张照片重叠部分超过70%。

于是我们有一个相对简单的采集方式描述
在保证overlapping有70%的时候让飞机蛇形走线,侧面四个view与竖直相交30度。

在详细讨论采集方式之前我们可以先看一下手动飞的结果:

可以看到用户手动拍照的轨迹是如此的杂乱…………和…… 随心所欲…………Orz

于是我们用 DJI 提供的 SDK 写了一个控制飞机自主飞行外加采集数据的APP。
Android 版的界面如下:

APP会根据你选择的高度自动设定飞机的飞行路径和拍照间隔,傻瓜式的一键起飞,降低了新用户的门槛,并且拍照时候的轨迹整齐多了:

这是上面这条路径拍出来的模型,我科的一角:

可以看到一个会飞而又听话的照相机对于三维建模是怎样一种如虎添翼的帮助。

最后说建模反哺无人机

这个问题昨晚同amber和浩爷聊了好久,我们越谈越觉得有戏,有大戏。

当前的无人机地面站,在规划航点的时候只有一个地图给你参考,让你选择你想让飞机飞去哪里。
但是你不知道这个地方的高度信息呀?万一飞得太低炸鸡了怎么办?

于是我们一致认为,能导入一个三维模型进入地面站想必是极好的!

但这个三维模型怎么搞?谷歌没信息又不能每次都手动建。

于是我们觉得这个时候 Altizure 就帮了大忙了。飞机先上去100米的高度飞一遍把数据采集了,回来跑完模型之后导入地面站再做路径航点规划那简直再方便不过,用户可以很直观地选择每一个航点的高度。

而且把模型align上GPS之后服务器统一做收集分析,一人采集全家光荣全人类受益!

想想难道不觉得很激动吗?

所以在我看来,Altizure在做的这项服务很有可能会颠覆很多传统领域。不是说打破传统的这种颠覆,而是拓宽了一个维度,创造了更多可能性的颠覆。

而每一个跨时代的东西,正如当初的蒸汽机和内燃机,都是无法用所谓的“社交传播影响力”来评判的。(实验室师兄们你们又懂的)

因为他并不需要,也并不依赖所谓的热度才能生存和发展下去。
这是一群伟大工程师们不懈努力的结晶。

转载注明来源:CV视觉网 » 三维重建技术在无人机方面的应用如何?

分享到:更多 ()
扫描二维码,给作者 打赏
pay_weixinpay_weixin

请选择你看完该文章的感受:

0不错 6超赞 0无聊 0扯淡 0不解 0路过

评论 5

评论前必须登录!

 

  1. #1

    不错不错.,..我喜欢

    网络营销3年前 (2016-07-31)