- 三维重建从算法角度看有哪些方向
- 为什么要应用基于深度学习的3D重建
用相机拍摄真实世界的物体、场景,并通过计算机视觉技术进行处理,从而得到物体的三维模型。英文术语:3D Reconstruction。
涉及的主要技术有:多视图立体几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔科夫随机场、图割等。
基本上计算机视觉的技术都会有涉及。 2D的分割,分类在3D中也会用到
比如:增强现实(AR)、混合现实(MR)、机器人导航、自动驾驶等领域的核心技术之一。
在自动驾驶领域的主要应用是高精地图的构建,此应用对于自动驾驶的算法迭代优化、测试都非常重要。
输入:就是一系列的RGB照片,这些照片可能存在一些重合势场。将他们的pose计算出来,然后进行一个三维模型的重建,最后进行纹理贴图(非必要)。
- 通过上述两种为输入信息,我们可以计算出深度图
- 得到深度图后,我们再进行点云融合
- 得到3D点云图后,我们对他进行一个3D曲面的构建
位姿计算可以简单理解为:每帧图像的相对位置
- SLAM:可以实时去做
根据SFM/SLAM计算的位姿,进行稠密重建恢复场景几何信息。
首先我们来探讨一下传统的基于光度一致性的MVS重建
通过大量的数据去学习特征,它会参考全局语义的信息,能更好的帮助我们进行重建。
- 内存限制,难以重建高分辨率
是一种三维信息的表示方式
三维点云是某个坐标系下的点的数据集
包含了丰富的信息,包括三维坐标XYZ,颜色RGB等信息
由物体的邻接点云构成的多边形组成的,通常由三角形、四边形或其他的简单凸多边形组成
带有颜色信息的三维网格模型,所有的颜色信息储存在一张纹理图上,显示时根据每个网格的纹理坐标和对应的纹理图进行渲染得到高分辨率的彩色模型