请选择 进入手机版 | 继续访问电脑版

三维重建开源项目汇总

[复制链接]
丶禁飞 发表于 2021-1-1 17:48:45 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
三维重建开源项目汇总

1、Meshroom ⭐5.7k
AliceVision是摄影丈量盘算机视觉框架,可提供3D重建和相机跟踪算法。AliceVision旨在通过可测试,分析和重用的最新盘算机视觉算法提供强大的软件根本。该项目是学术界和工业界互助的效果,旨在提供鲁棒高质量的产物级尖端算法。
Meshroom是一款基于AliceVision摄影丈量盘算机视觉框架的免费开源三维重建软件。拥有便捷的GUI直接办动操纵,支持Linux和Windows。

项目链接:Meshroom: https://github.com/alicevision/meshroom
                 AliceVision: https://github.com/alicevision/AliceVision
2、OpenMVG ⭐3.3k
OpenMVG(Open Multiple View Geometry)提供了一个端到端的三维重建方法, 同时是一个由库、二进制和管道三部分组成的图像框架,基于C++开辟的,可以在Android、iOS、Linux、macOS和Windows上运行。


  • 库:提供一些可重用的焦点算法,如:图像处置惩罚,特征描述和匹配,特征跟踪,相机模型,多视图多少,鲁棒估计器,从运动规复结构等算法;
  • 二进制文件:方便管道传输获取,如:管道大概需要场景初始化、特征检测/匹配和从运动重建结构,并将重建的场景导出到别的多视角双目视觉框架中以盘算麋集的点云或纹理网格;
  • 管道:通过链接各种二进制文件来盘算图像匹配关系,求解从运动规复结构等问题。
结构示意图如下:

源码链接:https://github.com/openMVG/openMVG
3、Awesome_3DReconstruction_list ⭐2.6k
与图像3D重建相关的论文和资源精选清单。
项目链接:https://github.com/openMVG/awesome_3DReconstruction_list
4、Awesome Point Cloud Analysis ⭐2.4k
关于点云分析(处置惩罚)的论文和数据集列表。
项目链接:https://github.com/Yochengliu/awesome-point-cloud-analysis
5、OpenSfm ⭐1.9k
OpenSfM是一个用Python编写的从运动规复结构的库。该库作为一个处置惩罚管道,用于从多个图像重建相机姿态和3D场景。它由运动结构的根本模块(特征检测/匹配,最小化求解)组成,重点是构建一个健鲁棒的、标准可变的重建管道。它还集成了外部传感器(如GPS、加速计)丈量,以实现地理定位并增强鲁棒性。提供了一个JavaScript检察器来预览模型和调试管道。效果截图如下:

 参考链接:https://github.com/snavely/bundler_sfm
6、OpenMVS ⭐1.4k
OpenMVS(open Multi-View Stereo reconstruction library)是面向盘算机视觉的库,尤其是针对多视图双目重建社区的。只管有针对运动规复结构的成熟完整的开源项目(比方OpenMVG),这些项目可以从输入的图像会合规复相机的姿势和稀疏的3D点云,但没有办理摄影丈量链的最后一部分-流。OpenMVS旨在通过提供一套完整的算法来规复要重建场景的整个外貌来填补这一空缺。输入是一组摄影机姿势加上稀疏的点云,输出是带纹理的网格。该项目涉及的主要主题是:


  • 稠密点云重构:得到尽大概完整,准确的点云
  • 网格重建:估计最能表明输入点云的网格外貌
  • 网格细化:规复所有风雅细节
  • 网格纹理着色:用于盘算清晰准确的纹理以对网格着色
效果如下:

 
项目链接:https://github.com/cdcseacave/openMVS
7、Bundler_sfm ⭐1.3k
Bundler是一个对无序图像序列(比方来自网络的图片)的SFM系统,使用C/C++编写。Bundler以一系列图像,图像特征和图像匹配作为输入,生成相机的三维重构和稀疏的场景多少作为输出。Bundler生成稀疏的点云,对于稠密重建的软件,参考 Dr. Yasutaka Furukawa的稠密多视角双目PMVS2。一个典范的流程是运行Bundler去获取相机参数,再使用被提供的Bundle2PMVS步伐去转换为PMVS2的输入,然后运行PMVS2。你大概也会对Dr. Furukawa的CMVS视角聚类软件有兴趣,它对运行PMVS2前的预处置惩罚是很有资助的。下面是Bundler的效果图:

项目链接: https://github.com/snavely/bundler_sfm
8、BundleFusion ⭐936
基于深度相机的实时在线外貌重整合的全局一致三维重建,效果如下:

项目链接:https://github.com/niessner/BundleFusion
9、Face_swap ⭐700
端到端自动换脸,自动图像到图像的脸部互换方法,详见论文。有趣的是作者的实验数据都是政客(向大佬低头),效果如下:

项目链接:https://github.com/YuvalNirkin/face_swap
10、Scannet ⭐809
ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes 是一个RGB-D视频数据集,包罗凌驾1500次扫描中的250万次视图,带有3D摄像机位姿、外貌重建和实例级语义分段注释。值得注意的是该数据的获取必须要发邮件给作者申请,然后作者复兴才有(有点坑)。为了收集这个数据,专门设计了一个容易使用的和标准可变的RGB-D捕获系统,此中包罗自动外貌重建系统和语义注释。下面展示使用这个数据在许多3D场景明确任务得到的高性能效果,包罗3D物体分类,语义像素标签和CAD模型,更多的信息参考论文:

参考链接
[1] ScanNet: https://github.com/ScanNet/ScanNet
[2] ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes: http://www.scan-net.org/
[3] 关于ScanNet数据集: https://blog.csdn.net/weixin_40766438/article/details/102969299
11、SoftRas ⭐688
"Soft Rasterizer(SoftRas): A Differentiable Renderer for Image-based 3D Reasoning" (ICCV'2019 Oral) 是一个真正的可微分渲染框架,把渲染作为一个可微分的聚合过程,融合所有相对于渲染像素的三角面片概率贡献。示意图如下:

项目链接:https://github.com/ShichenLiu/SoftRas
12、PIFu ⭐946
“PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization” (ICCV'2019)用于高分辨率服装人体数字化的像素对齐隐式函数,可以从单张图像举行人体三维重构,也支持任意多视角重构,同时也支持单目视屏重构。效果截图如下

项目链接:https://github.com/shunsukesaito/PIFu
13、Matterport ⭐562
"Matterport3D: Learning from RGB-D Data in Indoor Environments" (3DV'2017)用于RGB-D机器学习任务的非常棒的数据集。Matterport3D V1.0数据集包罗90个属性使用Matterport Pro相机捕获。仓库中包罗了若干场景明确任务数据集的原始数据,派生数据,语义注释数据,和脚本/模型。示比方下:

 
项目链接:https://github.com/niessner/Matterport
14、Kimera ⭐687
Kimera(ICRA|RSS'2019|2020)是一个用于实时度量-语义SLAM的C++库,它使用相机图像和惯性数据来构建情况的语义注释3D面片。Kimera是模块化的,支持ROS,而且在CPU上运行。Kimera包罗四个模块:

效果如下(吐槽:最打大只能传5M,想扔CSDN鸡蛋):

项目链接:https://github.com/MIT-SPARK/Kimera
15、Mvs-Texturing ⭐508
Mvs-Texturing (ECCV'2014)可以从图像中举行带纹理的三维重构。该项目专注于从运动和多视图立体技能举行3D重建,但也不限于这些设定。效果如下:

项目链接:https://github.com/nmoehrle/mvs-texturing
16、LiveScan3d ⭐484
“LiveScan3D: A Fast and Inexpensive 3D Data Acquisition System for Multiple Kinect v2 Sensors” (3DV’2015) 是一个实时三维重建系统,使用多个AzureKinect大概Kinect v2深度传感器同时实时的举行三维重建。产生的3D重建形式是有色点云的形式,所有Kinect的点都放置在同一坐标系中。此中,点云流可以被可视化,记载大概输送到HoloLens 大概任何Unity应用中。该系统的大概应用场景包罗:


  • 同时从多个视点捕获对象的3D结构;
  • 捕获场景的“全景” 3D结构(通过使用多个传感器来扩展一个传感器的视场);
  • 将重建的点云流式传输到远程位置;
  • 让多个传感器捕获同一场景来提高单个传感器捕获的点云的密度。
效果如下:

项目链接:https://github.com/MarekKowalski/LiveScan3D
17、VoxelHashing ⭐431
"Large-Scale, Real-Time 3D Reconstruction using Voxel Hashing" [Siggraph Asia 2013]大规模、实时三维重建,效果如下:

项目链接:https://github.com/niessner/VoxelHashing
参考链接:https://www.youtube.com/watch?v=XD_UnuWSaoU&t=61s
18、LayoutNet ⭐329
"LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image"(CVPR'2018)从单个RGB图像重建三维房间结构,效果如下:

项目链接:https://github.com/zouchuhang/LayoutNet
19、Tsdf Fusion Python ⭐413
“Volumetric TSDF Fusion of RGB-D Images in Python” (CVPR'2017|2016)这是一个轻量级的python脚本,可将多个彩色和深度图像融合到TSDF中,然后可以将其用于创建高质量的3D外貌网格和点云。效果如下图:

项目链接:https://github.com/andyzeng/tsdf-fusion-python
20、Intrinsic3D ⭐279
"High-Quality 3D Reconstruction by Joint Appearance and Geometry Optimization with Spatially-Varying Lighting" (ICCV'2017)基于接合点外观和多少优化的高质量空间变光三维重建,基于低成本的RGB-D传感器,能够规复完整的多少细节和棱角分明的外貌纹理,效果如下:

项目链接:https://github.com/NVlabs/intrinsic3d
21、Awesome Holistic 3D ⭐356
该项目整理了一系列3D重建的论文和数据集资源(包罗场景类和检测类)清单,部分数据集如下:

 
项目链接:https://github.com/holistic-3d/awesome-holistic-3d
22、Structured3D ⭐214
"Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling" (ECCV'2020) 是一个大标准仿真图像数据集,包罗了3.5K的房屋设计。这个数据集由专业设计者创建,包罗一系列的真值3D结构注释(比方语义,深度,外貌法向量,和结构等),同时在差异光照和家具设置的条件下生成了一系列的仿真2D图像。注意:该数据需要申请才可以下载使用。为了公平的对比,定一了标准的训练,验证和测试分别。部分数据如下:

项目链接:https://github.com/bertjiazheng/Structured3D
23、Synthesize3DviaDepthOrSil ⭐136
"Synthesizing 3D Shapes via Modeling Multi-View Depth Maps and Silhouettes with Deep Generative Networks"(CVPR 2017):通过使用深度生成网络建模多视角深度图和表面来合成三维形状,效果如下:
 

项目链接:https://github.com/Amir-Arsalan/Synthesize3DviaDepthOrSil
24、Msn Point Cloud Completion ⭐183
"MSN: Morphing and Sampling Network for Dense Point Cloud Completion" (AAAI 2020):  MSN是一种为稠密深度点云补齐设计的渐变和采样网络,是一种基于学习的形状补全方法,它能保持已知结构(可以是分散稀疏的点云)并生成稠密点云。在这个工程中,基于竞拍算法(auction algorithm)实现了一种点云的推土机间隔(Earth Mover's Distance, EMD),仅仅需要O(n)的内存空间复杂度。效果如下:

项目链接:https://github.com/Colin97/MSN-Point-Cloud-Completion
25、Cnncomplete ⭐116
"Shape Completion using 3D-Encoder-Predictor CNNs and Shape Synthesis" (CVPR 2017) 训练体积深度神经网络以补全合成部分扫描的3D形状。效果如下:

项目链接:https://github.com/angeladai/cnncomplete
26、ReconstructionDataset ⭐111
包罗了一系列的用于做三维重建的一组图像,每一个文件夹中由一系列的图片组成,可以作为3D重构软件的输入。场景清单如下:

项目链接:https://github.com/rperrot/ReconstructionDataSet
27、3D-RecGAN-Extended ⭐96
"Dense 3D Object Reconstruction from a Single Depth View" (TPAMI 2018): 从单个深度视图举行麋集的3D对象重建,也提供了相应的数据集和真值模型。效果如下:

项目链接:https://github.com/Yang7879/3D-RecGAN-extended
28、DynamicFusion ⭐259
Paper: R. A. Newcombe, D. Fox and S. M. Seitz, "DynamicFusion: Reconstruction and tracking of non-rigid scenes in real-time," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, pp. 343-352, doi: 10.1109/CVPR.2015.7298631.
概述:DynamicFusion动态融合提出了第一个能够实时稠密重建非刚性变形场景的SLAM系统,该方法的实现是通过融合商品级RGBD传感器。在重建多少结构的同时估计稠密的体素6D运动场,该方法映射被估计的多少结构到当前帧中。类似KinectFusion,DynamicFusion系统增量处置惩罚去噪,细化,和补全重构为融合提供更多的丈量数据,并实时更新展示模型。效果如下:

项目链接:https://github.com/mihaibujanca/dynamicfusion
29、ElasticFusion ⭐1.3k
Paper:


  • [1] Whelan, Thomas, et al. "ElasticFusion: Real-time dense SLAM and light source estimation." The International Journal of Robotics Research 35.14 (2016): 1697-1716.
  • [2] Whelan, Thomas, et al. "ElasticFusion: Dense SLAM without a pose graph." Robotics: Science and Systems, 2015.
概述:ElasticFusion 实时稠密视觉SLAM系统能够捕获使用RGB-D相机探测的房间标准情况的综合稠密全局一致的基于外貌的舆图。效果如下:

项目链接:https://github.com/mp3guy/ElasticFusion
参考资料

[1] 三维重建开源项目汇总: https://zhuanlan.zhihu.com/p/141946874
[2] 一分钟详解三维重建学习路线: https://zhuanlan.zhihu.com/p/191200982

来源:https://blog.csdn.net/qq_38210354/article/details/111935233
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发布主题

专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )