最火的AI技术之NeRF三维重建

最新推荐文章于 2024-03-17 20:41:30 发布
最新推荐文章于 2024-03-17 20:41:30 发布
阅读量792 收藏 11
点赞数 9
分类专栏： 计算机视觉 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyq880625/article/details/135450429
版权

三维重建

文章目录

前言

要说这两年哪个AI技术最火爆，NeRF绝对是其中最火爆的技术之一，随意截取了计算机视觉在哔哩哔哩发布的NeRF部分应用，可谓应用广泛，前景无限美好。
在这里插入图片描述

一、什么是NeRF

NeRF（Neural Radiance Fields）是最早在2020年ECCV会议上的Best Paper，其将隐式表达推上了一个新的高度，仅用 2D 的 posed images 作为监督，即可表示复杂的三维场景。一石激起千层浪，自此之后NeRF迅速发展起来被应用到多个技术方向上例如新视点合成、三维重建等等，并取得非常好的效果，其影响力是十分巨大的。

NeRF其输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型，根据这个模型可以渲染出任意视角下的清晰的照片，如下图所示。也可以简要概括为用一个MLP神经网络去隐式地学习一个三维场景。
在这里插入图片描述

二、NeRF有哪些应用

NeRF最先是应用在新视点合成方向，由于其超强的隐式表达三维信息的能力后续在三维重建方向迅速发展起来。接下来介绍下NeRF的几个主流应用方向。

新视点合成（View Synthesis）
项目主页：https://www.matthewtancik.com/NeRF
物体精细重建
项目主页：https://jonbarron.info/mipNeRF360
城市大场景重建
项目主页：http://waymo.com/research/block-NeRF
人体重建
项目主页：https://zhaofuq.github.io/humanNeRF/
3D风格迁移
http://intelligentgraphics.net/StylizedNeRF/paper.pdf
镜面反射场景重建
项目主页: https://bennyguo.github.io/NeRFren/

工头阿乐
关注
  • 9
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ER-NeRF三维重建论文
05-04
ER-NeRF三维重建论文，结合数字人技术，通过图片进行重绘。
基于NeRF实现手机拍摄照片的三维重建python源码(高分毕业设计).zip
07-24
项目介绍 基于NeRF进行手机拍摄照片的三维重建python源码.zip 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到94.5分，放心下载使用！ 该资源适合计算机相关专业(如人工智能、通信工程、自动化、软件工程等)的在校学生、老师或者企业员工下载，适合小白学习或者实际项目借鉴参考！ 当然也可作为毕业设计、课程设计、课程作业、项目初期立项演示等。如果基础还行，可以在此代码基础之上做改动以实现更多功能。 训练的准备工作 自建数据集 拍摄的物体图片压缩包 https://pan.baidu.com/s/13DWlJgmLqqrlGUWiJMqRYw?pwd=kp7b 注意解压后所有图片放在 "./data/COLMAP_test/images/" 路径下 生成位姿和点云 ``` python imgs2poses.py "./data/COLMAP_test" ``` Install requirements: ``` pip install -r requirements.txt ``` 更改配置文件 打开 ./configs/COLMAP_test.txt 进行更改, 由于使用的是自建数据集，因此需将`dataset_type` 设置为 `llff`. 训练 ``` python run_nerf.py --config configs/COLMAP_test.txt ``` It will create an experiment directory in `./logs`, and store the checkpoints and rendering examples there. 测试 Once you have the experiment directory (downloaded or trained on your own) in `./logs`, - to render a video: ``` python run_nerf.py --config configs/COLMAP_test.txt --render_only ``` The video would be stored in the experiment directory.
NeRF:火爆科研圈的三维重建技术大揭秘
我爱计算机视觉
08-01 3628
关注公众号，发现CV技术之美刘东生- 联想晨星算法工程师-【晨星小课堂】讲师如果说最近两年最火的三维视觉技术是什么，相信NeRF是一个绝对绕不过去的名字。这项技术一经提出，就被众多研究者所重视，对NeRF争先恐后地探索、研究、改进，让该项技术仅仅用了两年时间就成为三维视觉领域的主流。这说明什么？我认为，这恰恰说明了NeRF拥有超强的三维表达能力和广泛的潜在应用。今天，...
NeRF——基于神经辐射场的三维场景重建和理解
知来者逆的博客
03-17 2021
神经辐射场（NeRF）是一种利用神经网络来表示和渲染复杂的三维场景的方法。它可以从一组二维图片中学习出一个连续的三维函数，这个函数可以给出空间中任意位置和方向上的颜色和密度。通过体积渲染的技术，NeRF可以从任意视角合成出逼真的图像，包括透明和半透明物体
三维重建-使用NeRF对手机拍摄的物体进行三维重建-优质项目分享.zip
01-31
三维重建_使用NeRF对手机拍摄的物体进行三维重建_优质项目分享
三维重建-使用Nerf开发的基于无人机航拍场景的三维重建项目-优质项目分享.zip
01-31
三维重建_使用Nerf开发的基于无人机航拍场景的三维重建项目_优质项目分享
基于NeRF和手机拍摄物体图片的三维重建python源码+数据集+操作说明.zip
08-21
【资源说明】 1、该资源内项目代码都是经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能。 训练的准备工作 自建数据集 拍摄的物体图片压缩包 https://pan.baidu.com/s/13DWlJgmLqqrlGUWiJMqRYw?pwd=kp7b 注意解压后所有图片放在 "./data/COLMAP_test/images/" 路径下 生成位姿和点云 ``` python imgs2poses.py "./data/COLMAP_test" ``` Install requirements: ``` pip install -r requirements.txt ``` 更改配置文件 打开 ./configs/COLMAP_test.txt 进行更改, 由于使用的是自建数据集，因此需将`dataset_type` 设置为 `llff`. 训练 ``` python run_nerf.py --config configs/COLMAP_test.txt ``` It will create an experiment directory in `./logs`, and store the checkpoints and rendering examples there. 测试 Once you have the experiment directory (downloaded or trained on your own) in `./logs`, - to render a video: ``` python run_nerf.py --config configs/COLMAP_test.txt --render_only ```
基于神经辐射场（Neural Radiance Fileds， NeRF）的三维重建- 简介
薛定谔的猫头咕咕咕
03-04 2945
Nerf（neural Radiance Fileds） 为2020年ICCV上提出的一个基于隐式表达的三维重建方法，使用2D的 Posed Imageds 来生成（表达）复杂的三维场景。现在越来越多的研究人员开始关注这个潜力巨大的领域，也有方方面面关于 Nerf 的工作在不断被提出。Nerf 为输入为稀疏的、多角度、带有姿态信息的图像的神经网络模型，可以用于渲染出任意视角下的清晰照片。
nerf三维重建
qq_44089890的博客
04-12 3440
Nerf（Neural Radiance Fields）是一种用于三维重建和图像合成的机器学习技术。它基于深度学习，使用神经网络来预测场景中每个点的颜色和密度，从而生成高质量的三维重建结果。Nerf 通过训练神经网络从不同角度的图像中学习场景的表面和光照特征，然后使用学习到的信息来生成新的视角的图像。与传统的三维重建方法不同，Nerf 不需要对场景进行显式的几何建模，也不需要使用多张图像进行立体匹配。相反，它使用单张图像和相机参数来训练神经网络，从而生成高质量的三维重建结果。
数字人解决方案——RAD-NeRF真人视频的三维重建数字人源码与训练方法
知来者逆的博客
06-28 8211
真人视频三维重建数字人的源码与训练方法，算法是基于NeRF改进的RAD-NeRF，可以实现实时对话的数字人效果。
昇思MindSpore应用案例 | 三维重建之神经辐射场 (NeRF)
Kenji_Shinji的博客
02-09 1394
我们通过限制网络将体积密度sigma预测为仅位置的函数来鼓励表示是多视图一致的x，同时允许将RGB颜色c预测为位置和查看方向的函数。该论文的作者提出了一种使用场景的一些图像来学习3D场景的最小而优雅的方法。网络学习对体积场景进行建模，从而生成模型在训练时未显示的3D场景的新视图（图像）。考虑一个带有N像素的图像。现在您已经了解了相机矩阵的概念以及从3D场景到2D图像的映射，让我们来谈谈逆映射，即从2D图像到3D场景。本案例对NeRF的论文中提出的模型进行了详细的解释，向读者完整地展现了该算法的流程。
ICCV 2021 | 字节跳动利用单幅图片做三维重建！将NeRF、MPI结合，提出MINE新工作...
3D视觉工坊
10-13 2333
转载自：机器之心 | 字节跳动视觉技术团队来自字节跳动视觉技术团队的研究者将 NeRF 和 Multiplane Image（MPI）结合，提出了一种新的三维空间表达方式 MINE。该方...
三维重建-使用NeRF对手机拍摄的物体进行三维重建（优质项目）.zip
最新发布
04-22
三维重建-使用NeRF对手机拍摄的物体进行三维重建（优质项目）.zip个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大...
NeRF与三维重建专栏（一）领域背景、难点与数据集介绍
CV技术指南（微信公众号）
05-14 2492
关于该系列专栏，主要介绍NeRF在三维重建中的应用（这里我们特指MVS，multi-view stereo，也即输入带位姿的图片，输出三维结构例如点云、mesh等；并且后面的工作也都是围绕MVS with NeRF讨论的。虽然也有without pose的NeRF，从重建的角度也可以理解为SFM with NeRF，例如ESLAM，Barf，但不是本专栏关注的重点），一方面是为了整理回顾一下现有资料，一方面是为了方便广大初学者更快了解NeRF如何应用于三维重建。
什么是三维重建？三维重建有什么用？
gu1857035894的博客
09-06 8538
在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视图的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。CPR可以观察管腔结构的腔壁病变(如斑块、狭窄等)，也可以观察管状结构与周围结构的位置关系，但CPR所显示的不是正常的解剖结构和关系(它是把管状结构拉直了看)，同时需要多个角度曲面重建以完整评价病变。
【AI&3D】nerf入门及其实操
weixin_42755384的博客
04-20 1749
我们提出了一种方法，通过使用稀疏的输入视图来优化基于连续体积场函数的底层连续体积场函数，从而实现合成复杂场景的新视图的最新结果。我们的算法使用完全连接的（非卷积）深度网络来表示场景，其输入是单个连续的5D坐标（空间位置（x，y，z）和视角（θ，ϕ）），其输出是该空间位置处的体密度和视角相关的发射辐射。我们通过查询沿着相机射线的5D坐标并使用经典的体积渲染技术将输出颜色和密度投影到图像中来合成视图。由于体积渲染是自然可微的，因此优化我们的表示所需的唯一输入是具有已知摄像机姿势的图像集。
【三维重建】SceneRF:基于NeRF的自监督单目三维场景重建
qq_45752541的博客
07-28 1306
从二维图像的三维重建被广泛的研究，训练与深度监督。为了放松对昂贵获取的数据集的依赖，我们提出了SceneRF，一种自监督的单目场景重建方法，只使用姿态图像序列进行训练。我们通过显式的深度优化和一种新的概率采样策略来有效地处理大场景。在推理时，一个输入图像足以产生新的深度视图，将其融合在一起得到三维场景重建。实验表明，在室内BundleFusion 和室外Semantic kitti上，我们在新的深度视图合成和场景重建方面优于所有最近的基线提示：以下是本篇文章正文内容，下面案例可供参考。
基于Insta 360拍摄的360°全景照片的Nerf Instant-ngp（Nvidia)三维重建——简易版安装及使用教程
weixin_62921317的博客
04-25 932
生成json文件之后需要将文件夹修改为：instant-ngp/data/ec_cam/data/ec_cam，并将生成的transform.json文件拖进第一个ec_cam文件夹中与第二个data文件夹并列。-i“”双引号中输入你想分裂的照片的路径，-o“”双引号中输入你想输出的分裂后照片的输出路径，--equirectangularNbSplits 8中，8是你想选择将照片分裂的数量。将instant-ngp/data路径下的ec_cam文件夹拖进instant-ngp中即开始训练模型。
神经辐射场（NERF）模型：一个令人惊叹的三维场景重建方法
m0_66159157的博客
04-03 4092
简单来说，NERF 模型是一种基于神经网络的三维场景重建方法。与传统方法不同，NERF 模型 只需要从单个或少数几个 2D 视角中预测每个像素点的颜色和深度值，而不需要使用多个 2D 图像或视角。它通过学习一个表示场景中每个点的神经辐射场函数来实现这一点。
nerf三维重建pytorch
09-29
关于NERF三维重建的PyTorch实现，您可以参考以下步骤： 1. 首先，您需要安装PyTorch库以及其他必要的依赖项。您可以使用pip命令执行以下操作安装PyTorch： ``` pip install torch ``` 2. 接下来，您需要获取NERF的代码实现。您可以在GitHub上找到NERF的开源实现，例如“NERF-pytorch”或其他相关的项目。 3. 下载并解压NERF代码实现的压缩包。 4. 进入解压后的代码目录，并根据说明进行设置和配置。这可能包括设置数据路径、模型参数等。 5. 准备训练数据集。NERF需要用于训练的图像和相机参数。您可以使用自己的数据集或使用公开的数据集，如Blender或LLFF数据集。 6. 在配置完毕后，您可以开始训练NERF模型。在命令行中运行相应的训练命令，指定数据集路径、模型参数等。 7. 等待训练完成。训练时间根据数据集的大小和复杂性而异。 8. 训练完成后，您可以使用NERF模型进行三维重建。具体步骤可以根据您使用的NERF实现而有所不同，但通常包括读取训练好的模型、加载测试图像和相机参数，并使用模型进行渲染和重建。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值