Depth Anything环境搭建&推理测试

最新推荐文章于 2025-03-07 13:18:55 发布
最新推荐文章于 2025-03-07 13:18:55 发布
阅读量648 收藏 9
点赞数 4
文章标签： 计算机视觉 ai python 科技 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzq1989_/article/details/139918856
版权

引子

基于单目摄像头的深度估计，一直是CV领域的一个难点，之前也对此关注也不够多。偶然浏览技术博客，看到Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data这个最新CVPR2024的工作。看到名字，大概也能猜出来这篇是致敬Segment Anything（之前也分享过一篇这个主题的，感兴趣的请移步Segment Anything（SAM）环境安装&代码调试_amg.py-CSDN博客）。OK，让我们开始吧。

一、模型介绍

作者提出一种用于单目深度估计(Monocular Depth Estimation, MDE)的高度实用方案Depth Anything「致敬Segment Anything」，它旨在构建一种可以处理任务环境下任意图像的简单且强力的基础深度模型。为此，作者从三个维度进行了探索：

（1）数据集维度设计了一种数据引擎用于数据收集与自动标注，构建了~62M的大规模无标注数据，这极大程度提升了数据覆盖率、降低泛化误差；

（2）通过利用数据增广工具构建了一种更具挑战性的优化目标，促使模型主动探索额外的视觉知识，进而提升特征鲁棒性；

（3）设计了一种辅助监督信息以迫使模型从预训练Encoder中继承丰富语义先验信息。

作者在六个公开数据集与随机拍摄图片上评估了模型的zero-shot能力；通过度量深度信息微调达成新的SOTA；更优的深度模型进而引申出更优的深度引导ControlNet。

二、环境搭建

（1）模型下载

git clone https://huggingface.co/spaces/LiheYoung/Depth-Anything/tree/main/checkpoints

config下载

https://huggingface.co/LiheYoung/depth_anything_vits14/tree/main

（2）代码下载

git clone https://github.com/LiheYoung/Depth-Anything.git

（3）安装环境

docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash

cd /workspace/depth-anything/Depth-Anything

pip install -r requirements.txt -i Simple Index

三、推理测试

（1）修改代码

（2）执行代码

python run.py --encoder vits --img-path bus.jpg

DepthAnything试玩
DeepDriving
02-01 4745
本文首发于公众号【DeepDriving】，欢迎关注。
【 书生·浦语大模型实战营】学习笔记（六）：Lagent & AgentLego 智能体应用搭建
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 1382
本篇笔记内容主要为 【书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建智能体的笔记 ，主要对智能体应用理论部分及具体搭建流程详细介绍，并分别进行实战应用及可视化展示，欢迎大家交流学习！
depth anything解读与复现教程
m0_58846303的博客
02-18 9291
近日，TikTok发布一项新型AI技术“DepthAnything”，该技术由TikTok联合香港大学和浙江大学共同研发的一种先进单目深度估计（MDE）技术，能更有效地从2D图像中识别出深度信息图。基于这些深度信息图，普通的2D影像便可转化为3D影像。相比此前已有技术，“DepthAnything”在提升深度图的质量方面取得重大突破。此技术的应用将使得TikTok平台上现有的海量2D影像能够轻松转化为3D影像，让普通手机拍摄的2D影像“一键转3D”，或将大幅推进XR产业的发展。
Depth Anything V2：抖音开源高性能任何单目图像深度估计V2版本，并开放具有精确注释和多样化场景的多功能评估基准
yumuing‘s blog
06-22 2631
实现了一种名为“深度任意物V2”的单目深度估计算法，旨在通过三个关键实践：使用合成图像代替真实标记图、增加教师模型容量以及通过大规模伪标记的真实图像教授学生模型等方法，提高深度预测精度和鲁棒性。与基于Stable Diffusion的最新模型相比，该算法更加高效（比其快10倍以上）且准确度更高。
无人机实战系列（二）本地摄像头 + Depth-Anything V2
nenchoumi3119的博客
02-24 1863
这篇文章介绍了如何在本地运行，因为我使用的无人机是Tello，其本身仅提供了一个单目视觉相机，在众多单目视觉转 Depth 的方案中我选择了 Depth-Anything V2，这个库的强大在于其基于深度学习模型将单目视觉以较低的代价转换成 RGBD 图像，可以用来无人机避障与SLAM。
Depth Anything: 释放大规模未标注数据的潜力
gitblog_00495的博客
08-08 439
Depth Anything: 释放大规模未标注数据的潜力 Depth-Anything项目地址:https://gitcode.com/gh_mirrors/de/Depth-Anything 在计算机视觉领域，深度估计是一个基础且关键的任务。今天，我们要介绍的是一个革命性的开源项目——Depth Anything，它通过利用大规模的未标注数据，为单目深度估计提供了一个高度实用的解决方案。 项...
香港大学和TikTok等机构共同开发：Depth Anything：准确估计出图像中物体的深度信息
heehelcom的博客
02-26 537
Depth Anything是一项先进的单目深度估计技术，由香港大学和TikTok等机构共同开发。利用大规模未标记图像和标记图像进行人工智能训练，它能准确预测图像中每个像素点的深度信息，从而提高了机器对物体形状、大小和空间关系的理解能力。不仅能简化深度感知设备需求，还可应用于增强现实、自动驾驶、3D建模和图像视频编辑等领域。项目为单目深度估计技术的发展带来重要意义，并在ControlNet改进中的应用进一步提升了深度信息的精确性和应用效率。更多内容：https://www.heehel.com。
Depth Anything——强大的单目深度估计模型
知来者逆的博客
08-03 4013
本研究引入了Depth Anything模型，该模型在稳健的单目深度估计方面展现了高度实用性。通过强调廉价且多样化的未标记图像的价值，并采用两种有效策略，即在学习未标记图像时设定更具挑战性的优化目标以及保留预训练模型的丰富语义先验，使得该模型在零样本深度估计方面表现出色。此外，该模型还可作为有望初始化下游度量深度估计和语义分割任务的有效工具。
Depth Anything：释放大规模无标注数据的深度估计
CV_Autobot的博客
02-01 529
‍作者|黄浴点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群本文只做学术分享，如有侵权，联系删文24年1月论文“Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data“，来自香港大学、字节、浙江实验室和浙江大学。这项工作提出了Depth Anything，...
Depth Anything强大的单目深度估计Python与C++模型部署
知来者逆的博客
08-05 2561
最近看到一个叫单目深度估计模型火了，于是抽空把代码和模型下载下来体验了一下，发现确实是很强大。论文链接：https://arxiv.org/pdf/2401.10891.pdf代码链接：https://github.com/LiheYoung/Depth-Anything项目主页: https://depth-anything.github.io/本文只记录如何使用官方代码跑demo，以及如何导出onnx模型并用做部署。
depth_anything放在哪里
最新发布
03-17
为了正确使用 Depth Anything 模型，首先需要按照官方文档说明完成开发环境的配置工作。这通常涉及安装 Python 及其依赖库（如 PyTorch 或 TensorFlow），以及下载必要的数据集和预训练权重文件。 #### 数据准备 在...
RAG技术深度解析：从基础Agent到复杂推理Deep Search的架构实践
03-07 1164
在自然语言处理领域，传统问答系统往往面临两大难题：如何突破模型知识边界？如何保障回答的可信度？RAG（Retrieval-Augmented Generation）架构应运而生。而当我们以工程视角实现RAG时，就需要一个标准化的载体——RAG Agent。
基于WonderJourney生成电影级连续的3D场景视频
Mr数据杨
08-20 953
本文详细介绍了在Windows系统下配置WonderJourney项目的全过程，包括虚拟环境的创建、必要依赖包的安装以及如何通过源码修改来解决Windows系统的兼容性问题。通过这篇指南，读者可以轻松避开官方文档中的坑，成功运行WonderJourney项目并生成所需的视频内容。
再下一城！Depth Anything：释放海量无标注数据的深度估计
CV_Autobot的博客
03-20 362
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『深度估计』技术交流群编辑 | 自动驾驶之心24年1月论文“Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data“，来自香港大学、字节、浙江实验室和浙江大学。这项工作提出了Depth Anyth...
Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data
c_cpp_csharp的专栏
01-31 622
这项工作提出了Depth Anything，这是一种用于鲁棒单目深度估计的高度实用的解决方案。在不追求新颖技术模块的情况下，我们的目标是建立一个简单而强大的基础模型，在任何情况下处理任何图像。为此，我们通过设计一个数据引擎来收集和自动注释大规模未标记数据（～62M），从而大大扩大了数据覆盖范围，从而能够减少泛化误差，从而扩大数据集的规模。我们研究了两种简单而有效的策略，这两种策略使数据扩展更有希望。首先，通过利用数据扩充工具创建了一个更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得稳健的表示。
【从单张图像解锁深度信息】Depth Anything一种用于鲁棒单目深度估计的高度实用的解决方案
源代码杀手的博客
02-04 860
在不追求新颖的技术模块的情况下，我们的目标是建立一个简单而强大的基础模型，处理任何情况下的任何图像。此外，通过使用 NYUv2 和 KITTI 的度量深度信息对其进行微调，设置了新的 SOTA。这项工作介绍了Depth Anything，一种在1.5百万标记图像和62百万+未标记图像的组合上进行训练，实现强大单目深度估计的实际解决方案。参考:https://zhuanlan.zhihu.com/p/681020500。论文：https://arxiv.org/abs/2401.10891。
Depth Anything V1，V2论文解读
weixin_42010722的博客
06-26 3222
例如，通过数据集混合和尺度-平移不变损失的构建，研究人员能够在训练过程中有效地利用多样化的数据源，提升模型的泛化能力。这些修改使得模型能够从大规模未标注图像中积极地获取额外的视觉知识，并显著提高了标注图像的基线表现，从而增强了模型的鲁棒性和处理开放世界数据的能力。这些数据集包含了丰富的场景和视角变化，能够有效提升模型的泛化能力和适应各种应用场景的能力。常见的仿射不变损失函数包括平方损失函数的变体或者其他形式的损失函数，如Huber损失函数等，用于惩罚预测值与真实值之间的差异，同时考虑到尺度和平移变化。
Depth-Anything推理详解及部署实现（上）
周同学的博客
12-14 5116
Depth-Anything推理详解及部署实现（上）
Depth-Anything推理详解及部署实现（下）
周同学的博客
12-14 2908
Depth-Anything推理详解及部署实现（下）
depth anything openvino
03-14
### OpenVINO 中与 Depth 相关的功能或参数 OpenVINO 是英特尔推出的一个用于加速深度学习推理的工具包，支持多种硬件平台并优化模型性能。尽管提供的引用并未直接提及 OpenVINO 的具体功能[^1]，但基于其架构设计和技术背景，可以讨论一些可能涉及 `depth` 参数的关键领域。 #### 1. 深度卷积神经网络的支持 在计算机视觉任务中，许多模型依赖于三维张量输入（高度、宽度和通道数）。这里的“深度”通常指代图像中的通道维度（例如 RGB 图像有三个通道），或者更广泛地说是指特征图的层数。OpenVINO 支持对这些多维数据的操作，并通过 IR（Intermediate Representation）文件定义模型结构[^2]。 对于深度相关的操作，如 3D 卷积层或深度可分离卷积（Depthwise Separable Convolution），OpenVINO 提供高效的实现方式来处理高分辨率或多通道的数据集[^3]。 #### 2. 数据预处理阶段的深度调整 在加载模型之前，OpenVINO SDK 可能会涉及到对输入数据形状的调整。如果原始模型期望特定的深度值作为输入，则可以通过配置文件指定该参数。例如，在使用 `Preprocessing API` 进行自定义变换时，开发者能够设置目标尺寸以及相应的深度属性： ```cpp preprocess.setInputShape({1, 3, 224, 224}); // 设置为标准RGB图片大小 ``` 上述代码片段展示了如何将输入设定为具有三重颜色信息的标准二维平面布局[^4]。 #### 3. 性能调优选项下的精度控制 当提到 “depth”，有时也暗含着数值表示形式上的差异——比如浮点型 vs 整形近似表达法。为了满足不同应用场景需求，OpenVINO 允许切换运行模式至 INT8 或 FP16 等低功耗状态而不显著损失准确性。这种转换过程实际上就是减少每像素存储所需比特位数量即降低“bit-depth”的体现之一[^5]。 --- ### 示例代码展示 下面给出一段简单的 Python 脚本用来演示如何利用 openvino 推理引擎执行带特定 input shape(包含 channel/depth info)的任务: ```python from openvino.runtime import Core ie = Core() model_path = 'path_to_your_model.xml' compiled_model = ie.compile_model(model=model_path, device_name="CPU") input_layer = compiled_model.input(0) print(f"Input layer's depth is {input_layer.shape[1]}") # Assuming batch size=1 ``` 此脚本读取了一个预先训练好的 XML 文件格式化后的神经网络描述符，并打印出了第一个输入端口所接受 tensor 的第二个维度长度也就是常说的颜色分量数目或者说 feature map 的厚度(depth)[^6]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

要养家的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值