数字人项目 ER-NeRF 的使用和部署详细教程

已于 2024-06-17 09:29:25 修改
阅读量3.3k 收藏 41
点赞数 14
分类专栏： 机器学习 文章标签： 计算机视觉 人工智能 深度学习
于 2024-04-11 14:25:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/137581305
版权

文章目录

1. ER-NeRF简介

ER-NeRF（官方链接）是一个Talking Portrait Synthesis（对嘴型）项目。即：给一段某人说话的视频，再给定一段音频，经过该模型后处理后，可将原视频的嘴型与音频保持一致。

该模型的有优点：

  • 可以做到实时响应。即模型比较小，处理速度快。

缺点：

  • 需要对“要对嘴型的视频”进行训练。也就是每段视频对应一个模型
  • 生成出的头部不够稳定。

2. ER-NeRF部署

ER-NeRF的环境要求：

  • Pytroch 1.12
  • CUDA 11.x （必须，否则pytorch3d相关的代码会报错）

部署步骤如下：

  1. 按顺序执行以下命令（一个一个执行）
# 这个知识针对pytorch的，本机的cuda不一定非要是11.6，但必须是11.x
conda install cudatoolkit=11.6 -c pytorch

# 安装pytorch
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --index-url https://download.pytorch.org/whl/cu116

# 安装pytorch3d，这一步一定要成功。否则后面处理数据会报错
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

# 安装tensorflow
pip install tensorflow-gpu==2.8.0

# 安装一些必要的依赖
apt-get update
apt install portaudio19-dev
apt-get install ffmpeg

# 克隆项目
git clone https://github.com/Fictionarry/ER-NeRF.git

# 克隆项目，安装项目所需依赖
cd ER-NeRF
pip install -r requirements.txt

# 重新安装protobuf，使用3.20.3版本
pip uninstall protobuf
pip install protobuf==3.20.3
  1. 下载模型。网盘链接地址，结构如下：
-- checkpoints  # 将其放在 `~/.cache/torch/hub/checkpoints` 目录下（这部可以不做，源码也会自己下载）
-- data_utils  # 将其下面的文件放在 `ER-NeRF/data_utils`对应目录下
	-- face_parsing
	-- face_tracking
  1. 初始化3DMM模型相关内容
cd data_utils/face_tracking
python convert_BFM.py

3. 训练自己的数字人

如果就想用现有的模型（只有obama），可以跳转到第4节。

源码中提供了一个训练好的视频（obama）。若想训练自己的数字人模型，需要遵循以下步骤（以源码中提供的obama视频为例）：

  1. 下载视频（要训练的视频片段），将其放在data目录下。以data/<ID>/<ID>.mp4明明。例如：kunkun.mp4就放在ER-NeRF/data/kunkun/kunkun.mp4
wget https://github.com/YudongGuo/AD-NeRF/blob/master/dataset/vids/Obama.mp4?raw=true -O data/obama/obama.mp4

视频要求（必须满足）：① 帧率：25FPS；② 每一帧都要是人物说话；③ 分辨率：512x512；④ 时长：1-5分钟；⑤ 人物背景要稳定。
注：可以使用"Leawo Video Converter Ultimate"处理

  1. 使用data_utils/process.py脚本处理视频
python data_utils/process.py data/<ID>/<ID>.mp4

这一步耗时较长，且容易出错（前面环境没配好就会导致某步出错，找出相应的环境配置，配好就行）。process.py包含多个任务，每个任务会生成若干文件，放在data/<ID>/*下面。可以根据对应的文件是否生成或日志来判断该任务是否正常完成：

  • task 1：分离视频。生成aud.wav文件。若报错，通常是ffmpeg问题。
  • task 2：生成一些音频数据，aud.npy文件。若报错，一般是protobuf版本问题。
  • task 3：提取视频中的每帧图像。生成ori_imgs/XXX.jpg文件，会有很多jpg文件。
  • task 4：分割人像（语义分割）。生成parsing/XX.png文件，会有很多png文件。
  • task 5：提取背景图像。生成bc.jpg文件。是人物的背景图片。
  • task 6：分割出身体部分与生成Ground Truth图片。生成gt_imgs/XXX.jpg和torso_imgs/XXX.png（只有躯干没有人脸的图片）。
  • task 7：获取人脸各个点位的坐标。生成ori_imgs/XXX.lms。
  • task 8：获取人脸跟踪数据，这步要训练一个追踪模型，会很慢。生成track_params.pt文件。这部报错通常是pytorch3d的问题，注意cuda版本。
  • task 9：生成transformers_train.json和transforms_val.json。

如果某个任务报错，可以配置环境后使用：python data_utils/process.py data/<ID>/<ID>.mp4 --task <taskId>来重试。例如（重试任务2）：python data_utils/process.py data/obama/obama.mp4 --task 2

  1. 将生成的aud.npy复制一份，改名aud_ds.npy（源码好像有点问题，所以要这么做）。

  2. 使用OpenFace生成<ID>.csv文件。具体步骤：① 下载OpenFace（Windows版本链接）；② 解压文件，打卡里面的OpenFaceOffline.exe；③ Record里只勾选Record AUs 在这里插入图片描述 ；④ 打开文件，之后就开始运行。⑤ 等待运行结束，会在./processd文件夹中生成<ID>.csv文件，将其更名为au.csv。⑥ 将其放在data/<ID>/文件夹下。

  3. 训练模型，依次执行以下代码：

# 命令1：训练模型
python main.py data/obama/ --workspace trial_obama/ -O --iters 100000
# 命令2：在命令1完成后，再多训练“25000”次，微调一下lips
python main.py data/obama/ --workspace trial_obama/ -O --iters 125000 --finetune_lips --patch_size 32

trial_obama是工作路径，也就是生成的模型存放路径。运行完后会生成trial_obama文件夹，文件树如下：

-- checkpoints/  # 模型文件
	├── ngp_ep0013.pth  # 第13个epoch的文件（会保存最后两个epoch的文件）
	├── ngp_ep0014.pth
	└── ngp.pth   # 最终的模型文件
-- log_ngp.txt   # 训练过程中的日志文件
-- opt.txt  # 训练时传的启动参数
-- result   # 训练结果文件
	├── ngp_ep0014_depth.mp4
	└── ngp_ep0014.mp4  # 可以下载这个文件看效果
-- run/ngp/events.out.xxxxx   # 训练过程中的数据
-- validation

上面两个命令运行完后，运行下面：

python main.py data/obama/ --workspace trial_obama_torso/ -O --torso --head_ckpt trial_obama/checkpoints/ngp.pth --iters 200000

trial_obama/checkpoints/ngp.pth 为上面生成的最终模型文件

4. 生成数字人视频

当模型生成出来后，就可以用我们自己的语音来生成视频了。需要遵循以下3步骤：

  1. 上传音频，提取音频数据（生成对应的npy文件）

例如：

python data_utils/deepspeech_features/extract_ds_features.py --input /root/demo2.wav

将demo2.wav更改为你的音频文件。执行结束后，会在同目录生成demo2.npy文件

  1. 执行模型推理，生成对口型后的视频文件。不过生成的视频没有声音。
python main.py data/obama/ --workspace trial_obama_torso/ -O --torso --test --test_train --aud /root/demo2.npy

最后的/root/demo2.npy就是第一步生成的npy文件

  1. 将音频和视频合并起来。
ffmpeg -i /root/ER-NeRF/trial_obama_torso/results/ngp_ep0028.mp4 -i /root/demo2.wav -c:v copy -c:a aac -strict experimental /root/output.mp4

ngp_ep0028.mp4是第二步生成的视频（日志里可以看到在哪）。
demo2.wav是上传的音频。
/root/output.mp4 是你想要输出文件的路径

5. 其他数字人模型比较

模型名称推理速度单独训练优点缺点
video-retalking慢无需单独训练1. 部署简单
2.无需训练，可直接对任意视频使用
3.项目成熟，兼容性强
4. 包含视频处理部分，无需自行处理视频		1. 推理速度慢，无法做到实时。
2.效果不稳定，有些视频效果很差
ER-NeRF快需要自主训练模型1. 模型小，推理速度快，可满足实时要求
2. 嘴型效果较好，但头部晃动严重		1. 项目不成熟，为论文源码，坑比较多
2. 兼容性较差，对部署环境要求严格
3. 数据处理与训练耗时较长，5分钟的视频大约需要1天
Wav2Lip--1. 项目成熟1. 项目太老（4年前的）



常见错误

  1. ValueError: Found array with 0 sample(s) (shape=(0, 2)) while a minimum of 1 is required by NearestNeighbors.:
Traceback (most recent call last):
  File "data_utils/process.py", line 417, in <module>
    extract_background(base_dir, ori_imgs_dir)
  File "data_utils/process.py", line 112, in extract_background
    nbrs = NearestNeighbors(n_neighbors=1, algorithm='kd_tree').fit(fg_xys)
  File "/root/miniconda3/lib/python3.8/site-packages/sklearn/base.py", line 1152, in wrapper
    return fit_method(estimator, *args, **kwargs)
  File "/root/miniconda3/lib/python3.8/site-packages/sklearn/neighbors/_unsupervised.py", line 175, in fit
    return self._fit(X)
  File "/root/miniconda3/lib/python3.8/site-packages/sklearn/neighbors/_base.py", line 498, in _fit
    X = self._validate_data(X, accept_sparse="csr", order="C")
  File "/root/miniconda3/lib/python3.8/site-packages/sklearn/base.py", line 605, in _validate_data
    out = check_array(X, input_name="X", **check_params)
  File "/root/miniconda3/lib/python3.8/site-packages/sklearn/utils/validation.py", line 967, in check_array
    raise ValueError(
ValueError: Found array with 0 sample(s) (shape=(0, 2)) while a minimum of 1 is required by NearestNeighbors.

原因：视频中的部分帧没有人脸。一般容易出现在视频开头或结尾。可以通过查看生成的parsing文件夹的图片进行确认。详见issus

iioSnail
关注
  • 14
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
ER-NeRF三维重建论文
05-04
ER-NeRF三维重建论文，结合数字人技术，通过图片进行重绘。
数字人解决方案——ER-NeRF实时对话数字人模型推理部署带UI交互界面
知来者逆的博客
12-21 7595
这个是一个使用ER-NeRF来实现实时对话数字人、口播数字人的整体架构，其中包括了大语言回答模型、语音合成、成生视频流、背景替换等功能，项目对显存的要求很高，想要达到实时推理的效果，建议显存在24G以上。
数字人全拆解：如何构建一个基于大模型的实时对话3D数字人？
最新发布
2401_84204413的博客
06-17 2714
*通过MetaHuman Creator进行数字人本体的建模设计，你可以导入自己的头部模型，也可以选择内置的形象，然后可以对数字人的各种面容、表情、姿态等进行细节调整与制作。**数字人驱动：****这一步就是用合成的音频流等数据来驱动已经创建好的前端数字人，让数字人边“说”边“动“，**包括声音、动作、表情。在LLM出现以后，很容易想到借助其强大的自然语言理解与生成能力来做出更加自然的数字人响应，只需要简单的将语音识别出来的文本内容组装到Prompt，并调用大模型的API接口输出即可。
优质项目-基于神经辐射场NeRF实现的实时流数字人-附项目源码+详细流程教程.zip
06-01
优质项目_基于神经辐射场NeRF实现的实时流数字人_附项目源码+详细流程教程
【数字人】6、ER-NeRF | 借助空间分解来实现基于 NeRF 的更高效的数字人生成（ICCV2023）
呆呆的猫的博客
10-18 4443
本文主要介绍 ER-NeRF
数字人解决方案——ER-NeRF实时对话数字人模型训练与项目部署
知来者逆的博客
10-11 1万+
ER-NeRF是基于NeRF用于生成数字人的方法，可以达到实时生成的效果。具体来说，为了提高动态头部重建的准确性，ER-NeRF引入了一种紧凑且表达丰富的基于NeRF的三平面哈希表示法，通过三个平面哈希编码器剪枝空的空间区域。对于语音音频，ER-NeRF提出了一个区域关注模块，通过注意机制生成区域感知的条件特征。与现有方法不同，它们使用基于MLP的编码器隐式学习跨模态关系不同，注意机制建立了音频特征和空间区域之间的明确连接，以捕获本地动作的先验知识。
数字人-基于NERF实现的实时流数字人-附项目源码-优质项目实战.zip
05-19
数字人_基于NERF实现的实时流数字人_附项目源码_优质项目实战
数字人解决方案——解决ER-NeRF/RAD-NeRF人像分割的问题
知来者逆的博客
10-26 3801
训练ER-NeRF或者RAD-NeRF时，在数据处理时，其中有一步是要把人像分割出来，而且人像要分成三块，人的头部，人的有脖子，人的身体部分，这一步关系要模型最终的效果，这是为了优化分割效果。
数字人解决方案——ER-NeRF实时对话数字人论文解读
知来者逆的博客
03-19 1892
本文旨在探索一种更有效的解决方案，以实现高效、高保真的说话肖像合成。基于之前的研究，我们注意到不同的空间区域对于说话肖像的外观的贡献并不相等：（1）在体渲染中，由于只有表面区域有助于表示动态头部，因此大多数其他空间区域是无用的，且头部的表面结构较为简单，可以进一步探索如何使用一些高效NeRF技术进行修剪，以降低训练难度；（2）由于不同的面部区域与语音音频具有不同的关联，因此不同的空间区域以其独特的方式与音频信号固有地相关，并表现出独特的音频驱动的局部运动。
NeRF 从入门到精通
热门推荐
迷若烟雨的专栏
03-30 7万+
NeRF是当前最为火热的研究领域之一，效果非常惊艳，它要解决的问题就是给定一些拍摄的图，如何生成新的视角下的图. 不同于传统的三维重建方法把场景表示为点云、网格、体素等显式的表达，它独辟蹊径，将场景建模成一个连续的5D辐射场隐式存储在神经网络中，只需输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型，根据这个模型可以渲染出任意视角下的清晰的照片。因此通俗来讲就是构造一个隐式的渲染流程，其输入是某个视角下发射的光线的位置o，方向d以及对应的坐标(x,y,z)，送入神经辐射场Fθ得到体密度和颜色....
nerf训练自己的数据，过程记录十分详细
weixin_44955407的博客
04-29 1022
之前跑很多项目没有记录，后来再弄就不行了。这次特别记录一下，在梳理流程的同时希望给大家带来小小的帮助！我自己是在cuda11.2，windows环境下成功的，过程十分详细，有需要的朋友耐心看完。有问题可以评论区交流首先，本文。
NeRF-pytorch预训练模型
11-07
https://drive.google.com/drive/folders/1jIr8dkvefrQmv737fFm2isiT6tqpbTbv
NeRF-基于Pytorch实现NeRF-附项目源码.zip
05-26
标题"NeRF-基于Pytorch实现NeRF-附项目源码.zip"和描述"NeRF_基于Pytorch实现NeRF_附项目源码"提及的核心技术是NeRF（Neural Radiance Fields），这是一种先进的三维场景表示方法，通过深度学习来重构高保真度的三维...
NeRF-基于Taichi+Pytorch实现NeRF变种加速部署-附项目源码+流程教程-优质项目实战.zip
06-01
NeRF_基于Taichi+Pytorch实现NeRF变种加速部署_附项目源码+流程教程_优质项目实战
point-nerf复现代码
05-30
point-nerf复现代码，github上提供的...注：nerf中包含两个文件夹nerf_synthetic和nerf_synthetic_colmap，nerf_synthetic_colmap在这个资源里有，只需要下载nerf_synthetic数据包就行，nerf_synthetic数据包下载网址：...
ER-NeRF实时对话数字人模型训练与部署
培根芝士的专栏
03-03 2771
ER-NeRF是基于NeRF用于生成数字人的方法，可以达到实时生成的效果。
ER-NeRF论文学习和代码实战
蓝天白云
12-14 725
NeRF用的很广，但效率不行。用稀疏特征网格替换部分MLP网络，可大幅提升速度。引入了用于静态场景建模的哈希编码体素网格，允许使用紧凑的模型进行快速和高质量的渲染。RAD-NeRF首先将这项技术应用于说话肖像合成，并构建了一个具有最先进性能的实时框架。然而，这种方法需要一个复杂的基于MLP的网格编码器来隐式学习区域音频运动映射，这限制了其收敛性和重建质量。在体积渲染中，由于只有表面区域有助于表示动态头部，因此大多数其他空间区域都是空的，可以用一些有效的NeRF技术进行修剪，以降低训练难度；
探索未来虚拟现实：ER-NeRF，新一代神经辐射场渲染技术
gitblog_00071的博客
04-14 410
探索未来虚拟现实：ER-NeRF，新一代神经辐射场渲染技术 项目地址:https://gitcode.com/Fictionarry/ER-NeRF 在这个链接中，我们发现了一个令人兴奋的开源项目——ER-NeRF，它代表了神经辐射场（Neural Radiance Fields）在实时三维重建和虚拟现实应用上的新突破。本文将深入探讨该项目的核心技术、应用场景以及其独特之处，帮助更多的技术爱好者理...
er-nerf实时对话数字人模型训练与项目部署
11-24
er-nerf是一种用于实时对话数字人模型训练与项目部署的技术。它能够在不同领域应用，例如客服机器人、智能助手等，为用户提供更好的交互体验。在数字人模型训练方面，er-nerf具有高效的训练速度和准确的识别能力。它可以自动学习用户的语言习惯和需求，不断优化模型，提升对话质量。在项目部署方面，er-nerf能够快速集成到现有的系统中，实现即插即用的功能。同时，它还支持多渠道对接，比如语音、文字等，为用户提供更加便捷和多样化的沟通途径。er-nerf采用先进的深度学习算法，能够在不断的对话中不断提升模型的智能水平，使得数字人在交互中能够更加真实且贴近于人类的交流方式。总的来说，er-nerf实时对话数字人模型训练与项目部署技术为数字人应用领域带来了新的发展机遇，为用户提供更加便捷、智能的服务体验。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值