02-01-01.Point Cloud

最新推荐文章于 2023-02-08 14:21:43 发布

ZachZheng

最新推荐文章于 2023-02-08 14:21:43 发布

阅读量120

点赞数

分类专栏： Open3D学习文章标签： Open3D

原文链接：http://www.open3d.org/docs/release/tutorial/geometry/pointcloud.html#Visualize-point-cloud

版权

Open3D学习专栏收录该内容

4 篇文章 1 订阅

订阅专栏

[TOC]

Point Cloud

本教程演示点云的基本用法。

可视化点云

教程的第一部分阅读点云并将其可视化。

print("Load a ply point cloud, print it, and render it")
pcd = o3d.io.read_point_cloud("../../test_data/fragment.ply") # 读取点云
print(pcd) # 输出点云基本信息
print(np.asarray(pcd.points)) # 把点云数据转化为numpy格式并输出
# 可视化点云 
o3d.visualization.draw_geometries([pcd],
                                  zoom=0.3412,
                                  front=[0.4257, -0.2125, -0.8795],
                                  lookat=[2.6172, 2.0475, 1.532],
                                  up=[-0.0694, -0.9768, 0.2024])

结果如下:

Load a ply point cloud, print it, and render it
PointCloud with 196133 points.
[[0.65234375 0.84686458 2.37890625]
 [0.65234375 0.83984375 2.38430572]
 [0.66737998 0.83984375 2.37890625]
 ...
 [2.00839925 2.39453125 1.88671875]
 [2.00390625 2.39488506 1.88671875]
 [2.00390625 2.39453125 1.88793314]]

在这里插入图片描述

read_point_cloud 从文件中读取点云。它试图根据扩展名解码文件。有关支持的文件类型列表，请参阅file IO
draw_geometries可视化点云。使用鼠标/触控板从不同的视角查看几何图形。它看起来像一个密集的表面，但它实际上是一个点云渲染成的。GUI支持各种键盘功能。例如，- 键减少了点(surfels)的大小。

注意
按H键打印出GUI的完整键盘指令列表。有关可视化GUI的更多信息，请参见可视化和自定义可视化。
注意
在macOS上，GUI窗口可能不会接收键盘事件。在这种情况下，尝试使用pythonw启动Python而不是python。

体像素下采样

体素下采样使用规则的体素网格从输入点云创建一个均匀的下采样点云。它经常被用作许多点云处理任务的预处理步骤。该算法分为两步操作

点云被装入体素中。
每个被占用的体素通过平均内部所有点生成一个点。

print("Downsample the point cloud with a voxel of 0.05")
downpcd = pcd.voxel_down_sample(voxel_size=0.05)
o3d.visualization.draw_geometries([downpcd],
                                  zoom=0.3412,
                                  front=[0.4257, -0.2125, -0.8795],
                                  lookat=[2.6172, 2.0475, 1.532],
                                  up=[-0.0694, -0.9768, 0.2024])

以0.05的体素对点云进行取样。
在这里插入图片描述

顶点法向量估计

点云的另一个基本操作是点法向量估计。按N查看点的法线。键-和+可以用来控制法线的长度。

print("Recompute the normal of the downsampled point cloud")
downpcd.estimate_normals(
    search_param=o3d.geometry.KDTreeSearchParamHybrid(radius=0.1, max_nn=30))
o3d.visualization.draw_geometries([downpcd],
                                  zoom=0.3412,
                                  front=[0.4257, -0.2125, -0.8795],
                                  lookat=[2.6172, 2.0475, 1.532],
                                  up=[-0.0694, -0.9768, 0.2024],
                                  point_show_normal=True)

重新计算下采样点云的法线.
在这里插入图片描述
estimate_normals计算每个点的法线。该函数查找相邻点，并使用协方差分析计算相邻点的主轴。
该函数以KDTreeSearchParamHybrid类的实例作为参数。两个关键参数radius = 0.1和max_nn = 30指定邻域半径和最大最近邻居。它的搜索半径为 $10 c m$ ，为了节省计算时间，只考虑最多30个邻居。

注意
协方差分析算法产生两个相反的方向作为正常候选。如果不知道几何的整体结构，两者都是正确的。这就是所谓的方向问题。Open3D尝试调整法线的方向，使其与原始法线(如果存在的话)对齐。否则，Open3D会随机猜测。进一步的方向函数，如orient_normals_to_align_with_direction和orient_normals_towards_camera_location，如果关注方向的话，需要调用。

访问估计的法向量

估计的法向量可以从downpcd的normals变量中得到。

print("Print a normal vector of the 0th point")
print(downpcd.normals[0])

结果为

Print a normal vector of the 0th point
[-0.27566603 -0.89197839 -0.35830543]

要检查其他变量，请help(downpcd)。法向量可以使用np.asarray转换为numpy数组。

print("Print the normal vectors of the first 10 points")
print(np.asarray(downpcd.normals)[:10, :])

结果如下：

Print the normal vectors of the first 10 points
[[-0.27566603 -0.89197839 -0.35830543]
 [-0.04230441 -0.99410664 -0.09981149]
 [-0.00399871 -0.99965423 -0.02598917]
 [-0.93768261 -0.07378998  0.3395679 ]
 [-0.43476205 -0.62438493 -0.64894177]
 [-0.09739809 -0.9928602  -0.06886388]
 [-0.27498453 -0.67317361 -0.68645524]
 [-0.11728718 -0.95516445 -0.27185399]
 [-0.00816546 -0.99965616 -0.02491762]
 [-0.11067463 -0.99205156 -0.05987351]]

查看使用NumPy来获得更多关于NumPy数组的例子。

剪裁点云

print("Load a polygon volume and use it to crop the original point cloud")
vol = o3d.visualization.read_selection_polygon_volume(
    "../../test_data/Crop/cropped.json")
chair = vol.crop_point_cloud(pcd)
o3d.visualization.draw_geometries([chair],
                                  zoom=0.7,
                                  front=[0.5439, -0.2333, -0.8060],
                                  lookat=[2.4615, 2.1331, 1.338],
                                  up=[-0.1781, -0.9708, 0.1608])

加载一个多边形体，并使用它来裁剪原始点云.
在这里插入图片描述
read_selection_polygon_volume读取指定多边形选择区域的json文件。vol.crop_point_cloud(pcd)滤除点。只剩下椅子了。

给点云上色

print("Paint chair")
chair.paint_uniform_color([1, 0.706, 0])
o3d.visualization.draw_geometries([chair],
                                  zoom=0.7,
                                  front=[0.5439, -0.2333, -0.8060],
                                  lookat=[2.4615, 2.1331, 1.338],
                                  up=[-0.1781, -0.9708, 0.1608])

给椅子上色。
在这里插入图片描述
paint_uniform_color将所有的点绘制成统一的颜色。颜色在RGB空间，[0,1]范围内。

点云距离

Open3D提供了compute_point_cloud_distance方法来计算从源点云到目标点云的距离。即计算源点云中的每个点与目标点云中最近点的距离。
在下面的例子中，我们使用这个函数来计算两个点云之间的差异。注意，这种方法也可以用来计算两点云之间的倒角距离。

# Load data
pcd = o3d.io.read_point_cloud("../../test_data/fragment.ply")
vol = o3d.visualization.read_selection_polygon_volume(
    "../../test_data/Crop/cropped.json")
chair = vol.crop_point_cloud(pcd)

dists = pcd.compute_point_cloud_distance(chair)
dists = np.asarray(dists)
ind = np.where(dists > 0.01)[0]
pcd_without_chair = pcd.select_by_index(ind)
o3d.visualization.draw_geometries([pcd_without_chair],
                                  zoom=0.3412,
                                  front=[0.4257, -0.2125, -0.8795],
                                  lookat=[2.6172, 2.0475, 1.532],
                                  up=[-0.0694, -0.9768, 0.2024])

在这里插入图片描述

立体框

PointCloud的几何类型与Open3D中所有其他几何类型一样具有边界体。目前，Open3D实现了一个AxisAlignedBoundingBox和一个OritedBoundingBox，它们也可以用于裁剪几何图形。

# 获取轴对齐的边界框
aabb = chair.get_axis_aligned_bounding_box()
aabb.color = (1, 0, 0)
# 获取面向盒子的边界框
obb = chair.get_oriented_bounding_box()
obb.color = (0, 1, 0)
o3d.visualization.draw_geometries([chair, aabb, obb],
                                  zoom=0.7,
                                  front=[0.5439, -0.2333, -0.8060],
                                  lookat=[2.4615, 2.1331, 1.338],
                                  up=[-0.1781, -0.9708, 0.1608])

在这里插入图片描述

凸包

点云的凸包是包含所有点的最小凸集。Open3D包含了计算凸包的方法compute_convex_hull计算一个点云的凸包。实现基于Qhull。
在下面的示例代码中，我们首先从一个网格中采样点云，然后计算作为三角形网格返回的凸包。然后，我们把凸包想象成一条LineSet。

pcl = o3dtut.get_bunny_mesh().sample_points_poisson_disk(number_of_points=2000)
hull, _ = pcl.compute_convex_hull()
hull_ls = o3d.geometry.LineSet.create_from_triangle_mesh(hull)
hull_ls.paint_uniform_color((1, 0, 0))
o3d.visualization.draw_geometries([pcl, hull_ls])

在这里插入图片描述

DBSCAN聚类

给定一个点云，例如一个深度传感器，我们想将本地点云集群组合在一起。为此，我们可以使用聚类算法。Open3D实现了DBSCAN Ester1996，这是一种基于密度的聚类算法。该算法在cluster_dbscan中实现，需要两个参数:eps定义聚类邻居的距离，min_points定义聚类中需要的最小点数。该函数返回label，其中标签-1表示噪音。

pcd = o3d.io.read_point_cloud("../../test_data/fragment.ply")

with o3d.utility.VerbosityContextManager(
        o3d.utility.VerbosityLevel.Debug) as cm:
    labels = np.array(
        pcd.cluster_dbscan(eps=0.02, min_points=10, print_progress=True))
# 打印种类数
max_label = labels.max()
print(f"point cloud has {max_label + 1} clusters")
# 给不同标签设置不同颜色
colors = plt.get_cmap("tab20")(labels / (max_label if max_label > 0 else 1))
colors[labels < 0] = 0
pcd.colors = o3d.utility.Vector3dVector(colors[:, :3])
# 可视化
o3d.visualization.draw_geometries([pcd],
                                  zoom=0.455,
                                  front=[-0.4999, -0.1659, -0.8499],
                                  lookat=[2.1813, 2.0619, 2.0999],
                                  up=[0.1204, -0.9852, 0.1215])

结果:

[Open3D DEBUG] Precompute Neighbours
[Open3D DEBUG] Done Precompute Neighbours
[Open3D DEBUG] Compute Clusters
[Open3D DEBUG] Done Compute Clusters: 10
point cloud has 10 clusters

在这里插入图片描述

注意
这个算法计算所有点在半径内的所有邻居。如果选择的太大，这可能需要大量的内存。

平面分割

Open3D还支持使用RANSAC从点云中分割几何原语。为了找到点云中支持最大的平面，我们可以使用segment_plane。方法有三个参数:distance_threshold 定义最大距离估计平面的点可以被认为是一个窗；ransac_n 定义点的数量是随机抽样估计的一个平面；num_iterations 定义了随机平面的采样和验证的频率。然后函数返回平面参数为 $(a, b, c, d)$ 。 $(a, b, c, d)$ 对于平面上的每个点 $(x, y, z)$ 有 $a x + b y + c z + d = 0$ 。该函数进一步返回平面点的索引列表。

# 加载数据
pcd = o3d.io.read_point_cloud("../../test_data/fragment.pcd")
plane_model, inliers = pcd.segment_plane(distance_threshold=0.01,
                                         ransac_n=3,
                                         num_iterations=1000)
# 获取平面参数
[a, b, c, d] = plane_model
print(f"Plane equation: {a:.2f}x + {b:.2f}y + {c:.2f}z + {d:.2f} = 0")

# 根据索引选择平面点云并给平面点云上红色
inlier_cloud = pcd.select_by_index(inliers)
inlier_cloud.paint_uniform_color([1.0, 0, 0])
# 反选非平面点云
outlier_cloud = pcd.select_by_index(inliers, invert=True)
o3d.visualization.draw_geometries([inlier_cloud, outlier_cloud],
                                  zoom=0.8,
                                  front=[-0.4999, -0.1659, -0.8499],
                                  lookat=[2.1813, 2.0619, 2.0999],
                                  up=[0.1204, -0.9852, 0.1215])

结果为：

Plane equation: -0.06x + -0.10y + 0.99z + -1.06 = 0

在这里插入图片描述

隐藏点删除

假设你想渲染一个来自给定视线的点云，但是来自背景的点由于没有被其他点遮挡而泄漏到前景中。为此，我们可以应用隐藏点去除算法。在Open3D中，由Katz2007实现的方法是在没有表面重建或法向估计的情况下，从给定的视图近似点云的可见性。

print("Convert mesh to a point cloud and estimate dimensions")
pcd = o3dtut.get_armadillo_mesh().sample_points_poisson_disk(5000)
diameter = np.linalg.norm(
    np.asarray(pcd.get_max_bound()) - np.asarray(pcd.get_min_bound()))
o3d.visualization.draw_geometries([pcd])

结果为：

Convert mesh to a point cloud and estimate dimensions

在这里插入图片描述

print("Define parameters used for hidden_point_removal")
camera = [0, 0, diameter]
radius = diameter * 100

print("Get all points that are visible from given view point")
_, pt_map = pcd.hidden_point_removal(camera, radius)

print("Visualize result")
pcd = pcd.select_by_index(pt_map)
o3d.visualization.draw_geometries([pcd])

结果为：

Define parameters used for hidden_point_removal
Get all points that are visible from given view point
Visualize result

在这里插入图片描述

FAQ

链接

ZachZheng

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
02-01-01.Point Cloud

[TOC]Point Cloud本教程演示点云的基本用法。可视化点云教程的第一部分阅读点云并将其可视化。print("Load a ply point cloud, print it, and render it")pcd = o3d.io.read_point_cloud("../../test_data/fragment.ply") # 读取点云print(pcd) # 输出点云基本信息print(np.asarray(pcd.points)) # 把点云数据转化为numpy格式并
复制链接

扫一扫

专栏目录