从realsense API或Open3D库可视化点云

Question

我有一个来自Intel RealSense摄像头的深度帧，我想将其转换为点云并可视化点云。到目前为止，对于仅给定深度帧和摄影机内部函数的点云的创建，我发现了以下两个函数，但是我似乎找不到将其中一个可视化或将它们存储为.ply文件的方法

我应该如何想象这样制作的点云

方法1：

pointcloud = convert_depth_frame_to_pointcloud(original_depth_frame, color_intrinsics)

其中convert_depth_frame_to_pointcloud是RealSense中的helper function

使用Open3D库的方法2：

pcd = o3d.geometry.PointCloud.create_from_depth_image(original_depth_frame, color_intrinsics)
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
print(np.asarray(pcd.points)[1, :])  
o3d.visualization.draw_geometries([pcd])

另外，在使用o3d时，我会遇到以下错误：

create_from_depth_image(): incompatible function arguments. The following argument types are supported:
    1. (depth: open3d::geometry::Image, intrinsic: open3d.cuda.pybind.camera.PinholeCameraIntrinsic, extrinsic: numpy.ndarray[float64[4, 4]] = array([[1., 0., 0., 0.],
       [0., 1., 0., 0.],
       [0., 0., 1., 0.],
       [0., 0., 0., 1.]]), depth_scale: float = 1000.0, depth_trunc: float = 1000.0, stride: int = 1, project_valid_depth_only: bool = True) -> open3d.cuda.pybind.geometry.PointCloud

此处读取原始深度帧：

frame = cv2.imread(os.path.join(args.depth_input_dir, imgs_dir[frame_idx]), cv2.IMREAD_ANYDEPTH)

其中一个深度图像类似于：

000248.png PNG 1280x720 1280x720+0+0 16-bit Grayscale Gray 567278B 0.000u 0:00.000

其中color_intrinsics为：

def set_intrinsics(intrinsics_dict):
    intrinsics = rs.intrinsics()
    intrinsics.width = intrinsics_dict['width']
    intrinsics.height = intrinsics_dict['height']
    intrinsics.ppx = intrinsics_dict['ppx']
    intrinsics.ppy = intrinsics_dict['ppy']
    intrinsics.fx = intrinsics_dict['fx']
    intrinsics.fy = intrinsics_dict['fy']
    intrinsics.model = intrinsics_dict['model']
    intrinsics.coeffs = intrinsics_dict['coeffs']
    return intrinsics
color_intrinsics = set_intrinsics(camera['color_intrinsics'])

如果我不使用opencv阅读深度图像，我可以使用open3d以PNG格式创建深度图像的点云（但是我需要在代码中这样做）

import open3d as o3d
import matplotlib.pyplot as plt
import numpy as np

raw_depth = o3d.io.read_image('depth_images/000248.png')
pcd = o3d.geometry.PointCloud.create_from_depth_image(raw_depth, 
o3d.camera.PinholeCameraIntrinsic(
                                  o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault)
                                , np.identity(4), depth_scale=1000.0, depth_trunc=1000.0)
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
print(np.asarray(pcd.points)[1,:])
o3d.visualization.draw_geometries([pcd])

^^上面的代码生成一个3D点云

Answer 1

您需要阅读图像，如下所示：

import open3d as o3d
import matplotlib.pyplot as plt
import numpy as np

raw_depth = o3d.io.read_image('depth_images/000248.png')
pcd = o3d.geometry.PointCloud.create_from_depth_image(raw_depth, 
o3d.camera.PinholeCameraIntrinsic(
                                  o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault)
                                , np.identity(4), depth_scale=1000.0, depth_trunc=1000.0)
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])
print(np.asarray(pcd.points)[1,:])
o3d.visualization.draw_geometries([pcd])