欧亚国际

植物的三维重建对于农业和植物科学研究非常重要，因为它可以帮助研究人员了解植物的形态、生长和发育情况。然而，深度相机在采集植物点云数据时常常面临叶片遮挡和点云数据缺失的问题，这使得传统的重建方法效果有限。因此，研究人员需要开发新的方法，以克服这些问题，以实现更准确和完整的植物三维重建。

2023年11月，Plant Phenomics 在线发表了华南农业大学兰玉彬团队题为Point cloud completion of plant leaves under occlusion conditions based on deep learning 的研究论文。研究提出了一种基于深度相机和深度学习点云补全的植物三维重建方法。该方法通过利用深度学习这一方法不仅解决了训练数据不足的问题，还使得模型能够有效地处理使用Azure Kinect捕获的点云数据。

本文的研究流程分为两个阶段，首先，研究人员采用深度相机获取了花菜植株的点云数据（图1），并建立了验证集，其中包括不同形状的叶片，并模拟了叶片不完整的情况。这一步骤旨在评估我们的点云补全方法的效果。随后，研究人员使用MeshLab软件对这些点云数据进行了可视化分析（图2），以观察结果。实验证明，点云补全方法能够成功地完成不同形状和弯曲程度的花菜叶片的点云补全，无论这些点云数据是通过MVS-SFM算法获得还是通过Azure Kinect采集的。研究方法还表现出对目标点云的结构关系具有有效学习能力，因此在点云补全的完整性方面表现出强大的潜力。此外，还对不同遮挡情况下的补全效果进行了比较，结果显示在遮挡区域集中时，补全效果更佳，而在遮挡区域分散时，补全效果较差。

图1补全植物点云的工作流程

图2具有不同缺失率的叶点云补全的可视化

在第二阶段，针对完整植株的点云数据进行了三维重建（图3），并与MVS-SFM算法的结果进行了对比。实验结果表明，所提出的方法在提高植物点云数据的完整性方面取得了显著的进展，尤其在存在多重遮挡或高缺失比例的情况下，本文的方法表现出更均匀的完整性。进一步进行了点云数据的精度分析，得到了具体的距离分布（图4），结果显示，两种方法生成的点云具有适度的一致性。

图3叶片点云的可视化补全

图4距离分布的可视化

最后，研究对叶子面积提取的效果进行了评估，具体的评估结果（图5），表明研究方法在叶子面积估计方面的有效性。

图5叶面积估算与人工测量的相关性评估

论文链接：

‍http://spj.science.org/doi/10.34133/plantphenomics.0117

——推荐阅读——

PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 

http://spj.science.org/doi/10.34133/2022/9787643

Plant Phenomics 精选2022 | PSegNet：针对多品种作物点云的器官同步语义分割与实例分割深度学习网络

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline

http://doi.org/10.34133/2022/9758‍532

Plant Phenomics 精选2022 | 基于深度学习的微根管图像自动化分析方法