欧亚国际

可靠且自动化的三维植物分割是在器官水平上提取植物表型性状的核心前提。深度学习和点云的结合可以提供有效的解决方案来应对这一挑战。然而，完全监督的深度学习方法要求数据集按点标注，耗时又费力。

2023年11月，Plant Phenomics 在线发表了加拿大McGill University等单位题为Eff-3DPSeg: 3D Organ-Level Plant Shoot Segmentation Using Annotation-Efficient Deep Learning 的研究论文。

本研究提出了一个新的弱监督框架Eff-3DPSeg（图1），用于三维植物分割。首先，利用低成本的摄影测量系统重建大豆的高分辨率点云（图2），并基于Meshlab开发了植物点云标注工具 Plant Annotator。其次，提出了一种用于植物器官分割的弱监督深度学习方法（图4）该方法包括：(1)利用视点瓶颈（Viewpoint Bottleneck）损失对自监督网络进行预训练，如图5图6，从原始点云中学习有意义的内在结构表示；(2)对预训练模型进行微调，只标注0.5%左右的点，实现植物器官分割（图7）。之后提取了3个表型性状(茎粗、叶宽和叶长)。为了测试所提方法的通用性，本研究还包括了了公共数据集Pheno4D。实验结果显示，与完全监督设置相比，本研究提出的弱监督网络获得了类似的分割性能，为研究植物三维表型结构提供了一种有效的方法，可以在http://github.com/jieyi-one/EFF-3DPSEG获取到本研究中训练好的深度学习网络模型。

图1提出的Eff-3DSeg框架的整体工作流程。(A)利用Multi-view Stereo Pheno平台重构植物点云，利用基于meshlab的plant Annotator对点云进行标注。(B)提出的弱监督植物器官分割网络用于植物茎叶分割和叶实例分割。(C) 利用植物器官分割的结果提取三种植物表型茎粗、叶宽和叶长等性状。

图22022年5月6日至27日拍摄的大豆点云。

图4所提出的弱监督植物器官分割框架。(A)使用视点瓶颈（Viewpoint Bottleneck）损失函数，用自监督表示学习方法预训练骨干网。(B)利用弱标注点云对预训练的植物茎叶分割模型和叶片实例分割模型进行了修改和微调。

图5自我监督预训练方法的说明:视点瓶颈。X为三维坐标和颜色拼接表示的植物点云(M×6, M为点数)。经过两次随机几何变换，我们得到了它的两个增广Xp和Xq。将它们输入到共享的稀疏ConvUnet fθ中，得到两个高维表示集Zp和Zq (M× D, D为表示维数)。应用了最远点采样，以得到下采样表示ZP'和Zq' (H×D)， H是下采样表示的点号。最后，对ZP'和Zq'之间的互相关矩阵施加视点瓶颈，记为Z。

图7 植物器官分割示意图。首先，将一个植物点云X(坐标:M×3，颜色:M×3)输入稀疏ConvUnet，以提取点未来F (M×K)。M是点的个数，K是未来点的维度。第二(茎叶分割):茎叶分支用F生成茎叶语义评分(M×n)，其中n为类数。一个点的预测茎叶标签S (M×1)是得分最高的类(Argmax)。第三(Leaf实例分割):偏移模块产生偏移向量O (M×3)。然后，采用聚类方法在原始坐标坐标和移位坐标上将点分组为叶簇，分别生成Cc和Cs。最后，我们将Cc和Cs的并集表示为最终的聚类结果C。

图11 弱监督番茄叶实例分割的定性可视化。所选的番茄样本具有不同的生长阶段。番茄叶实例分割的真实实况和不同监督设置的结果显示在不同的行中。

本研究提出了一种新的标注高效的用于3D植物器官分割的深度学习框架：Eff-3DPSeg。采用低成本的多视图成像数据采集平台（MVSP2）和新创建的点云标注工具（MPA）来构建大豆植株的点云数据集。然后使用了三种不同的标注设置（50、100和200个标注点）对大豆数据集和公共数据集Pheno4D进行训练和测试，以评估提出的网络Eff-3DPSeg。总体而言该研究提出的方法在植物点云分割任务中取得了与完全监督设置相似的成绩，成功提取了三个器官水平的表型特征。本文提出的弱监督方法可以大大节省点云标注时间。这将有助于提高高通量植物表型分析的效率，推动智能农业的发展。

论文链接：

‍http://spj.science.org/doi/10.34133/plantphenomics.0080

——推荐阅读——

Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images

http://doi.org/10.34133/plantphenomic‍s.0040

Plant Phenomics | 浙江大学发现一种融合快照光谱图像和RGB-D图像生成高质量三维多光谱植物点云的新方法

Application of an Improved 2-Dimensional High-Throughput Soybean Root Phenotyping Platform to Identify Novel Genetic Variants Regulating Root Architecture Traits

‍http://doi.org/10.34133/plantphenomics.0097

Plant Phenomics | 应用改进的二维高通量大豆根系表型平台鉴定调节根系结构性状的新遗传变异