欧亚国际

高通量表型技术可在温室和田间大规模收集植物图像和传感器数据，要利用这些丰富的数据对植物表型进行统计分析，需要进行后续图像处理以提取性状。其中植物对象分割是植物性状提取的基础步骤。现有的植物图像处理工具无法获得令人满意的植物分割结果，而神经网络方法虽然可以准确地进行分割，但无论是监督还是半监督的学习方法都需要准备足够大的训练数据集，既耗时又耗力。因此，无需人工标注训练数据的自动机器学习方法对分离重叠植物非常重要。

2023年5月，Plant Phenomics 在线发表了美国爱荷华州立大学等单位题为High-Throughput Field Plant Phenotyping: A Self-Supervised Sequential CNN Method to Segment Overlapping Plants 的研究论文。

本研究提出了一种自监督序列卷积神经网络（SS-CNN）来分离前景植物和背景植物。该文章构建了一个处理通道来提取植物高度数据，使用生长早期图像中的植物像素来分割早期生长阶段中的未重叠田间植物，然后将这些早期阶段的分割结果作为后期生长阶段植物的训练数据，免去了人工标注大量数据的繁琐工作。

在本研究的训练通道中，首先应用KAT4IA程序（http://doi.org/10.34133/2021/9805489）来获得田间图像的植物分割图像。在分割结果中用零值替换所有非植物像素的RGB强度来实现背景去除。本文通过使用生长早期非重叠植物的植物像素来构建自我监督训练数据，以分离生长后期重叠的前景和背景植物。具体而言，对于田间图像中的早期生长阶段，可以使用行切割算法简单地分离前景和背景植物，因为如果前景和背景作物不重叠，则在分割图像的行比例的曲线中存在尖锐的波谷（图2）。因此，本文可以让算法简单地将截止线上方的所有植物像素定义为背景植物像素（0），将截止线下方的所有植物象素定义为前景植物像素（1）。接下来使用植物重叠前图像生成的训练数据训练CNN，使用R语言中的API Keras来分离重叠的前景和背景植物。对于训练数据中的每个标记像素，其（2r+1）×（2c+1）邻域中像素的RGB（红、绿和蓝）强度被用作输入特征，通过几次尝试后选择邻域大小r=c=16。每个训练像素的特征空间的尺寸为33×33×3，其中3是红色、绿色和蓝色强度的通道数量，33×33是每个通道的分辨率。

训练好的CNN网络在分类中还会出现一些错误，为此，在通道中引入了一个过程，在该过程中，在去除背景的图像上形成SLIC超像素，以基于像素坐标和RGB强度将像素分组为具有感知意义的原子区域。超像素可以解释为共享相似信息的每个图像的几何微聚类。为了从相邻像素借用信息，计算每个超像素内前景类的平均概率。然后使用0.5的截止阈值来在超像素级别对前景和背景植物进行分类。如果平均概率分别大于或小于0.5，则超像素内的所有像素被预测为前景类或背景类。这样，同一超级像素中的所有像素都被分类到一个公共类中。

图2 行切割算法分离前景植物的示例。（A）随时间变化的图像序列中识别的第一个峰值宽度的散点图。红线表示前景植物和背景植物开始重叠的时间点（“变化点”）。（B）用于早期生长阶段田间图像的行切割算法结果；（A）中的粉色点表示（B）中第一个峰值的估计宽度。分割图像的行比例曲线显示在田间图像的左侧。两条虚线是从底部测得的第一个峰值的上限和下限。（C）用于后期生长阶段田间图像的行切割算法结果；（A）中的蓝色点表示（C）中第一个峰值的估计宽度

图3 构建训练数据集的工作流程。（A）示例早期生长阶段田间图像。将KAT4IA算法应用于（A）得到“去除背景图像”（B）。使用行切割算法分离前景和背景植物，得到“标记分割图像”（C）。（D和E）是从（B）中用蓝色矩形标记的3个背景植物像素和用粉色矩形标记的3个前景植物像素的裁剪小图像

图5 植物像素分离和后处理工作流程。（A）目标后期生长阶段田间图像。目标是从图像中提取前景植物。将KAT4IA算法应用于（A）得到“去除背景图像”（B）。图（B）中显示了超像素。（C）中收集与2个植物类别相关的裁剪过的早期生长阶段小图像作为训练数据，用于训练卷积神经网络（D）。对于（B）中的每个植物像素，裁剪其周围的小图像，然后将（D）应用于每个小图像，得到每个像素属于前景植物类别的概率。这些概率在（E）中可视化，其中红色表示分配了1，蓝色表示分配了0。最终图像（G）首先通过对每个超像素内的预测概率进行平均，然后使用一个截断阈值来分类前景植物和背景植物的超像素

图7 生长曲线与一台相机拍摄的一组图像中每株植物的高度测量值相匹配

处理图像数据和提取植物特征是当前表型研究和应用的主要问题之一。尽管在一些图像中，将目标植物与背景分离的人工注释是可能的，但这种标记过程通常是乏味和耗时的。所提出的自我监督方法使用计算机自动准备训练数据。这允许机器根据在适应光照条件和环境变化的田地中拍摄的图像有效地测量植物特征。本研究的结果表明，所提出的程序可以产生准确可靠的植物高度训练，并且数据分析功能可以揭示基因型对植物生长曲线的影响。

论文链接：

‍http://doi.org/10.34133/plantphenomics.0052

——推荐阅读——

A novel Feature Selection Strategy Based on Enhanced Slap Swarm Algorithm for Diseased Plant Classification

http://doi/10.34133/plantphenomics.0039‍

Plant Phenomics | 南京农业大学计智伟教授团队提出特征选择新方法用于植物表型分析

Rice Plant Counting, Locating and Sizing Method Base on High-throughput UAV RGB Images 

http://doi.org/10.34133/plantphenomics.0020

Plant Phenomics | 基于高通量无人机RGB图像的水稻植株计数、定位和大小估计方法

Multi-Source Data Fusion Improves Time-Series Phenotype Accuracy in Maize under a Field High-Throughput Phenotyping Platform

http://spj.science.org/doi/10.34133/plantphenomics.0043

Plant Phenomics | 多源数据融合提升田间高通量表型平台下玉米时序表型解析精度

加入作者交流群