欧亚国际

作物表型研究是作物育种计划的重要组成部分，植物育种者的任务是杂交亲本，选择具有理想和改进性状的后代，包括产量和对生物和非生物胁迫的抗性。近年来，基于图像的植物表型已成为缓解表型瓶颈的一种很有前途的工具。基于图像的植物表型包括使用一种或多种成像技术来捕获一个生长季节的植物图像，并应用图像分析工具来以无损和（半）自动化的方式测量/提取植物性状。深度学习方法特别适合于同时从数据中提取具有语义意义的特征，并使用这些特征来执行一组任务。近年来，自监督学习（Self-Supervised Learning, SSL）方法的兴起，为利用基于图像的植物表型平台生成的未标记和特定领域的数据集来加速植物育种项目提供了机会。尽管对SSL的研究激增，但对SSL在基于图像的植物表型任务中的应用，特别是检测和计数任务的研究却较少。自监督学习结合了有监督学习和无监督学习的特性，提供了一种方法来解决支持域内转移的问题，同时减少了对标记数据的需要。

2023年3月，Plant Phenomics 在线发表了萨斯喀彻温大学题为Benchmarking Self-Supervised Contrastive Learning Methods for Image-Based Plant Phenotyping的研究论文。

本研究中研究的关键问题是：对于基于图像的植物表型任务，自我监督预训练与有监督预训练的效果如何？通过将2种自监督学习方法MoCo（Momentum Contrast）v2和DenseCL（Dense Contrastive Learning）当将学习到的表征转移到4个目标基于图像的植物表型任务时：小麦穗检测、植物实例检测、小麦小穗计数和叶片计数，来研究这两种方法间的差异。研究了预训练数据集的域对目标性能的影响，以及预训练数据集的冗余对学习表示质量的影响。使用ResNet-50模型作为本研究中所有表示学习任务的编码器，包括预训练和下游任务。训练是在4个Nvidia Tesla V100图形处理单元（GPU）上完成的，所有预训练方法的批大小为256（下游任务在一个GPU上进行训练）。对所有的预训练数据集保持了相同的批处理大小。所有任务都使用PyTorch框架实现，并以混合精度进行训练，使用权重和偏差来跟踪实验和执行超参数扫描。

图1实验流程图：预训练数据集构建的基本原理以及图像的剪裁原理

图2不同预训练数据集和预训练算法组合的ResNet-50编码器的输出之间的相似性（x轴显示了每个对应的ResNet-50块的Procrustes相似度，范围为0-1）

通过大量的自监督学习实验，研究发现除了叶片计数任务外，有监督的预训练比自监督的预训练更有效。这意味着除了叶计数任务外，每个任务的最佳性能模型都是一个经过监督方法预先训练的模型，具体研究结果如下：（a）与MoCo v2和DenseCL相比，监督预训练在除叶计数任务外的所有下游任务（下游任务即为真正想要解决的任务）上都产生了表现最好的模型。（b）在大多数情况下，一个应用于特定邻域并多样化的预训练数据集可以在不同的预训练方法中获得最好的下游性能。(c)与监督方法相比，SSL方法对预训练数据集的冗余表现出更高的敏感性。（d）在所有层中，使用MoCo v2训练的模型与使用DenseCL训练的模型的内部表示具有高度的相似性。相比之下，监督模型和自监督模型的内部表征在早期一层开始相似，在最后几层很快变得更加不同。这项研究显示了SSL在利用未标记数据集方面的植物表型方面的前景，但也指出了可能的改进领域。

论文链接：

http://doi.org/10.34133/plantphenomics.0037

——推荐阅读——

Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage

http://doi.org/10.34133/plantphenomics.0041

Plant Phenomics | 虚拟图像“以假乱真”，无需人工标注，自监督创建小麦表型算法

Multispectral Drone Imagery and SRGAN for Rapid Phenotypic Mapping of Individual Chinese Cabbage Plants 

‍http://doi.org/10.34133/plantphenomics.0007

Plant Phenomics | 基于无人机多光谱图像和SRGAN的大白菜单株表型测定研究

加入作者交流群

扫码添加小编微信，拉您进入《植物表型组学》作者交流群，群内不定期开展作者分享会、专刊发布会等高质量活动。