欧亚国际

对水稻叶片病害进行跨模态检索对于水稻预防防治至关重要，为农业专家提供基于数据的决策支持，以应对疾病威胁，保障水稻生产刻不容缓。但当前水稻叶片病害跨模态检索过程中存在几个问题：（1）：复杂的背景和模糊的主体边界在图像处理领域中一直备受关注。这些因素往往会导致图像的主体检索变得模糊和困难。具体而言，复杂的背景可能包含大量干扰信息，使得从中准确提取出主体变得极具挑战性。同时，模糊的主体边界也会导致特征提取变得困难，甚至可能会导致错误的检索结果；（2）：如何提升模型对于多样文本的理解和关联性建模成为了当前研究的关键问题之一。在图像与文本的匹配过程中，一个显著的挑战在于文本语句的多样性和种类的繁多性。这使得图像与文本之间的关联性变得相对较弱。换言之，由于文本的表达形式千差万别，模型需要具备强大的语义理解能力以准确地将图像与相应的文本进行匹配；（3）：学习率的优化策略和训练过程的监控也是需要认真考虑和设计的关键因素。一个合适的学习率策略能够有效地引导模型收敛于全局最优解，从而提升训练的效率与性能。另外，在训练检索模型时，我们也必须关注其训练的收敛速度以及达到的精度水平。这直接关系到模型在实际应用中的可用性与性能表现。

2024年4月，Plant Phenomics在线发表了中南林业科技大学周国雄教授团队题为A precise framework for rice leaf disease image-text retrievals using FHTW-Net 的研究论文。

图1不同水稻叶片病害类别中图文检索问题的示例

为克服当前水稻叶片病害检索框架的局限性和相关问题，我们专注于四种常见的水稻叶片病害，并建立了第一个跨模态水稻叶片病害检索数据集（CRLDRD）。我们将跨模态检索引入水稻叶片病害检索领域，并提出了FHTW-Net，这是一个用于水稻叶片病害图文检索的框架。为了解决检索过程中匹配不同图像类别和复杂文本描述的挑战，我们最初采用了ViT和BERT来提取富含上下文信息的细粒度图像和文本特征序列。随后，我们提出双向混合自注意力（TMS）来增强图像和文本特征序列，旨在揭示两种模态中的重要语义信息。其次，我们提出假阴性消除-硬负样本最小化（FNE-HNM）策略，以促进对不同模态之间的语义连接进行深入探索。这一策略有助于选择具有挑战性的负样本进行消除，以约束模型在三元损失函数内。最后，我们提出预热蝙蝠优化算法（WBA）进行学习率优化，从而提高了模型的收敛速度和准确性。

图2 提出的FHTW-Net模型及其基准模型FNE的网络结构图

（1）为了减轻水稻病害对农业生产的严重影响，我们针对四种常见且高致病性的水稻叶片病害，利用图像和文字描述进行研究。我们创建了第一个CRLDRD数据集，并将跨模态检索引入水稻叶片病害检索领域，提出了名为FHTW-Net的框架。

（2）目标图像中背景复杂或主体边界不清晰可能导致图文检索中的歧义和检索错误。为了进一步利用图像和文本中的重要语义信息，我们提出TMS自注意力来增强图像和文本中的细粒度特征序列，从而提高了模型的检索准确性。

（3）检索过程中的多样性涉及到不同的文本句子和图像形态，这给图文间的跨模态检索带来了挑战。我们深入研究了不同模态之间的语义关系，并提出了FNE-HNM策略，应用于三元损失函数中，以增强模型的检索鲁棒性和泛化能力。

（4）在模型训练过程中，学习率优化不足可能导致最终检索阶段的准确性降低和收敛速度缓慢。为了解决这一挑战，我们提出WBA算法来优化学习率，加快了模型的训练收敛速度，提高了检索准确性。

该研究由中南林业科技大学、国防科技大学、爱达荷大学、湖南省植物保护研究所合作完成。中南林业科技大学周宏亮为该文第一作者，周国雄教授为该文通讯作者。相关工作得到长沙市自然科学基金、国家自然科学基金等资助。

论文链接：

http://doi.org/10.34133/plantphenomics.01‍68

——推荐阅读——

Dynamic UAV Phenotyping for Rice Disease Resistance Analysis Based on Multisource Data

http://doi.org/10.34133/plantphenomics.0019

Plant Phenomics | 基于多源数据的水稻抗病性动态无人机表型分析

PDDD-PreTrain: A Series of Commonly Used Pre-Trained Models Support Image-Based Plant Disease Diagnosis

http://doi.org/10.34133/plantphenomics.0054

Plant Phenomics | 贵州大学提出PDDD-PreTrain：一系列常用的预训练模型支持基于图像的植物病害诊断

加入作者交流群