品质至上,客户至上,您的满意就是我们的目标
技术文章
当前位置: 首页 > 技术文章
Plant Phenomics | 利用3D U-Net分割改进自动和手动虚拟现实工作流程中3D MRI图像的根系重建
发表时间:2023-09-18 13:37:56点击:554
磁共振成像(MRI)常用于对生长在不透明土壤中的根系进行成像。然而,从三维 (3D)MRI图像中重建根系结构(RSA)是具有挑战性的。低分辨率和低噪比(CNRs)阻碍了自动重建。因此,人工重建仍被广泛应用。本研究评估了一个新的自动化的根系结构重建过程,主要分为两部分:第一步,3D U-Net将MRI图像以超分辨率分割成根和土壤。在第二步中,自动跟踪算法从分割图像中重建根系统。
本研究利用8个羽扇豆根系的磁共振图像数据集评估了这两个步骤的优点。通过比较自动重建和人工重建未改变和分割基于虚拟现实系统的核磁共振成像图像,我们发现U-Net分段提供手动重建的深刻好处:对于具有低CNR,高CNR图像增加27%。重建根长度增加分别下降了20%和3%。因此,本研究建议使用U-Net分割作为主图像手工工作流程中的预处理步骤。跟踪算法得到的根长度小于在这两种重建方法中,分割允许自动处理,否则不容易使用的核磁共振图像。尽管如此,基于模型的功能根特征显示了相似的水力自动和手动重建的行为。
2023年7月,Plant Phenomics在线发表了Juelich GmbH等单位题为3D U-Net Segmentation Improves Root System Reconstruction from 3D MRI Images in Automated and Manual Virtual Reality Work Flows 的研究论文。
虚拟现实场景中的人工重构工作流程如图4所示。在这个示意图中,虚拟现实中的视角保持不变。为了启动根系统跟踪,用户将扫描的原始图像文件加载到虚拟现实系统中(图4A)。然后,用户选择一个信号阈值,以便尽可能好地区分根和土壤。接下来,可以通过单击不透明等值面上的相应位置来定义父节点(即,tap/primary root的最上端)。一个圆形的圆盘出现在节点的位置,可以缩放到等边面的径向尺寸来定义节点半径。现在,用户沿着类似于tap/primary root的等值面并定义第二个节点(图4B)。一旦tap/primary root由2段组成(图4C),可以通过选择一个内部节点并绘制一个新的根段来创建侧根(图4D)。虚拟现实系统还允许对构造的根图进行修正和操作。
图4 基于VR应用程序图像的手动根系重建工作流程。所示为MRI扫描在不同信号下的行进立方体等值面阈值(灰色)和不同重建阶段用颜色编码的根顺序手工跟踪。(A) VR显示的MRI扫描原始图像(B)阈值调整为了提高根的可视性,绘制和调整第一个丝锥根段的半径。(C)重建主根,同时在潜在分支处创建节点点。(D)从下到上的侧面重建。(E)完成手工跟踪。(F) VR中的U-Net分割。工作流程M基于(A)M+和A基于分割图像(F)。
通过M、M+和A重建方法得到的8个羽扇豆根系的rsa如图5和图6所示。因此,本文观察到同一数据集的根系之间由于年龄差异而在外观上存在很大差异,而且在不同土壤基质中获得的2个数据集的根系之间也存在很大差异。对于生长在沙地中的根系(图5),我们可以观察到M+和M重建的根系长度的差异。除图5C中的根系外,所有的M+重建都包含了M示踪中不存在的根系。附加根主要是一阶根。我们还观察到在两种重建中检测到的一些根的长度略有增加,在M+重建中更长。除了M+重建中包含的额外根长度外,两种人工重建中存在的根在根序、根向和根位置方面的相似性非常高。因此,处理分割图像不会对人类决策产生太大影响,因为在处理原始MRI图像时也可以识别根。这一观察结果的一个例外是平均根半径,M+重建的根半径在质量上更大。
图5人工示踪M(左),分割后的人工示踪M+(中),以及4个白豆根系(A至D)在MRI扫描得到的沙中生长的自动示踪A(右)。重建被裁剪以显示感兴趣的区域。颜色显示根的顺序,根段按各自的半径缩放。根系年龄在8 ~ 14 D之间。
图6人工示踪M(左),分割后的人工示踪M+(中),以及在MRI扫描土壤中生长的4个白豆根系(A至D)的自动示踪A(右)。重建被裁剪以显示感兴趣的区域。颜色显示根的顺序,根段按各自的半径缩放。根系年龄在8 ~ 15 D之间。
本研究发现通过3D U-Net进行超分辨率分割是MRI根重建管道的一个新的有益的基石,减少了人工重建时间,提高了根恢复率,并且通常可以实现低cnr数据的自动重建。此外,它还提供了一种在人工重建工作流程中标准化图像预处理的方法,减少了不同的人工重建者对导出几何形状的影响。因此,U-Net分割应该取代更简单的分割程序,如全局阈值,目前应用于手动和自动重建工作流程。对于自动跟踪算法,本研究可以证明U-Net分割和超分辨率在对高和低CNR数据进行跟踪时能够实现最先进的性能。然而,跟踪算法的拓扑决策和缺口闭合仍需进一步改进。未来目标是通过考虑缝隙闭合时的局部分支方向,并利用MRI时间序列数据中包含的不同生长阶段的根序信息来实现这些改进。如果对自动重建的目视检查发现了对预期用途至关重要的错误,则会提出混合工作流程。在这里,分割图像的自动重建可以用作在交互式VR环境中应用手动校正的支架。这种混合工作流程应该允许我们处理更多的根图像,同时保持最佳的重建质量。未来将进一步对此进行调查。
论文链接:
http://doi.org/10.34133/plantphenomics.0076
——推荐阅读——
Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud
http://doi.org/10.34133/2021/9838929
Plant Phenomics | Panicle-3D:水稻穗点云精确语义分割的高效表型工具
Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images
http://doi.org/10.34133/plantphenomics.0040
Plant Phenomics | 浙江大学发现一种融合快照光谱图像和RGB-D图像生成高质量三维多光谱植物点云的新方法
加入作者交流群
扫码添加小编微信,拉您进入《植物表型组学》作者交流群,群内不定期开展作者分享会、专刊发布会等高质量活动。
添加小编微信,备注姓名+单位+PP,加入作者交流群
About Plant Phenomics
《植物表型组学》(Plant Phenomics)是由南京农业大学和美国科学促进会(AAAS)合作创办的英文学术期刊,于2019年1月正式上线发行。采用开放获取形式,刊载植物表型组学交叉学科热点领域具有突破性科研进展的原创性研究论文、综述、数据集和观点。具体范围涵盖高通量表型分析的最新技术,基于图像分析和机器学习的表型分析研究,提取表型信息的新算法,作物栽培、植物育种和农业实践中的表型组学新应用,与植物表型相结合的分子生物学、植物生理学、统计学、作物模型和其他组学研究,表型组学相关的植物生物学等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等数据库收录。科睿唯安JCR2022影响因子为6.5,位于农艺学、植物科学、遥感一区。中科院农艺学、植物科学一区,遥感二区,生物大类一区(TOP期刊)。2020年入选中国科技期刊卓越行动计划高起点新刊项目。
说明:本文由《植物表型组学》编辑部负责组稿。
中文内容仅供参考,一切内容以英文原版为准。
撰稿:董明霞
排版:苏梓钰(南京农业大学)
审核:孔敏、王平