基于领域知识的A型主动脉夹层综合分割及面向临床的评估|文献速递-深度学习医疗AI最新文献
Title
题目
Domain knowledge based comprehensive segmentation of Type-A aortic dissection with clinically-oriented evaluation
基于领域知识的A型主动脉夹层综合分割及面向临床的评估
01
文献速递介绍
A型主动脉夹层(TAAD)是一种医疗急症,其特征是主动脉内膜突然撕裂,导致血液强力进入主动脉壁的中层(克里亚多,2011年;朱等人,2020年)。A型主动脉夹层的年发病率约为十万分之三(哈里斯等人,2011年)。如果不及时进行手术治疗,A型主动脉夹层的预后情况很严峻,发病后每小时的死亡率约为1%,未经治疗的患者在三天内的死亡率达50%。尽管手术技术在不断进步,但如今手术死亡率仍高达12%(克里亚多,2011年)。 快速诊断、预后预测和手术规划对于A型主动脉夹层患者的生存至关重要(袁等人,2022年)。全面了解患者的解剖结构和相关特征是完成这些任务的关键(尼恩贝格尔等人,2016年)。然而,解剖结构和相关特征相当复杂。如图1所示,在典型的A型主动脉夹层中,主动脉原本单一的管腔被分成了两个不同的部分:真腔(TL)和从升主动脉开始的假腔(FL)(戴利等人,1970年)。分析与假腔相连的血管,真腔和假腔之间的撕裂位置如图1(b)和(c)所示。在当前的临床实践中,增强计算机断层扫描(CT)是A型主动脉夹层诊断和手术规划中最常用的成像方法(埃贝尔等人,2001年)。放射科医生和主动脉外科医生会对CT图像进行全面评估,因此,诸如撕裂位置(LOT)(古里等人,2024年)、分支血管受累情况(BVI)(王等人,2023年)、假腔面积比(FLAR)(五十岚等人,2022年;金等人,2022年)以及由夹层导致的真腔塌陷(TLC)(钟等人,2000年)等解剖特征(图1(a)和(c))会被识别出来,并在手术规划中加以考虑。最近,如图1(b)所示,对相关解剖结构的手动分割已应用于临床实践,为临床医生生动地展示了解剖结构和相关特征(马斯特罗迪卡萨等人,2022年)。然而,由于所需时间和专业知识要求较高,在临床实践中,对夹层主动脉的手动分割并非常规操作。 目前,A型主动脉夹层的自动分割已成为医学人工智能研究领域的热门话题。为了讨论的全面性,我们也将B型主动脉夹层的分割方法纳入其中,因为它与A型主动脉夹层具有相似的解剖结构。需要注意的是,根据斯坦福分类法(戴利等人,1970年),A型意味着夹层累及升主动脉,而B型意味着夹层不累及升主动脉。由于A型主动脉夹层的分割涉及识别复杂多变的结构,如真腔、假腔和撕裂部位,现有研究根据特定的应用特征来调整其实现方式。一些研究结合了主动脉结构特有的形态学特征,以提高分割性能(陈等人,2021年;吕等人,2021年;赵等人,2022年),而另一些研究则先对整个主动脉进行分割,然后细化真腔和假腔等局部的分类(曹等人,2019年;于等人,2021年;冯等人,2023年)。此外,张等人(2023b)利用半监督学习,充分利用标记数据和未标记数据,以较低的标注成本实现了更好的分割性能。 总体而言,现有研究存在两个局限性。(1)缺乏全面的公开数据集。以往的研究没有考虑主动脉、其分支动脉以及周围解剖结构之间的关系,而是主要关注区分主动脉的真腔和假腔。然而,描绘撕裂位置、分支血管受累情况、假腔面积比和真腔塌陷等特征对于指导临床实践至关重要。仅仅识别主动脉管腔的不同部分是不够的。此外,目前仍然缺乏公开可用的高质量A型主动脉夹层数据集,这导致人工智能研究人员对其关注有限。(2)缺乏面向临床的评估。用于评估分割结果的通用指标存在局限性,仅关注像素级别的准确性,而没有考虑临床特征。这种差距导致评估的分割性能与实际临床适用性之间存在差异。总之,目前缺乏一个全面且通用的基准来有效地评估各种分割模型。 为了解决上述局限性并推动该领域的发展,我们提出了imageTAAD,这是首个具有面向临床评估的A型主动脉夹层全面分割数据集。该数据集包含120个病例,每个病例都由医学专家标注了35个前景类别,包括主动脉、相关分支动脉和主要器官,反映了A型主动脉夹层诊断、预后预测和手术规划的临床需求。此外,基于临床实践,我们确定了A型主动脉夹层的四个关键临床特征:撕裂位置(LOT)(魏斯等人,2012年;古里等人,2024年)、分支血管受累情况(BVI)(王等人,2023年)、假腔面积比(FLAR)(江等人,2023年)和真腔塌陷(TLC)(钟等人,2000年)。为了评估这些特征,我们提出了一套新的分割评估标准,包括从分割结果中提取特征的方法和计算指标。这些标准旨在评估分割结果是否准确反映了关键临床特征,而不仅仅是关注像素级别的准确性。我们提出的评估标准更符合实际临床适用性。毕竟,临床医生更关心分割结果是否能准确反映相关临床特征,而不是整体Dice相似系数(DSC)分数的微小提升。基于imageTAAD数据集,我们对各种先进的医学分割方法进行了一致的比较和评估,包括通用分割指标和我们新提出的临床特征指标,从而能够根据标准化标准更有效地评估算法。 此外,我们提出了SegTAAD,一种用于A型主动脉夹层全面分割的基线方法。SegTAAD利用了两条领域知识:(1)不同解剖部位的边界在临床特征评估中起着关键作用,并且可以提高分割性能;(2)撕裂位于真腔和假腔之间。因此,使用了两个解码器。具体来说,一个用于分割所有类别,另一个用于分割边缘和撕裂部位。用于分割撕裂和边缘的解码器的输出会输入到用于分割所有类别的解码器中,以提高性能。我们使用了多种深度神经网络架构进行了广泛的实验,包括基于卷积神经网络(CNN)的网络,如nnUNet(伊森塞等人,2021年)、MedNeXt(罗伊等人,2023年)、3DUXNet(李等人,2022年)和BANet(胡等人,2022年),基于Transformer的网络,即TransBTS(文轩等人,2021年)、nnformer(周等人,2021年)、UNETR(哈塔米扎德等人,2022年)、UTNet(高等人,2021年)、TransFuse(张等人,2021年)和SwinUNETR(哈塔米扎德等人,2021年),以及一个基于Mamba的网络Umamba(马等人,2024年)。实验结果表明,在整体DSC分数、95%豪斯多夫距离和四个临床特征方面,我们的方法在ImageTAAD数据集上达到了当前最先进的性能。我们还发现了一个有趣的现象,即较高的DSC分数并不一定意味着在临床特征提取方面具有更高的准确性。然而,DSC分数(64.01%)和临床特征的准确性(精确率,0.62–0.69;召回率,0.63–0.80)对于可靠的诊断应用来说仍然太低。 本文的主要贡献如下: - 我们提出了ImageTAAD,这是首个具有面向临床评估的A型主动脉夹层全面分割数据集。它由120个病例组成,标注了35个前景类别。该数据集为开发和评估用于A型主动脉夹层诊断和治疗的先进分割算法提供了坚实的基础。 - 基于提出的数据集,我们引入了四个分割评估指标,以更好地评估临床相关性。这个评估标准可以准确反映一种方法提取四个关键临床特征的实际能力。 - 我们提出了SegTAAD,一种用于A型主动脉夹层全面分割的基线方法。SegTAAD利用领域知识,通过使用两个专门的解码器来优化其性能:一个专门用于分割所有类别,而另一个专门用于分割边缘和撕裂部位。此外,撕裂和边缘分割解码器的输出被整合到全类别分割解码器中。 - 实验结果表明,在DSC分数、95%豪斯多夫距离和四个临床特征方面,我们的方法在ImageTAAD数据集上达到了当前最先进的性能。我们还发现了一个有趣的现象,即较高的DSC分数并不一定意味着临床特征提取的准确性高。
Abatract
摘要
Type-A aortic dissection (TAAD) is a cardiac emergency in which rapid diagnosis, prognosis prediction, andsurgical planning are critical for patient survival. A comprehensive understanding of the anatomic structuresand related features of TAAD patients is the key to completing these tasks. However, due to the emergent natureof this disease and requirement of advanced expertise, manual segmentation of these anatomic structuresis not routinely available in clinical practice. Currently, automatic segmentation of TAAD is a focus of thecardiovascular imaging research. However, existing works have two limitations: no comprehensive publicdataset and lack of clinically-oriented evaluation. To address these limitations, in this paper we proposeimageTAAD, the first comprehensive segmentation dataset of TAAD with clinically-oriented evaluation. Thedataset is comprised of 120 cases, and each case is annotated by medical experts with 35 foreground classesreflecting the clinical needs for diagnosis, prognosis prediction and surgical planning for TAAD. In addition,we have identified four key clinical features for clinically-oriented evaluation. We also propose SegTAAD, abaseline method for comprehensive segmentation of TAAD. SegTAAD utilizes two pieces of domain knowledge:(1) the boundaries play a key role in the evaluation of clinical features, and can enhance the segmentationperformance, and (2) the tear is located between TL and FL. We have conducted intensive experiments witha variety of state-of-the-art (SOTA) methods, and experimental results have shown that our method achievesSOTA performance on the ImageTAAD dataset in terms of overall DSC score, 95% Hausdorff distance, andfour clinical features. In our study, we also found an interesting phenomenon that a higher DSC score doesnot necessarily indicate better accuracy in clinical feature extraction. All the dataset, code and trained modelshave been published (Xiaowei, 2024).
A型主动脉夹层(TAAD)是一种心脏急症,对于此类病症,快速诊断、预后预测以及手术规划对患者的生存来说至关重要。全面了解A型主动脉夹层患者的解剖结构和相关特征是完成这些任务的关键。然而,由于这种疾病的紧急性以及对专业知识的高要求,在临床实践中,对这些解剖结构进行手动分割并非常规操作。目前,A型主动脉夹层的自动分割是心血管成像研究的一个重点。然而,现有的研究工作存在两个局限性:没有全面的公开数据集,并且缺乏面向临床的评估。 为了解决这些局限性,在本文中我们提出了imageTAAD,这是首个具备面向临床评估的A型主动脉夹层全面分割数据集。该数据集由120个病例组成,每个病例都由医学专家标注了35个前景类别,这些类别反映了对A型主动脉夹层进行诊断、预后预测和手术规划的临床需求。此外,我们还确定了四个用于面向临床评估的关键临床特征。 我们还提出了SegTAAD,一种用于A型主动脉夹层全面分割的基线方法。SegTAAD利用了两条领域知识:(1)边界在临床特征评估中起着关键作用,并且能够提高分割性能;(2)撕裂位于真腔(TL)和假腔(FL)之间。我们使用了各种最先进的(SOTA)方法进行了大量实验,实验结果表明,在整体Dice相似系数(DSC)得分、95%豪斯多夫距离以及四个临床特征方面,我们的方法在ImageTAAD数据集上达到了最先进的性能水平。 在我们的研究中,我们还发现了一个有趣的现象,即较高的DSC得分并不一定意味着在临床特征提取方面具有更高的准确性。所有的数据集、代码和训练好的模型均已发布(Xiaowei,2024)。
Method
方法
4.1. SegTAAD
In this section, we introduce the proposed SegTAAD for comprehensive segmentation of TAAD. Note that our primary objective is todesign a baseline network specifically tailored to the aortic dissectionsegmentation task, aiming to enhance model performance for thisparticular application rather than to develop a unified segmentationframework capable of handling both 2D and 3D tasks. Furthermore,as demonstrated in Section 5.2, experimental results from prior mainstream advanced frameworks reveal that 2D segmentation strugglesto capture all categories effectively, particularly smaller yet clinicallycritical features, such as tears, which are vital for prognosis. Based onthese observations, we concluded that 3D segmentation networks arebetter suited to address the unique challenges of TAAD segmentation.Consequently, our proposed SegTAAD is built upon a 3D segmentationframework. As shown in Fig. 7, SegTAAD consists of three majorcomponents: visual encoder, tear&boundary decoder, and enhancedsegmentation decoder. SegTAAD utilizes two pieces of domain knowledge: (1) the boundaries plays a key role in the evaluation of clinicalfeatures and can enhance the segmentation performance, and (2) thetear locates between TL and FL. Accordingly, two decoders are usedfor all class segmentation and edge and tear segmentation, respectively. This approach may helps mitigate the issue of imbalanced pixeldistribution between the tear and other regions.
4.1 SegTAAD 在本节中,我们介绍所提出的用于A型主动脉夹层(TAAD)全面分割的SegTAAD方法。请注意,我们的主要目标是设计一个专门为主动脉夹层分割任务量身定制的基线网络,旨在提升该特定应用场景下的模型性能,而非开发一个能够同时处理二维和三维任务的通用分割框架。此外,正如5.2节所展示的,先前主流先进框架的实验结果表明,二维分割难以有效地捕捉所有类别,尤其是那些较小但在临床上至关重要的特征,比如对预后至关重要的撕裂部位。 基于这些观察,我们得出结论:三维分割网络更适合应对A型主动脉夹层分割所面临的独特挑战。因此,我们提出的SegTAAD是建立在三维分割框架之上的。如图7所示,SegTAAD由三个主要部分组成:视觉编码器、撕裂与边界解码器以及增强型分割解码器。 SegTAAD利用了两条领域知识:(1)边界在临床特征评估中起着关键作用,并且能够提高分割性能;(2)撕裂位于真腔(TL)和假腔(FL)之间。因此,分别使用了两个解码器,一个用于所有类别的分割,另一个用于边缘和撕裂部位的分割。这种方法可能有助于缓解撕裂部位与其他区域之间像素分布不均衡的问题。
Conclusion
结论
In this study, we have established a new benchmark for comprehensive TAAD segmentation. This includes releasing the ImageTAADdataset to the public, proposing a series of innovative clinical feature metrics for evaluating this task, and inventing a solid baselinesegmentation framework named SegTAAD. The ImageTAAD datasetcomprises 120 cases, with 35 foreground categories annotated, essentialfor clinical and prognostic purposes. The publication of this dataset willfill existing gaps in fundamental resources and encourage researchersto further explore in this field, thereby fostering the development ofrelevant techniques. Besides the dataset, we propose the clinical featuremetrics mainly focusing on four clinical features which are highlyaligned with clinical application. We evaluate high-level features fromthe segmentation results to compare the clinical efficiency betweendifferent methods. Finally, we propose a novel network architecturenamed SegTAAD which is suitable for the TAAD segmentation task andhas surpassed all previous models in both general segmentation metricsand clinical feature metrics. The key insight is to integrate the tear andthe boundary to capture the local features of comprehensive categoriesto help enhance the final segmentation results.Furthermore, we have compared existing SOTA methods using theSegTAAD dataset and identified several unresolved or challenging issues. Although frameworks such as nnUNet are robust and generalizable, effectively tackling most medical segmentation tasks and outperforming existing methods, they still fall short in addressing thespecific problems presented in our proposed dataset and tasks. Evenour baseline method, which achieved SOTA results, exhibits limitationsin accuracy and offers room for improvement. The comprehensivesegmentation task of TAAD remains a challenging problem that requires further exploration, given its significance in clinical practice.Future work could focus on a more in-depth analysis under a cascadedframework and the development of more complex, targeted technicalinnovations tailored to the characteristics of aortic dissection tasks holdsignificant potential. Additionally, exploring how to leverage advancedlarge pre-trained models and multimodal information to enhance TAADsegmentation represents another promising direction.
在这项研究中,我们为全面的A型主动脉夹层(TAAD)分割建立了一个新的基准。这包括向公众发布ImageTAAD数据集,提出一系列用于评估该任务的创新性临床特征指标,以及发明一个名为SegTAAD的可靠的基线分割框架。ImageTAAD数据集包含120个病例,标注了35个前景类别,这对于临床和预后评估至关重要。该数据集的发布将填补基础资源方面的现有空白,并鼓励研究人员在这一领域进一步探索,从而推动相关技术的发展。 除了数据集之外,我们提出的临床特征指标主要关注与临床应用高度相关的四个临床特征。我们从分割结果中评估高级特征,以比较不同方法之间的临床效果。最后,我们提出了一种名为SegTAAD的新颖网络架构,它适用于TAAD分割任务,并且在通用分割指标和临床特征指标方面均超越了以往所有模型。关键在于将撕裂部位和边界信息进行整合,以捕捉全面类别的局部特征,从而有助于提升最终的分割结果。 此外,我们使用SegTAAD数据集对现有的最先进(SOTA)方法进行了比较,并确定了几个尚未解决或具有挑战性的问题。尽管像nnUNet这样的框架具有很强的鲁棒性和泛化能力,能够有效地处理大多数医学分割任务并优于现有方法,但在解决我们提出的数据集中的特定问题和任务时仍存在不足。即使是我们取得了SOTA结果的基线方法,在准确性方面也存在局限性,仍有改进的空间。鉴于TAAD的全面分割任务在临床实践中的重要性,它仍然是一个具有挑战性的问题,需要进一步探索。 未来的工作可以集中在级联框架下进行更深入的分析,以及开发更复杂、针对性更强的技术创新,这些创新针对主动脉夹层任务的特点具有巨大潜力。此外,探索如何利用先进的大型预训练模型和多模态信息来提升TAAD分割性能是另一个有前景的方向。
Results
结果
5.1. Experimental setup
The experiment was conducted using the Pytorch framework(Paszke et al., 2019) on a single NVIDIA RTX A40 GPU. Several existingSOTA deep network architectures for medical segmentation includingthe famous CNN-based networks such as nnUNet (Isensee et al., 2021),MedNeXt (Roy et al., 2023), 3DUXNet (Lee et al., 2022), and BANet (Huet al., 2022), Transformer-based networks, namely TransBTS (Wenxuanet al., 2021), nnformer (Zhou et al., 2021), UNETR (Hatamizadeh et al.,2022), UTNet (Gao et al., 2021), TransFuse (Zhang et al., 2021), andSwinUNETR (Hatamizadeh et al., 2021), and the Mamba-based networknamed Umamba (Ma et al., 2024) are adopted for comprehensiveevaluation. These methods have covered most, if not all, mainstream2D and 3D segmentation models.Regarding optimization recipe, nnUNet, BANet (Hu et al., 2022),and SegTAAD employed the stochastic gradient descent algorithm witha momentum of 0.99, whereas other methods were optimized usingAdamW (Loshchilov and Hutter, 2017). The initial learning rate was setat 0.01 for SegTAAD model, and other baseline methods aligned withthe learning rate settings used in the MedNeXt experiments (Roy et al.,2023). For 3D networks, the input patch size was 128 × 128 × 128and the batch size was 2, while the 2D networks utilized an inputpatch size of 512 × 512 and a batch size of 14. Additionally, the 2Dnetwork employed sampling of 2D slices from the training subjectsand processing in a shuffled manner to ensure that the model learnsfrom a diverse set of examples. The data augmentation techniques wasthe same as nnUNet: rotations, scalling, Gaussian noise, Gaussian blur,brightness, contrast, simulation of low resolution, gamma correctionand mirroring. The data was resampled to 1.0 mm × 1.0 mm × 1.0 mmspacing during both training and inference phases. The training processspanned 1000 epochs without deep supervision. In the testing stage,all experiments were performed using 50% patch overlap without anypost-processing. As to the loss function and training configurations, weadopt the settings used in Hu et al. (2022). To fairly compare withexisting medical segmentation methods, all baseline methods and ourproposed SegTAAD model were implemented in the nnUNet framework (Isensee et al., 2021). Such a uniform framework can serve asa neutral testbed for all models, ensuring no bias toward any networkin terms of patch size, spacing, augmentations, training, or evaluation.
5.1实验设置 本实验使用PyTorch框架(帕斯克等人,2019年),在单块英伟达RTX A40 GPU上进行。我们采用了几种现有的、在医学分割领域处于当前最先进水平(SOTA)的深度网络架构,其中包括著名的基于卷积神经网络(CNN)的网络,如nnUNet(伊森塞等人,2021年)、MedNeXt(罗伊等人,2023年)、3DUXNet(李等人,2022年)和BANet(胡等人,2022年),基于Transformer的网络,即TransBTS(文轩等人,2021年)、nnformer(周等人,2021年)、UNETR(哈塔米扎德等人,2022年)、UTNet(高等人,2021年)、TransFuse(张等人,2021年)和SwinUNETR(哈塔米扎德等人,2021年),以及基于Mamba的网络Umamba(马等人,2024年),以进行全面评估。这些方法涵盖了大多数(即便不是全部)主流的二维和三维分割模型。 在优化方案方面,nnUNet、BANet(胡等人,2022年)和SegTAAD采用了随机梯度下降算法,动量为0.99,而其他方法则使用AdamW算法进行优化(洛希洛夫和胡特,2017年)。SegTAAD模型的初始学习率设置为0.01,其他基线方法的学习率设置与MedNeXt实验(罗伊等人,2023年)中所使用的一致。对于三维网络,输入图像块大小为128×128×128,批量大小为2;而二维网络使用的输入图像块大小为512×512,批量大小为14。此外,二维网络从训练样本中对二维切片进行采样,并以打乱的方式进行处理,以确保模型能从多样化的样本集中进行学习。 数据增强技术与nnUNet相同:包括旋转、缩放、高斯噪声、高斯模糊、亮度调整、对比度调整、模拟低分辨率、伽马校正和镜像操作。在训练和推理阶段,数据都被重新采样为间距为1.0毫米×1.0毫米×1.0毫米的数据。训练过程在没有深度监督的情况下进行了1000个epoch。在测试阶段,所有实验都采用50%的图像块重叠进行,且不进行任何后处理操作。 至于损失函数和训练配置,我们采用了胡等人(2022年)所使用的设置。为了与现有的医学分割方法进行公平比较,所有基线方法和我们提出的SegTAAD模型都在nnUNet框架(伊森塞等人,2021年)中实现。这样一个统一的框架可以作为所有模型的中立测试平台,确保在图像块大小、间距、数据增强、训练或评估等方面不会对任何网络产生偏向。
Figure
图
Fig. 1. 3D and 2D views of TAAD from CT images. (a) The 3D aortic dissection extracted from the Philips Vue picture archiving and communication system.1(b) Detailed 3D visualizations of the tear, false lumen, and true lumen structures. Thetop inset zooms in on the false lumen, and the bottom inset on the true lumen. (c)Cross-sectional images showing the tear in both transverse and sagittal planes, circledfor clarity
图1:A型主动脉夹层(TAAD)的CT图像的三维和二维视图。(a) 从飞利浦Vue图像存储与通信系统中提取的三维主动脉夹层图像。1 (b) 撕裂部位、假腔和真腔结构的详细三维可视化图像。上方插图是假腔的放大图,下方插图是真腔的放大图。(c) 分别在横切面和矢状面显示撕裂部位的横截面图像,为清晰起见用圆圈标出。
Fig. 2. Voxels and basic information distribution of ImageTAAD. The vertical scales vary across the sub-figures, highlighting the highly unbalanced distribution among differentcategories. (a) Voxel distribution across aortic sections. (b) Voxel distribution of organs, tears, and bone. (c) Voxel distribution across false lumen categories. (d) Voxel distributionof branch arteries. IQR: interquartile range. (e) Age distribution. (f) Gender distribution. (g) CT scanner types distribution. PB iCT 256: Philips Brilliance iCT 256; S SOMATOMF: Siemens SOMATOM Force.
图2:ImageTAAD数据集的体素及基本信息分布情况。各子图的纵轴刻度有所不同,突显了不同类别之间高度不均衡的分布状态。(a) 主动脉各部分的体素分布。(b) 各器官、撕裂部位以及骨骼的体素分布。(c) 假腔各类别的体素分布。(d) 分支动脉的体素分布。IQR:四分位距。(e) 年龄分布。(f) 性别分布。(g) CT扫描仪类型分布。PB iCT 256:飞利浦Brilliance iCT 256型;S SOMATOM F:西门子SOMATOM Force型。
Fig. 3. Example of 3D rendering labels in ImageTAAD, with 35 annotated categories listed on the left. For the specific names corresponding to each class label number, pleaserefer to Table 2. (a) and (f) display all annotated types, while (b), (c), and (d), (e) provide visualizations with bones and organs removed for clear internal visualization.
图3:ImageTAAD数据集中三维渲染标注的示例,左侧列出了35个已标注的类别。关于每个类别标签编号对应的具体名称,请参考表2。(a)和(f)展示了所有已标注的类型,而(b)、(c)以及(d)、(e)在去除了骨骼和器官后进行了可视化呈现,以便清晰地展示内部结构。
Fig. 4. LOT and associated label categories. ‘‘E’’ signifies the entry point of the tear,with 4 distinct scenarios each corresponding to a specific label: ‘‘E0’’ denotes the tearis unclear or invisible; ‘‘E1’’ denotes the tear is located in the ascending aorta; ‘‘E2’’denotes the tear is located in the aortic arch; and ‘‘E3’’ denotes the tear is located inthe descending aorta or below
图4:撕裂位置(LOT)及相关的标注类别。“E”表示撕裂的入口点,存在4种不同的情形,每种情形对应一个特定的标注:“E0”表示撕裂情况不清晰或不可见;“E1”表示撕裂位于升主动脉;“E2”表示撕裂位于主动脉弓;“E3”表示撕裂位于降主动脉或其下方。
Fig. 5. Example of BVI in TAAD. Branch arteries A and C are involved by thedissection, while branch artery B remains unaffected by the dissection.
图5:A型主动脉夹层(TAAD)中分支血管受累(BVI)的示例。分支动脉A和C受到了夹层的影响,而分支动脉B未受到夹层的影响。
Fig. 6. Example of FLAR in TAAD. The image presents a cross-section along thedirection of blood flow.
图6:A型主动脉夹层(TAAD)中假腔面积比(FLAR)的示例。该图像展示了沿血流方向的一个横截面。
Fig. 7. Overview of the proposed SegTAAD architecture. The input image is initiallyprocessed by a CNN encoder to generate multi-stage feature maps, and then the outputof the last stage is separately fed into two decoder branches. The tear&boundarydecoder uses convolutional blocks to merge skip features from the encoder. Theenhanced segmentation decoder is optimized with outputs from each stage of thetear&boundary decoder and encoder feature maps. Finally, it outputs the predictedsegmentation result
图7:所提出的SegTAAD架构概述。输入图像首先由一个卷积神经网络(CNN)编码器进行处理,以生成多阶段特征图,然后最后一个阶段的输出被分别馈送到两个解码器分支中。撕裂与边界解码器使用卷积模块来融合来自编码器的跳跃连接特征。增强型分割解码器利用撕裂与边界解码器每个阶段的输出以及编码器特征图进行优化。最后,它输出预测的分割结果。
Fig. 8. Assessment pipeline of FLAR in the aorta: (a) Extraction of aortic regions containing both the true and false lumens. (b) Identification of the true lumen’s centerline bycalculating its skeleton. (c) Generation of orthogonal cross-sections at each point along the centerline. (d) Volume calculation for each lumen within the orthogonal cross-sections,distinguishing between areas S1 (true lumen) and S2 (false lumen). The section exhibiting the largest proportion of the false lumen is used to determine FLAR𝑚𝑎𝑥, while all thesections are considered to calculate FLAR𝑎𝑣?
图8:主动脉中假腔面积比(FLAR)的评估流程:(a) 提取包含真腔和假腔的主动脉区域。(b) 通过计算真腔的骨架来确定其中心线。(c) 沿着中心线的每个点生成正交横截面。(d) 计算正交横截面内每个管腔的体积,区分面积S1(真腔)和面积S2(假腔)。假腔比例最大的横截面用于确定最大假腔面积比(FLAR𝑚𝑎𝑥),而在计算平均假腔面积比(FLAR𝑎𝑣? )时则考虑所有横截面。
Fig. 9. Comparison of FLAR𝑚𝑎𝑥 for each category. (a) and (b) show the prediction results of different methods compared to the ground truth and SegTAAD. (c) highlights thedistribution of the ground truth.
图9:各类别最大假腔面积比(FLAR𝑚𝑎𝑥)的比较。(a)和(b)展示了不同方法与真实标注以及SegTAAD的预测结果对比情况。(c)突出显示了真实标注的分布情况。
Fig. 10. Comparison of FLAR𝑎𝑣𝑔 for each category: (a) and (b) show the prediction results of different methods compared to the ground truth and SegTAAD. (c) highlights thedistribution of the ground truth.
图10:各分类的平均假腔面积比(FLAR𝑎𝑣𝑔)对比情况:(a)和(b)展示了不同方法与真实标注以及SegTAAD方法的预测结果对比。(c)突出呈现了真实标注的分布状况。
Fig. 11. 2D visualization comparison of important classes regarding TAAD including ICA, AS, AA, AAFL, DAO, DAOFL, Tear, ARCH, and ARCHFL. The first and second rowsillustrate the segmentation details of the true and false lumens. The third and fourth rows display the segmentation of tears, while the fifth row shows the segmentation of theintercostal arteries.
图11:关于A型主动脉夹层(TAAD)重要类别的二维可视化比较,这些类别包括颈内动脉(ICA)、升主动脉(AS)、升主动脉真腔(AA)、升主动脉假腔(AAFL)、降主动脉(DAO)、降主动脉假腔(DAOFL)、撕裂部位(Tear)、主动脉弓(ARCH)和主动脉弓假腔(ARCHFL)。第一行和第二行展示了真腔和假腔的分割细节。第三行和第四行显示了撕裂部位的分割情况,而第五行则展示了肋间动脉的分割结果。
Fig. 12. Visual comparison of segmentation results for the left and right iliac andfemoral arteries between ground truth, 2D models, and 3D models.
图12:真实标注、二维模型和三维模型在左右髂动脉及股动脉分割结果上的可视化比较。
Fig. 13. Examples of the incorrectly predicted left and right iliac arteries (RCIA andLCIA) in 3D and 2D views. Additional examples of the ground truth (RCIA and LCIA)in 3D and 2D views are included for comparison.
图13:在三维和二维视图中,左右髂动脉(右侧髂总动脉RCIA和左侧髂总动脉LCIA)预测错误的示例。同时还纳入了左右髂动脉(RCIA和LCIA)真实标注在三维和二维视图中的额外示例,以便进行对比。
Fig. 14. The correlation between the 𝐷𝑆𝐶 score and the 𝐹1𝑚𝑎𝑐𝑟𝑜 score for LOT. The𝑥*-axis represents the 𝐷𝑆𝐶 score, while the 𝑦-axis represents the 𝐹1𝑚𝑎𝑐𝑟𝑜 score.
图14:撕裂位置(LOT)的Dice相似系数(DSC)得分与宏平均F1值($F1{macro}$)得分之间的相关性。x轴表示DSC得分,而y轴表示$F1{macro}$得分。
Fig. 15. The correlation between the 𝐷𝑆𝐶 score and the 𝐹1𝑚𝑎𝑐𝑟𝑜 score for BVI. The𝑥*-axis represents the 𝐷𝑆𝐶 score, while the 𝑦-axis represents the 𝐹1𝑚𝑎𝑐𝑟𝑜 score.
图15:分支血管受累(BVI)的Dice相似系数(DSC)得分与宏平均F1值($F1{macro}$)得分之间的相关性。x轴表示DSC得分,y轴表示宏平均F1值($F1{macro}$)得分。
Fig. 16. The correlation between the 𝐷𝑆𝐶 score and the MAE for FLAR𝑚𝑎𝑥. The 𝑥-axisrepresents the 𝐷𝑆𝐶 score, while the 𝑦-axis represents the MAE score.
图16:最大假腔面积比(FLAR𝑚𝑎𝑥)的Dice相似系数(DSC)得分与平均绝对误差(MAE)之间的相关性。x轴表示DSC得分,而y轴表示MAE得分。
Fig. 17. The correlation between the 𝐷𝑆𝐶 score and the MAE for FLAR𝑎𝑣𝑔 . The 𝑥-axisrepresents the 𝐷𝑆𝐶 score, while the 𝑦-axis represents the MAE score
图17:平均假腔面积比(FLAR𝑎𝑣𝑔)的Dice相似系数(DSC)得分与平均绝对误差(MAE)之间的相关性。x轴表示DSC得分,而y轴表示MAE得分。
Fig. 18. The correlation between the 𝐷𝑆𝐶 score and the 𝐹1𝑚𝑎𝑐𝑟𝑜 for TLC𝑚𝑎𝑥. The 𝑥-axisrepresents the DSC score, while the 𝑦-axis represents the 𝐹1𝑚𝑎𝑐𝑟𝑜 score.
图18:最大管腔横截面积(TLC𝑚𝑎𝑥)的Dice相似系数(DSC)得分与宏平均F1值($F1{macro}$)之间的相关性。x轴表示DSC得分,而y轴表示宏平均F1值($F1{macro}$)得分。
Fig. 19. The correlation between the 𝐷𝑆𝐶 score and the 𝐹1𝑚𝑎𝑐𝑟𝑜 for TLC𝑎𝑣𝑔 . The 𝑥-axisrepresents the 𝐷𝑆𝐶 score, while the 𝑦-axis represents the 𝐹1𝑚𝑎𝑐𝑟𝑜 score
图19:平均管腔横截面积(TLC𝑎𝑣𝑔)的Dice相似系数(DSC)得分与宏平均F1值($F1{macro}$)之间的相关性。x轴表示DSC得分,而y轴表示宏平均F1值($F1{macro}$)得分。
Fig. 20. Impact of disease severity on the performance of clinical feature extraction.(a) Distribution of aortic dissection extent in the test set. (b) Correlation between FLARand disease severity.
图20:疾病严重程度对临床特征提取性能的影响。 (a) 测试集中主动脉夹层范围的分布情况。 (b) 假腔面积比(FLAR)与疾病严重程度之间的相关性。
Table
表
Table 1Overview of TAAD segmentation works and used datasets. For comprehensiveness of discussion, segmentation methods of type-B aortic dissection are also included here as theyshare a similar anatomic structure with TAAD. TL: true lumen; FL: false lumen; FLT: false lumen thrombus.
表1:A型主动脉夹层(TAAD)分割研究工作及所使用数据集概述。为了讨论的全面性,这里也纳入了B型主动脉夹层的分割方法,因为它们与A型主动脉夹层具有相似的解剖结构。TL:真腔;FL:假腔;FLT:假腔内血栓。
Table 235 annotated foreground categories in the ImageTAAD dataset. Each label is listedalongside its corresponding short form and full name.
表2:ImageTAAD数据集中已标注的35个前景类别。每个标签都与其对应的简称和全称一同列出。
Table 3General segmentation performance comparison on ImageTAAD in 𝐷𝑆𝐶 (%) and 𝐻𝐷95 (mm). O&B means organs and bone, TLA represents the true lumen of the aorta, BA meansbranch arteries, FL represents the false lumen. The best scores are marked in bold, and the second-best scores are underlined.
表3:在ImageTAAD数据集上,以Dice相似系数(DSC,%)和95%豪斯多夫距离(HD95,毫米)衡量的通用分割性能比较。O&B表示器官和骨骼,TLA代表主动脉真腔,BA表示分支动脉,FL代表假腔。最优分数以粗体标出,次优分数以下划线标出。
Table 4Clinical feature extraction performance comparison on LOT in precision, recall, 𝐹1𝑚𝑖𝑐𝑟𝑜, and 𝐹1𝑚𝑎𝑐𝑟𝑜. The highest scores are highlighted in bold, and the second-highest scores areunderlined
表4:在撕裂位置(LOT)方面,临床特征提取性能在精确率、召回率、微平均F1值($F1{micro}$)和宏平均F1值($F1{macro}$)上的比较。最高分数以粗体突出显示,第二高的分数以下划线标出。
Table 5Clinical feature extraction performance comparison on BVI in precision, recall, 𝐹1𝑚𝑖𝑐𝑟𝑜, and 𝐹1𝑚𝑎𝑐𝑟𝑜. SegTAAD is our proposed method for this task. The highest scores are highlightedin bold, and the second highest scores are underlined
表5:在分支血管受累(BVI)方面,临床特征提取性能在精确率、召回率、微平均F1值($F1{micro}$)和宏平均F1值($F1{macro}$)上的比较。SegTAAD是我们针对此任务提出的方法。最高分数以粗体突出显示,第二高的分数以下划线标出。
Table 6Clinical feature extraction performance comparison on FLAR𝑚𝑎𝑥 and FLAR𝑎𝑣𝑔 in both mean absolute error (MAE) and mean squared error (MSE). The lowest scores are highlightedin bold, and the second-lowest scores are underlined.
表6:在最大假腔面积比(FLAR𝑚𝑎𝑥)和平均假腔面积比(FLAR𝑎𝑣𝑔)方面,临床特征提取性能在平均绝对误差(MAE)和均方误差(MSE)上的比较。最低分数以粗体突出显示,第二低的分数以下划线标出。
Table 7Clinical feature extraction performance comparison on TLC𝑚𝑎𝑥 and TLC𝑎𝑣𝑔 in precision, recall, 𝐹1𝑚𝑖𝑐𝑟𝑜, and 𝐹1𝑚𝑎𝑐𝑟𝑜. The highest scores are highlighted in bold, and the secondhighest scores are underlined.
表7:在最大管腔横截面积(TLC𝑚𝑎𝑥)和平均管腔横截面积(TLC𝑎𝑣𝑔)方面,临床特征提取性能在精确率、召回率、微平均F1值($F1{micro}$)和宏平均F1值($F1{macro}$)上的比较。最高分数以粗体突出显示,第二高的分数以下划线标出。
Table 8Ablation study on ImageTAAD dataset. CF36 means that the number of convolutional filters is 36. TBD stands for usingTear&boundary decoder. P stands for adding the projection blocks prior to concatenating the encoder features with the outputfeatures of tear&boundary decoder
表8:在ImageTAAD数据集上进行的消融实验。CF36表示卷积滤波器的数量为36。TBD表示使用撕裂与边界解码器。P表示在将编码器特征与撕裂与边界解码器的输出特征进行拼接之前添加投影模块。