一种血管造影图像处理方法和系统与流程

1.本说明书涉及图像处理领域，特别涉及一种血管造影图像的处理方法和系统。

背景技术：

2.冠状动脉粥样硬化性心脏病(冠心病)是严重威胁我国居民健康和生活质量的重大慢性疾病，其中约20％-25％的病例被诊断为慢性完全闭塞(chronic total occlusion，cto)病变。在介入手术中，通常会利用数字减影血管造影(digital subtraction angiography，dsa)技术实时采集病人的dsa图像，并基于dsa图像进行手术引导。然而，由于完全阻塞的血管在dsa图像中完全无法显影，并且阻塞区域的斑块构成与结构非常复杂，使得进行手术的医生无法判断术中闭塞区域导丝的前进方向，从而造成手术的失败以及并发症的出现。
3.因此，希望提供一种解决在在术中dsa图像在阻塞区域无法显影问题的图像处理方法和系统。

技术实现要素：

4.本说明书实施例之一提供一种血管造影图像处理方法。所述方法包括：获取与目标对象的心脏部位有关的扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像；基于所述扫描图像，确定冠脉分割结果；基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像；基于所述对齐造影图像和所述血管造影图像，生成目标造影图像。
5.本说明书实施例之一提供一种血管造影图像处理系统。所述系统包括：获取模块，用于获取与目标对象的心脏部位有关的扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像；分割模块，用于基于所述扫描图像，确定冠脉分割结果；对齐模块，用于基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像；配准模块，用于基于所述对齐造影图像和所述血管造影图像，生成目标造影图像。
6.本说明书实施例之一提供一种血管造影图像处理系统。所述系统包括：至少一个存储设备，用于存储计算机指令；以及至少一个处理器，所述处理器被配置为与所述至少一个存储设备通信，其中，当执行所述一组指令时，所述至少一个处理器被配置执行以下操作：获取扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像；基于所述扫描图像，确定冠脉分割结果；基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像；基于所述对齐造影图像和所述血管造影图像，生成目标造影图像。
附图说明
7.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
8.图1是根据本说明书一些实施例所示的图像处理系统的应用场景示意图；
9.图2是根据本说明书一些实施例所示的图像处理系统的模块图；
10.图3是根据本说明书一些实施例所示的图像处理方法的示例性流程图；
11.图4是根据本说明书一些实施例所示的图像处理方法的示例性流程图；
12.图5是根据本说明书一些实施例所示的确定冠脉分割结果的示例性流程图；
13.图6是根据本说明书一些实施例所示的确定冠脉分割结果的示例性流程图；
14.图7是根据本说明书一些实施例所示的生成对齐造影图像的示例性流程图；以及
15.图8是根据本说明书一些实施例所示的生成目标造影图像的示例性流程图。
具体实施方式
16.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
17.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
18.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
19.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
20.本说明书实施例提供了一种血管造影图像处理方法和系统。除非明确指出，本说明书中的血管造影图像指的是利用dsa技术采集的图像。特别地，本说明书实施例披露的血管造影图像处理方法可以应用于对介入手术中实时采集的患者的血管造影图像进行处理，例如，对该血管造影图像和患者的扫描图像(如电子计算机断层扫描(ct)图像、磁共振(mr)图像)进行配准。
21.具体地，可以通过获取扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像；基于扫描图像确定冠脉分割结果，基于冠脉分割结果和血管造影图像生成对齐造影图像；最后基于对齐造影图像生成目标造影图像。通过本说明书实施例所示的图像处理方法，可以将扫描图像中的三维解剖细节实时叠加于造影图像中，从而帮助确定造影图像中的无法显影的区域(例如，阻塞区域)，降低造影图像所用于的介入手术的风险，提高介入手术成功率。
22.图1为根据本说明书一些实施例所示的图像处理系统100的应用场景图。
23.如图1所示，该图像处理系统100可以包括成像设备110、网络120、处理设备130和
存储设备140。图像处理系统100中的多个组件可以直接或者通过网络120进行通讯。
24.成像设备110可以利用不同的媒介，将目标对象的结构重现为特定的医学图像。在一些实施例中，目标对象可以包括生物对象和/或非生物对象。例如，目标对象可以包括人身体的特定部分，例如颈部、胸部、腹部等，或其组合。在一些实施例中，成像设备110可以是使用多种成像技术的医学设备，例如，数字减影血管造影(dsa)设备、计算机x射线摄影系统(computed radiography，cr)、数字化x射线成像系统(digital radiography，dr)、计算机断层摄影(computed tomography，ct)设备、超声成像设备、荧光透视成像设备、磁共振成像(magnetic resonance imaging，mri)设备等，或其任意组合。在一些实施例中，成像设备110可以包括dsa设备，其可以用于在介入手术前或期间采集患者的血管造影图像。在一些实施例中，成像设备110可以包括ct设备，其可以在介入手术前采集患者的扫描图像(如计算机断层血管图像，cta图像)。以上提供的成像设备110仅用于说明目的，而非对其范围的限制。
25.在一些实施例中，成像设备110可以获取目标对象的图像，并将图像发送至处理设备120。在一些实施例中，所述目标对象的图像可以包括扫描图像和血管造影图像。例如，所述扫描图像可以为cta图像，所述血管造影图像可以为dsa图像。在一些实施例中，成像设备110获取的图像可以被保存在存储设备140中。在一些实施例中，成像设备110可以通过网络120接收来自终端(图中未显示)或处理设备130发送的成像指令，并可以将成像结果发送至处理设备130或存储设备140。在一些实施例中，图像处理系统100中的一个或多个组件(例如，处理设备130、存储设备140)可以包括在成像设备110内。
26.网络120可以包括有助于图像处理系统100交换信息和/或数据的任何适合的网络。在一些实施例中，图像处理系统100的一个或多个其他组件(例如，成像设备110、处理设备130、存储设备140等)可以通过网络120相互交换信息和/或数据。例如，处理设备130可以通过网络120从成像设备110获取图像数据。又例如，处理设备130可以通过网络120获取来自处理设备130的指令。网络120可以是和/或包括公共网络(例如，互联网)、专用网络(例如，局域网(lan)、广域网(wan)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、wi-fi网络等)、蜂窝网络(例如，lte网络)、帧中继网络、虚拟专用网络(“vpn”)、卫星网络、电话网络、路由器、集线器、转换器、服务器计算机和/或其中的一种或多种的组合。
27.处理设备130可以处理从成像设备110和/或存储设备140中获得的数据和/或信息。例如，处理设备130可以从成像设备110获取扫描图像，并对扫描图像进行分割处理以获得冠脉分割结果。在一些实施例中，处理设备130可以是一个服务器或一个服务器组。服务器组可以是集中式的或者分布式的。在一些实施例中，处理设备130可以是本地的或远程的。例如，处理设备130可以通过网络120访问存储在成像设备110和/或存储设备140的信息和/或数据。例如，处理设备130可以直接与成像设备110和/或存储设备140连接从而访问其存储的信息和/或数据。在一些实施例中，处理设备130可以在云平台上被执行。例如，云平台可以包括私有云、公有云、混合云、社区云、分布式云、互联云、多重云等种的一种或多种的组合。在一些实施例中，处理设备130可以由具有一个或多个组件的计算设备执行。在一些实施例中，处理设备130可以是成像设备110的一部分。
28.存储设备140可以存储数据、指令和/或其他信息。在一些实施例中，存储设备140可以存储从终端130和/或处理设备130中获得的数据。在一些实施例中，存储设备140可以
存储处理设备130为执行本说明书中描述的示例性方法所执行或使用的数据和/或指令。在一些实施例中，存储设备140可以包括大容量存储器、可移动存储器、易失读写存储器、只读存储器(rom)等中的一种或多种的组合。在一些实施例中，存储设备140可以在云平台上被执行。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等中的一种或多种的组合。在一些实施例中，存储设备140可以是处理设备130的一部分。
29.上述关于图像处理系统100的描述仅是示例性的。在一些实施例中，图像处理系统100可以包括一个或多个其他组件(例如，实现用户交互的终端)，或者不包括上文所述的一个或多个组件。或者，两个或以上的组件可以合并为一个组件。
30.图2是根据本说明书一些实施例所示的图像处理系统200的模块图。
31.如图2所示，该图像处理系统200可以包括获取模块210、分割模块220、对齐模块230和配准模块240。在一些实施例中，获取模块210、分割模块220、对齐模块230和配准模块240可以由处理设备130实现。
32.获取模块210可以用于获取与目标对象的心脏部位有关的扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像。在一些实施例中，所述血管造影图像可以进一步包括历史血管造影图像。关于的获取扫描图像和血管造影图像的更多内容可以参见步骤310的详细描述，在此不作赘述。
33.分割模块220可以用于基于扫描图像，确定冠脉分割结果。在一些实施例中，分割模块220可以基于扫描图像确定心脏环形带图像，并对心脏环形带图像进行分割，以生成冠脉粗分割图像。在一些实施例中，分割模块220可以基于冠脉追踪模型和冠脉粗分割图像确定冠脉分割结果。关于确定冠脉分割结果的更多内容可以参见步骤320和图5的详细描述，在此不作赘述。
34.对齐模块230可以用于基于冠脉分割结果和血管造影图像，生成对齐造影图像。在一些实施例中，对齐模块230可以基于冠脉分割结果和历史血管造影图像，生成对齐造影图像。在一些实施例中，对齐模块230可以基于初始变换矩阵，将冠脉分割结果映射为映射结果，所述映射结果为冠脉分割结果在至少一个参考角度上的映射结果。在一些实施例中，对齐模块230可以基于映射结果和血管造影图像中的血管分割结果，确定第二损失函数的值。在一些实施例中，对齐模块230可以通过迭代优化第二损失函数的值，更新初始变换矩阵以获得目标变换矩阵。在一些实施例中，对齐模块230可以基于目标变换矩阵和冠脉分割结果，生成所述对齐造影图像。关于生成对齐造影图像的更多内容可以参见步骤330和图7的详细描述，在此不作赘述。
35.配准模块240可以用于基于对齐造影图像和血管造影图像，生成目标造影图像。在一些实施例中，配准模块240可以基于对齐造影图像和实时血管造影图像，生成目标造影图像。在一些实施例中，配准模块240可以基于配准模型、对齐造影图像和实时血管造影图像，确定对齐造影图像到目标造影图像的变换场。在一些实施例中，配准模块240可以基于变换场，将对齐造影图像进行变换，以生成变换造影图像。在一些实施例中，配准模块240可以基于变换造影图像和实时血管造影图像，生成目标造影图像。关于生成目标造影图像的更多内容可以参见步骤340和图8的详细描述，在此不作赘述。
36.应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。
37.需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，例如，图2中披露的获取模块210、分割模块220、对齐模块230和配准模块240可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
38.图3是根据本说明书一些实施例所示的图像处理方法的示例性流程图。
39.如本说明书其他地方所描述的，由于介入手术的血管造影图像中存在无法显影的区域(例如，阻塞区域)，且该区域的构成与结构可能非常复杂，使得进行手术的医生无法判断术中闭塞区域导丝的前进方向。因此，需要一种图像处理方法，可以通过使用扫描图像来帮助确定血管造影图像中的无法显影的区域，从而降低介入手术的风险，提高介入手术成功率。
40.步骤310，获取与目标对象的心脏部位有关的扫描图像和血管造影图像。血管造影图像至少包括实时血管造影图像。在一些实施例中，步骤310可以由处理设备130或获取模块210执行。
41.在一些实施例中，目标对象可以至少包括人体的心脏部位。例如，目标对象可以是接受心脏介入手术的病人的胸部。又例如，对象可以是接受心脏介入手术的病人的上半身。
42.扫描图像是可以反映目标对象内部结构的解剖图像。在一些实施例中，扫描图像可以包括对象全身的解剖图像，也可以仅包括对象一部分的解剖图像，例如，心脏部位及周边部分。在一些实施例中，扫描图像可以是x光图像、计算机断层扫描(ct)图像、正电子发射断层扫描(pet)图像、单光子发射计算机断层图像(spect)、磁共振图像(mri)、超声波扫描(us)图像、磁共振血管造影术(mra)图像、时间飞跃法磁共振图像(tof-mri)、脑磁图(meg)等中的一种或多种的组合等中的一种多种。在一些实施例中，扫描图像可以是三维图像。在一些实施例中，扫描图像是在目标对象接受介入手术前拍摄的历史图像。
43.在一些实施例中，对于cto病变患者而言，所述扫描图像可以为ct血管造影(ct angiograph，cta)图像。所述cta图像为通过计算机断层扫描血管成像技术获取的医学图像，能较好反映血管的解剖结构。在一些实施例中，所述扫描图像还可以为冠状动脉ct造影(cardiac computed tomography angiography，ccta)图像。
44.血管造影图像是在目标对象中注入对比剂后拍摄得到的图像。在本说明书实施例中，所述血管造影图像为通过数字血管造影技术获得的血管造影图像，其可以反映目标对象骨骼或致密软组织环境中的血管。例如，血管造影图像可以反映目标对象心脏部位的冠脉的阻塞情况。在一些实施例中，血管造影图像可以至少包括实时血管造影图像。实时血管造影图像指的是利用数字血管造影技术在介入手术进行过程中、当前时刻拍摄的图像，其可以反映冠脉等心脏血管在当前时刻的实时状态。
45.在一些实施例中，血管造影图像可以进一步包括历史血管造影图像。历史血管造影图像指的是利用数字血管造影技术在历史时刻拍摄的图像。历史时刻可以是早于当前时刻的任何时刻，例如，当前时刻的前一秒、介入手术进行前等。在一些实施例中，历史血管造影图像和实时血管造影图像是在相同的拍摄参数下拍摄的，且扫描对象在两次拍摄时摆位
相同。在一些实施例中，历史时刻和当前时刻的时间间隔短于预设阈值。通常，血管状态在较短的时间间隔内不会发生明显变化，因此可以认为历史血管造影图像和实时血管造影图像中冠脉的位置和状态基本相同。在一些实施例中，血管造影图像可以为实时拍摄的dsa视频，其可以包括实时血管造影图像和一系列的历史血管造影图像。在本说明书实施例中，所述历史血管图像为实时拍摄的dsa视频中早于当前时刻所拍摄的图像。仅作为示例，若当前时刻为t，则历史血管图像可以为t-1时刻所拍摄的图像。在一些实施例中，所述血管造影图像为二维图像。
46.在一些实施例中，获取模块210可以从成像设备110获取扫描图像和/或血管造影图像，也可以从存储设备140中获取存储的扫描图像和/或血管造影图像。
47.步骤320，基于扫描图像，确定冠脉分割结果。在一些实施例中，步骤320可以由处理设备130或分割模块220执行。
48.冠脉分割结果是通过冠脉分割技术从扫描图像中将冠脉血管分割出来得到的结果。基于扫描图像(例如，三维cta图像)获取的冠脉分割结果可以反映冠脉血管的内部结构信息，从而帮助确定血管造影图像中的无法显影的区域。所述冠脉分割结果可以包括完整的冠脉血管，其中包括阻塞处的血管以及阻塞处周边血管。在一些实施例中，冠脉分割结果可以包括冠脉分割图像(例如，冠脉分割掩膜)，其可以表示为与扫描图像相同大小的三维图像。
49.在一些实施例中，处理设备130可以从扫描图像中分割心脏环形带，以确定心脏环形带图像。处理设备130可以再从心脏环形带图像中对冠脉进行粗分割，以生成冠脉粗分割图像。进一步地，处理设备130可以对冠脉粗分割图像进行冠脉追踪处理，从而生成最终的冠脉分割结果。心脏环形带和/或冠脉的分割可以基于任何图像分割技术进行。示例性的图像分割技术可以包括基于阈值的分割方法、基于区域增长的分割方法、基于边缘检测的分割方法、结合特定工具的图像分割方法(例如，遗传算法、小波分析、小波变换、主动轮廓模型等)、基于深度学习的分割方法(例如，基于特征编码、区域选择、rnn、上采样/反卷积、提高特征分辨率或特征增强的方法)。冠脉追踪处理可以包括基于卷积神经网络的方法、基于hessian矩阵的跟踪算法等。在一些实施例中，为了实现对冠脉血管准确且快速的分割，可以借助于深度学习网络对扫描图像进行处理。例如，处理设备130可以利用心脏分割模型、冠脉粗分割模型、冠脉追踪模型中的一种或多种来生成冠脉分割结果。关于如何确定冠脉分割结果的更多内容可以参见图5和图6的相关说明，在此不作赘述。
50.在一些实施例中，所述心脏分割模型、所述冠脉粗分割模型和冠脉追踪模型可以单独进行训练。在一些实施例中，所述冠脉粗分割模型和所述冠脉追踪模型也可以联合进行训练，并组成冠脉分割模型。在一些实施例中，所述心脏分割模型、粗分割模型以及冠脉追踪模型可以预先训练并存储在存储设备140中，处理设备130可以从存储设备中获取训练好的心脏分割模型、粗分割模型以及冠脉追踪模型。
51.步骤330，基于冠脉分割结果和血管造影图像，生成对齐造影图像。在一些实施例中，步骤330可以由处理设备130或对齐模块230执行。
52.为了帮助确定实时血管造影图像中的无法显影的区域，需要将冠脉分割结果与实时血管造影图像进行匹配，以将冠脉分割结果中的完整冠脉的内部结构信息与实时血管造影图像相结合。具体的，由于冠脉分割结果为三维图像，实时血管造影图像为二维图像，冠
脉中心线与血管造影图像参考坐标系不同，需要将冠脉中心线通过变换矩阵映射到所述实时血管造影图像中。
53.在一些实施例中，处理设备130可以基于冠脉分割结果和实时血管造影图像，生成对齐造影图像。具体的，可以通过全局对齐的方式，利用变换矩阵将冠脉分割结果中的冠脉中心线大致映射到实时血管造影图像中。在一些实施例中，当血管造影图像进一步包括历史血管造影图像时，处理设备130可以基于冠脉分割结果和历史血管造影图像，通过全局对齐的方式，生成对齐造影图像。当拍摄历史血管造影图像的历史时刻与当前时刻间隔较小时，基于历史血管造影图像生成的对齐造影图像也可以认为是将冠脉中心线大致映射到实时血管造影图像后生成的结果。由于历史血管造影图像和实时血管造影图像是在相同的拍摄参数下拍摄的，且扫描对象在两次拍摄时摆位相同，历史血管造影图像和实时血管造影图像中冠脉的位置是基本相同的(尤其在历史时刻和当前时刻的时间间隔比较小时，冠脉的状态也基本相同)，因此可以使用历史血管图像和分割出的冠脉分割结果提前生成对齐造影图像，只需实时将生成的对齐造影图像和实时血管造影图像生成目标图像即可，可以有效减少图像处理过程中的实时计算量，提高图像处理系统的运算速度。
54.在一些实施例中，处理设备130可以基于初始变换矩阵，将所述冠脉分割结果映射为映射结果，所述映射结果为所述冠脉分割结果在至少一个参考角度上的映射结果。在一些实施例中，处理设备130可以基于所述映射结果和所述血管造影图像中的血管分割结果，确定第二损失函数的值。在一些实施例中，处理设备130可以通过迭代优化所述第二损失函数的值，更新所述初始变换矩阵以获得目标变换矩阵。在一些实施例中，处理设备130可以基于所述目标变换矩阵和所述冠脉分割结果，生成所述对齐造影图像。
55.关于如何生成对齐造影图像的更多内容可以参见图7的相关说明，在此不作赘述。
56.步骤340，基于对齐造影图像和血管造影图像，生成目标造影图像。在一些实施例中，步骤340可以由处理设备130或配准模块240执行。
57.在一些实施例中，目标造影图像可以基于对齐造影图像和实时血管造影图像生成。上文所述的由于呼吸或者心脏跳动可能会导致冠脉结构和形状的差异，还需要进一步对对齐造影图像和实时血管造影图像进行配准，以生成最终需要的目标造影图像。所述目标造影图像是冠脉分割结果与实时血管造影图像精准融合而成的图像，可以用于帮助医护人员(例如，执行手术的医生)确定无法显影区域的血管走形以及大致的管腔结构，从而降低手术风险，提高介入手术的成功率。
58.在一些实施例中，处理设备130可以基于深度学习网络、对齐造影图像和实时血管造影图像，进行非刚性配准，从而生成目标造影图像。例如，处理设备130可以基于配准模型、所述对齐造影图像和所述血管造影图像，确定所述对齐造影图像到所述目标造影图像的变换场。进一步地，处理设备130可以基于所述变换场，将所述对齐造影图像进行变换，以生成变换造影图像。处理设备130可以再基于所述变换造影图像和所述血管造影图像，生成所述目标造影图像。
59.通过进行非刚性配准可以大幅提高三维冠脉中心线与二维实时血管造影图像之间的视觉一致性，同时该方法借助于深度学习模型的推理能力，可以显著缩短配准时间，从而实现实时配准。
60.关于如何生成目标造影图像的更多内容可以参见图8的相关说明，在此不作赘述。
61.应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
62.图4是根据本说明书一些实施例所示的图像处理方法的示例性流程图。
63.如图4所示，本说明书实施例所述的图像处理方法中，首先需要获取目标对象(例如，接受手术的患者)的cta图像数据以及造影图像数据，再通过冠脉分割技术从cta图像数据中分割出冠脉图像数据，最后将冠脉图像数据与造影图像数据进行对齐和配准，从而获得冠脉图像数据与造影图像数据的实时融合图像，即为目标造影图像。在一些实施例中，造影图像数据可以是实时血管造影图像。在一些实施例中，造影图像数据可以进一步包括历史血管造影图像。在对冠脉图像数据与造影图像数据进行对齐和配准时，可以先将冠脉图像数据和历史血管造影图像进行全局配准，生成对齐造影图像。进一步地，可以将对齐造影图像和实时血管造影图像进行精细配准，生成目标造影图像。
64.图5是根据本说明书一些实施例所示的确定冠脉分割结果的示例性流程图。
65.在一些实施例中，流程500可以用于实现流程300中的步骤320。
66.步骤510，基于扫描图像，确定心脏环形带图像。在一些实施例中，步骤510可以由处理设备130或分割模块220执行。
67.在一些实施例中，处理设备130可以基于扫描图像，确定心脏部位图像。所述心脏部位图像为从扫描图像中分割出的仅包括心脏部位的图像。在一些实施例中，处理设备130可以基于训练好的心脏分割模型，将包含心脏部位的扫描图像输入至所述心脏分割模型，心脏分割模型可以输出心脏部位图像。在一些实施例中，所述扫描图像可以为cto病变患者的三维cta图像。在一些实施例中，心脏分割模型可以为器官勾画模型。
68.进一步地，处理设备130可以基于心脏部位图像确定环形带位置，以生成心脏环形带图像。由于冠脉血管基本上分布在环绕心脏部位一周的位置，可以考虑优先生成心脏环形带图像，从而确定冠脉所处的大致区域。在一些实施例中，所述心脏环形带图像为三维图像。在一些实施例中，处理设备130可以基于腔内距离以及腔外距离，在心脏部位图像中分割出心脏环形带图像。在所述环形带区域内，冠脉血管出现的概率非常大，而在所述环形带区域外，冠脉血管的出现概率则非常小。
69.步骤520，对心脏环形带图像进行分割，以生成冠脉粗分割图像。在一些实施例中，步骤520可以由处理设备130或分割模块220执行。
70.所述冠脉粗分割图像为所述心脏环形带图像经过初始冠脉分割后获得的图像。冠脉粗分割图像具有较大的图像视野，可以利用心脏结构，有效区分冠脉血管和邻近区域的静脉(例如，被显影剂增强的静脉)，以避免将冠脉血管之外的血管误判冠脉血管。在一些实施例中，处理设备130可以通过图像分割算法或图像分割模型生成冠脉粗分割图像。
71.在一些实施例中，处理设备130可以基于训练好的冠脉粗分割模型，将心脏环形带图像输入至所述冠脉粗分割模型，从而输出冠脉粗分割图像。在一些实施例中，冠脉粗分割模型可以为传统分割算法模型。例如，传统分割算法可以包括但不限于阈值法、区域生长法、边缘检测法等中的一种或多种的组合。在一些实施例中，粗分割模型可以是结合特定工具的图像分割算法模型。例如，结合特定工具的图像分割算法可以包括但不限于遗传算法、小波分析、小波变换、主动轮廓模型等中的一种或多种的组合。在一些实施例中，所述冠脉
粗分割模型可以是神经网络模型，其可以利用标注了冠脉区域的样本心脏环形带图像训练而成。
72.在一些实施例中，所述冠脉粗分割模型可以单独进行训练，也可以与后文所述的冠脉追踪模型进行联合训练。
73.步骤530，基于冠脉追踪模型和冠脉粗分割图像确定冠脉分割结果。在一些实施例中，步骤530可以由处理设备130或分割模块220执行。
74.考虑到冠脉血管结构的复杂性和高变异性，且血管细长而图像分辨率有限，冠脉粗分割图像中的冠脉血管往往存在断裂，影响临床实际使用。因此，还需要进一步对冠脉粗分割图像进行处理。在一些实施例中，处理设备130可以通过深度学习方法，对冠脉粗分割图像进行冠脉追踪，以完善冠脉分割结果。
75.在一些实施例中，处理设备130可以基于冠脉追踪模型和冠脉粗分割图像确定冠脉分割结果。例如，处理设备130可以将冠脉粗分割图像输入至所述冠脉追踪模型，冠脉追踪模型可以输出冠脉分割结果。在一些实施例中，所述冠脉追踪模型可以是神经网络模型。例如，冠脉追踪模型可以包括但不限于全卷积网络模型、视觉几何组网络模型、高效神经网络模型、全分辨率残差网络模型、掩码区域卷积神经网络模型、多维循环神经网络模型等中的一种或多种的组合。
76.在一些实施例中，所述冠脉追踪模型的训练可以基于大量带有标签的粗分割训练样本得到。例如，可以将多个带有标签的粗分割训练样本输入初始冠脉追踪模型，通过标签与初始冠脉追踪模型的输出结果计算第一损失函数的值，并基于第一损失函数的值迭代更新初始冠脉追踪模型的参数。当满足预设条件时模型训练完成，得到训练好的冠脉追踪模型。其中，预设条件可以是第一损失函数收敛、迭代的次数达到阈值等。在一些实施例中，粗分割训练样本至少可以包括样本冠脉粗分割图像。标签可以包括冠脉追踪标签以及冠脉中心线追踪标签。冠脉追踪标签可以包括金标准的冠脉分割结果。冠脉中心线追踪标签可以包括金标准的冠脉中心线提取结果。训练标签可以通过人工标注获得。
77.在对心脏环形带图像进行粗分割的过程中，由于cto病变闭塞段内无对比剂充盈、显影浅淡，易造成分割断裂情况的出现。因此，可以在使用神经网络学习冠脉分割过程中加入冠脉中心线损失项(centerline dice loss，cldice)，即在第一损失函数中添加冠脉中心线损失项，从而保证冠脉连续管状的拓扑结构，降低cto病变处分割断裂的情况。
78.在一些实施例中，所述冠脉追踪模型的第一损失函数可以包括冠脉中心线损失项，所述冠脉中心线损失项与冠脉追踪结果、冠脉追踪标签、冠脉中心线追踪结果和冠脉中心线追踪标签相关。例如，所述冠脉追踪模型的第一损失函数可以通过以下公式(1)表示：lc＝(1-α)(1dice)+α(1-cldice)
ꢀꢀꢀꢀꢀ
(1)其中，dice为冠脉损失项，cldice为冠脉中心线损失项，α为权重。在模型训练过程中，权重α可以根据实际情况进行调整，以保证通过模型获得的血管图像的完整性。在一些实施例中，权重α可以通过交叉验证来设定。在一些实施例中，权重α可以与待处理的冠脉粗分割图像或样本冠脉粗分割图像的断裂情况相关联。仅作为示例，若血管断裂的情况很少，则权重α可以设定为较小的值，反之则可以设定为较大的值。
79.在一些实施例中，冠脉损失项dice与模型对整体冠脉进行检测的准确度有关，冠脉中心线损失项cldice对冠脉中心线进行检测的准确度有关。在一些实施例中，可以通过
以下公式(2)计算得出，冠脉中心线损失项cldice可以通过以下公式(3)计算得出：以下公式(2)计算得出，冠脉中心线损失项cldice可以通过以下公式(3)计算得出：其中，v
l
为冠脉追踪结果，表示模型训练过程中输出的冠脉分割结果；v
p
为冠脉追踪标签，表示训练样本中金标准的冠脉分割结果；s
l
为冠脉中心线追踪结果，表示模型训练过程中输出的冠脉分割结果中提取出的冠脉中心线；s
p
为冠脉中心线追踪标签，表示训练样本中金标准的冠脉中心线。tprec(s
p
,v
l
)为拓扑精确度，表示s
p
落在v
l
中的比例，用于衡量模型输出的中心线检测结果的完整性；tsens(s
l
,v
p
)为拓扑敏感度，表示s
l
落在v
p
中的比例，用于衡量模型输出的中心线检测结果的准确性。若拓扑精确度和拓扑敏感度越大，则可以表示通过冠脉追踪模型得到的冠脉分割结果越精确。通过设计冠脉中心线损失项，可以有效提高冠脉追踪模型得到的冠脉分割结果的完整性，减少血管断裂。
80.在一些实施例中，拓扑精确度tprec(s
p
,v
l
)可以通过以下公式(4)计算得出，拓扑敏感度tsens(s
l
,v
p
)可以通过以下公式(5)计算得出：)可以通过以下公式(5)计算得出：
81.在一些实施例中，所述冠脉追踪模型可以单独进行训练，也可以与冠脉粗分割模型进行联合训练。在一些实施例中，所述冠脉粗分割模型和所述冠脉追踪模型可以联合进行训练，并组成冠脉分割模型。其中，冠脉分割模型的训练方式与冠脉追踪模型的训练方式类似，区别在于训练样本可以为大量带有标签的心脏环形带图像，标签同样可以包括冠脉追踪标签结果以及冠脉中心线追踪标签。在一些实施例中，所述冠脉分割模型的第一损失函数也可以包括冠脉中心线损失项，所述冠脉中心线损失项与冠脉追踪结果、冠脉追踪标签、冠脉中心线追踪结果和冠脉中心线追踪标签相关。
82.通过先生成冠脉粗分割图像，再利用冠脉追踪的方式生成冠脉分割结果，可以提高冠脉分割准确性和效率。在一些实施例中，冠脉粗分割模型的训练样本可以包括完整的样本冠脉粗分割图像，使冠脉分割模型可以学习到图像的全局特征(例如，冠脉的走形)，从而区分静脉、冠脉等管状组织。冠脉追踪模型的训练样本可以是从样本冠脉粗分割图像中沿着血管剪裁的图像块，从而使冠脉追踪模型可以学习血管的局部特征。同时，通过增加冠脉中心线损失项cldice的使用，可以提高冠脉追踪结果的连通性。
83.应当注意的是，上述有关流程500的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程500进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，步骤510可以省略，可以直接对扫描图像进行冠脉分割，以得到冠脉粗分割图像。又例如，步骤520和530可以合并为一个步骤。仅作为示例，可以利用上文提到的冠脉分割模型处理心脏环形带图像，得到冠脉分割结果。
84.图6是根据本说明书一些实施例所示的确定冠脉分割结果的示例性流程图。
85.如图6所示，本说明书实施例所述的确定冠脉分割结果的方法。首先，可以从扫描
图像(例如，三维cta图像)中确定心脏部分图像，再进一步分割出心脏环形带图像，冠脉血管主要分布于该环形带图像中。接着，可以对心脏环形带图像进行粗分割以获得冠脉粗分割图像，最后再基于冠脉粗分割图像进行冠脉追踪以获得精确的冠脉分割结果。从冠脉粗分割图像中，可以看出在冠脉血管部分存在明显的断裂情况。而在经过冠脉追踪后的冠脉分割结果中，冠脉血管部分更加流畅和完整。
86.图7是根据本说明书一些实施例所示的生成对齐造影图像的示例性流程图。
87.流程700可以由处理设备(例如，处理设备130)执行。在一些实施例中，流程700可以用于实现流程300中的步骤330。如图3所述，对齐造影图像可以基于血管造影图像和冠脉分割结果生成，其中血管造影图像可以是实时血管造影图像和历史血管造影图像中的一种。为方便描述，下文未对实时血管造影图像和历史血管造影图像进行区分。
88.步骤710，基于初始变换矩阵，将冠脉分割结果映射为映射结果。在一些实施例中，步骤710可以由处理设备130或对齐模块230执行。
89.所述初始变换矩阵是可以将冠脉分割结果中的冠脉中心线映射到所述血管造影图像的矩阵。可选地，初始变换矩阵可以对应至少一个参考角度，其可以从至少一个参考角度上对冠脉分割结果(例如，冠脉中心线)进行映射(或称为投影)，以生成映射结果，其中，映射结果为所述冠脉分割结果在至少一个参考角度上的映射结果。
90.在一些实施例中，至少一个参考角度与血管造影图像的拍摄角度有关。例如，血管造影图像包括正位血管造影图像和侧位血管造影图像，其中正位血管造影图像是由放射源面向目标对象正面拍摄生成，侧位血管造影图像由放射源面向目标对象侧面拍摄生成。初始变换矩阵可以将冠脉分割结果沿正对目标对象正面的角度进行投影，以生成对应正位血管造影图像的映射结果；并将冠脉分割结果沿正对目标对象侧面的角度进行投影，以生成对应侧位血管造影图像的映射结果。在一些实施例中，某个参考角度上的映射结果可以包括冠脉中心线上的点投影到该参考角度所对应的平面(即该参考角度下拍摄的血管造影图像所在的平面)上的二维坐标。
91.在一些实施例中，所述初始变换矩阵可以通过所述扫描图像和/或所述血管造影图像的扫描参数计算获得。在一些实施例中，基于初始变换矩阵的变化可以是刚性变换和/或仿射变换。
92.由于目标对象(例如，接受介入手术的病人)在设备上的实际位置无法精确获取，基于扫描参数确定的初始变换矩阵准确性有限，需要进行补偿校正以获得校正后的变换矩阵。在一些实施例中，可以通过迭代优化损失项，对初始变换矩阵进行校正以提高变换矩阵参数的准确性。
93.步骤720，基于映射结果和所述血管造影图像中的血管分割结果，确定第二损失函数的值。在一些实施例中，步骤720可以由处理设备130或对齐模块230执行。
94.在一些实施例中，所述第二损失函数可以通过以下公式(6)计算得出：其中，e
global
表示第二损失函数，n为参考角度的序号。在一些实施例中，参考角度个数一般可以设定为2。x
s,q
表示冠脉中心线上的点，s和q可以用于确定冠脉中心线上特定点的位置。仅作为示例，可以将冠脉血管划分为多个段，s可以用于表示该点处于第几段，q可以用于表示该点位于这一段血管上的第几个点。是一个仿射变换函数，可
以用于将冠脉分割结果所在三维坐标空间映射到血管造影图像所在的二维坐标空间。其中，t表示变换矩阵，c为常量，π表示投影变换。π可以用于将三维冠脉中心线上的点投影到参考角度所在的平面上(即该参考角度对应的血管造影图像所在的平面)的二维坐标。distance为冠脉中心线映射到血管造影图像上的点到血管造影图像中的血管分割结果的最近距离。
95.在确定第二损失函数的值时，可以基于映射结果确定，可以基于映射结果和血管造影图像中的血管分割结果确定。此时，上文所述的初始变换矩阵被作为第二损失函数中t的初始值。
96.在一些实施例中，处理设备130可以基于利用血管分割算法(例如，训练好的血管分割模型)从所述血管造影图像中确定血管分割结果，即将血管造影图像中的冠脉血管部分分割出来。由于血管造影图像为二维图像，血管造影图像的血管分割结果是比较清晰的。在一些实施例中，血管分割结果可以是冠脉血管分割结果，也可以是血管造影图像中冠脉中心线的分割结果。
97.步骤730，通过迭代优化第二损失函数的值，更新初始变换矩阵以获得目标变换矩阵。在一些实施例中，步骤730可以由处理设备130或对齐模块230执行。
98.在一些实施例中，处理设备130可以更新初始变换矩阵的参数以优化所述第二损失函数的值。当第二损失函数的值越小，则可以代表所述冠脉分割结果与所述血管造影图像的对齐结果越为准确。例如，可以以特定的步长调整变换矩阵中的旋转参数和/或平移参数。当第二损失函数的停止迭代条件被满足时，当前的变换矩阵作可以为目标变换矩阵。当第二损失函数的停止迭代条件未被满足时，则可以进行下一轮迭代进一步更新变换矩阵的参数，直至停止迭代条件被满足。在一些实施例中，所述第二损失函数的停止迭代的条件可以为达到预定迭代次数，或是所述第二损失函数收敛。其中，所述第二损失函数的收敛条件可以是该连续两次迭代中第二损失函数的下降值小于10-14
。或者，第二损失函数的收敛条件可以是该第二损失函数的值小于预设阈值。
99.在一些实施例中，处理设备130可以基于nelder-mead优化器迭代优化所述第二损失函数的值。nelder-mead优化器可以将解多维方程转化为求解多面体各顶点的值。
100.步骤740，基于目标变换矩阵和冠脉分割结果，生成对齐造影图像。在一些实施例中，步骤740可以由处理设备130或对齐模块230执行。
101.在一些实施例中，处理设备130可以基于目标变换矩阵，将冠脉分割结果映射至血管造影图像，以生成对齐造影图像。具体而言，可以基于目标变换矩阵，确定冠脉分割结果中的每个点在血管造影图像对应的平面上的二维坐标，并基于这些二维坐标生成对齐造影图像。当有对应不同参考角度的多张血管造影图像时，可以生成对应不同参考角度的对齐造影图像。通过上述流程获得的对齐造影图像可以将冠脉中心线大致对应到造影图像中的血管分割结果中。
102.应当注意的是，上述有关流程700的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程700进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
103.图8是根据本说明书一些实施例所示的生成目标造影图像的示例性流程图。
104.流程800可以由处理设备(例如，处理设备130)执行。在一些实施例中，流程800可
以用于实现流程300中的步骤340。在一些实施例中，目标造影图像可以基于对齐造影图像和实时血管造影图像生成。
105.步骤810，基于配准模型、对齐造影图像和实时血管造影图像，确定对齐造影图像到目标造影图像的变换场。在一些实施例中，步骤810可以由处理设备130或配准模块240执行。
106.在一些实施例中，所述配准模型可以为u-net网络模型，其可以输入双通道图像，并输出对齐造影图像到目标造影图像的变换场。在一些实施例中，配准模型的第一个通道可以输入所述对齐造影图像，配准模型的第二个通道可以输入实时血管造影图像。
107.在一些实施例中，所述配准模型可以基于大量带有标签的配准训练样本训练得到。配准训练样本至少可以包括多组双通道样本图像，即多组样本对齐造影图像和对应的样本实时血管造影图像。标签可以包括样本对齐造影图像上的点在样本实时血管造影图像上的对应位置。或者，标签也可以包括样本对齐造影图像与样本实时血管造影图像之间的样本变换场。所述标签可以通过人工标注获得。例如，可以通过人工标注的方式确定样本对齐造影图像上的点在样本实时血管造影图像上的对应位置。基于样本对齐造影图像和样本实时血管造影图像中的点的对应关系，可以确定它们之间的样本变换场。
108.在训练过程中，可以将多个带有标签的配准训练样本输入初始配准模型，通过标签与初始配准模型的输出结果计算第三损失函数的值，基于第三损失函数迭代更新初始配准模型的参数。当满足预设条件时模型训练完成，得到训练好的配准模型。其中，初始配准模型的输出结果可以是训练样本的样本对齐造影图像到样本实时血管造影图像之间的预测变换场。预设条件可以是第三损失函数收敛、迭代的次数达到阈值等。在一些实施例中，当第三损失函数低于设定的阈值时，也可以停止训练。
109.在一些实施例中，所述配准模型的第三损失函数可以包括图像损失项和约束损失项。其中，所述图像损失项可以用于衡量配准结果的准确度，所述约束损失项可以用于对配准结果进行约束。例如，约束损失项可以包括用于约束配准后血管断裂的个数的第一约束损失项、用于约束配准后图像光滑程度的第二约束损失项、用于约束冠脉分支配准结果的第三约束损失项中的至少一种。其中，配准结果指的是初始配准图像输出的预测变换场。
110.具体的，所述配准模型的第三损失函数可以通过以下公式(7)表示：e
nr
(r)＝e
internal
(r)+e
image
(r)
ꢀꢀꢀꢀꢀ
(7)其中，e
nr
表示配准模型的总损失项，即第三损失函数，e
internal
为约束损失项，e
lmage
为图像损失项。
111.在一些实施例中，图像损失项e
image
可以通过以下公式(8)计算得出：
112.其中，是样本实时血管造影图像上与样本对齐造影图像对应的点；为对样本扫描图像投影后的点，即样本对齐造影图像上的点。h(.)是一个决策函数判断该点的能量是否要被考量计算，决策函数h可以由人工预先给定。r
s,q
为偏移向量，表示样本实时血管造影图像中的对应点相对于样本对齐造影图像上的点的偏移方向与偏移量，也可以表示为训练中间模型预测出的变换场，且在一些实施例中，若一个点的偏移向量r
s,q
过大，或是与形成的角度差过大，则不会被损失函数考量计算。另外，若一个点
在样本实时血管造影图像中不到对应的点，则该点也不会被考量。
113.在一些实施例中，约束损失项e
internal
可以通过以下公式(9)计算得出：其中，e
disp
为第一约束项，用于约束配准后血管断裂的个数，例如基于预测变化场对样本对齐造影图像进行变换后得到的图像中血管断裂的个数；e
smooth
为第二约束项，用于约束配准后图像光滑程度，例如基于预测变化场对样本对齐造影图像进行变换后得到的图像的光滑程度；e
myocard
为第三约束项，用于约束冠脉分支的配准结果，保证冠脉的拓扑结构，对于所有冠脉分支(包括大分支和小分支)都适用，例如基于预测变化场对样本对齐造影图像进行变换后得到的图像中冠脉分支的情况。为r
s,q
的一阶导数；α，β，γ为三个可调参数。在一些实施例中，α，β，γ可以分别选取0.1、10以及1.0的值。k代表配准后的图像中冠脉分支的集合，{i,j}代表同一分支上的两个点。若冠脉的分叉塌缩成一个点，则xi和xj的距离就很近，使|x
i-xj|很小，若映射前后分支形状大致一致，则各个点的偏移向量也大致一致，即|r
i-rj|也很小。如果冠脉分支出现塌缩或者其他拓扑结构的变化，就会导致各点偏移向量不一致，分子|r
i-rj|就会变大，此时分子|x
i-xj|仍旧很小，导致第三约束项的值较大，则约束损失项的值也很大。
114.在一些实施例中，基于公式(9)可知，训练过程中的配准模型的图像损失项、所述第一约束损失项、所述第二约束项和所述第三约束损失项中的至少一个的值可以通过训练样本对应的样本变换场r确定。在一些实施例中，训练过程中的配准模型的图像损失项、所述第一约束损失项、所述第二约束项和所述第三约束损失项的值均可以通过训练样本对应的样本变换场r确定。
115.在一些实施例中，当配准模型完成训练，训练好的配准模型可以存储在存储设备140中，处理设备130可以从存储设备中获取训练好的配准模型。在一些实施例中，处理设备130可以基于训练好的配准模型，输入对齐造影图像和实时血管造影图像，以生成对齐造影图像到目标造影图像的变换场。
116.步骤820，基于变换场，将对齐造影图像进行变换，以生成变换造影图像。步骤830，基于变换造影图像和血管造影图像，生成目标造影图像。在一些实施例中，步骤820和830可以由处理设备130或配准模块240执行。
117.在一些实施例中，处理设备130可以基于确定的对齐造影图像到目标造影图像的变换场，对对齐造影图像进行变换，以生成变换造影图像。在一些实施例中，处理设备130可以基于变换场，在对齐造影图像上直接叠加变换场，从而生成变换造影图像。此时的变换造影图像相对于实时血管造影图像可以视作不存在偏移或是偏移量可以忽略，那么变换造影图像上的点则可以精确对应到实时血管造影图像上的点，用于后续的图像融合。
118.在一些实施例中，处理设备130可以将变换造影图像和实时血管造影图像直接进行融合，从而获得精准融合过后的目标造影图像。目标造影图像可以融合实时血管造影图像和扫描图像中的信息，帮助确定原始造影图像中无法显影区域的血管走形以及大致的管腔结构，从而降低手术风险，提高介入手术的成功率。
119.应当注意的是，上述有关流程800的描述仅仅是为了示例和说明，而不限定本说明
书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程800进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
120.在一些实施例中，流程300、500、700和800可以由处理设备(例如，处理设备130)执行。例如，流程300、500、700和800可以被实现为指令集(例如，应用程序)，其被存储在图像处理系统100内部或外部的存储器中。处理设备可以执行指令集，并且在执行指令时，可以将其配置为执行流程300、500、700和800。在一些实施例中，流程300、500、700和800可以由图2所示的一个或多个模块执行。上面呈现的流程300、500、700和800的操作示意图是说明性的。在一些实施例中，可以利用一个或以上未描述的附加操作和/或省略上文讨论的一个或以上操作来完成该过程。另外，图3、5、7和8中示出的和上面描述的流程300、500、700和800的操作的顺序不旨在是限制性的。
121.本说明书实施例可能带来的有益效果包括但不限于：(1)结合扫描图像和血管造影图像，将扫描图像中的三维解剖细节实时叠加于造影图像中，从而帮助确定造影图像中的无法显影的区域(例如，阻塞区域)，降低造影图像所用于的介入手术的风险，提高介入手术成功率；(2)通过先生成冠脉粗分割图像，再利用冠脉追踪的方式生成冠脉分割结果，可以提高冠脉分割准确性和效率，且通过冠脉追踪的方式对冠脉粗分割图像进行进一步处理，可以有效地连接断裂处冠脉血管的分割，从而提高冠脉血管分割的完整性；(3)通过全局对齐的方式，利用变换矩阵将冠脉分割结果中的冠脉中心线大致映射到实时血管造影图像中，从而获得对齐造影图像，可以初步将冠脉分割结果与实时血管造影图像相对应；(4)进一步通过非刚性配准的方式，结合深度学习网络，将对齐造影图像和实时血管造影图像进行配准，可以大幅提高三维冠脉中心线与二维造影图像之间的视觉一致性，同时借助于深度学习模型恒定时间推理能力，可以显著缩短配准时间，从而实现精准实时配准。
122.需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
123.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
124.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
125.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设
备上安装所描述的系统。
126.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
127.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
128.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
129.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：

1.一种血管造影图像处理方法，其特征在于，包括：获取与目标对象的心脏部位有关的扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像；基于所述扫描图像，确定冠脉分割结果；基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像；基于所述对齐造影图像和所述血管造影图像，生成目标造影图像。2.如权利要求1所述的方法，其特征在于，所述血管造影图像进一步包括历史血管造影图像，所述基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像包括基于所述冠脉分割结果和所述历史血管造影图像，生成所述对齐造影图像，所述基于所述对齐造影图像和所述血管造影图像，生成目标造影图像包括基于所述对齐造影图像和所述实时血管造影图像，生成目标造影图像。3.如权利要求1所述的方法，其特征在于，所述基于所述扫描图像，确定冠脉分割结果包括：基于所述扫描图像，确定心脏环形带图像；对所述心脏环形带图像进行分割，以生成冠脉粗分割图像；以及基于冠脉追踪模型和所述冠脉粗分割图像确定所述冠脉分割结果。4.如权利要求3所述的方法，其特征在于，所述冠脉追踪模型的第一损失函数包括冠脉中心线损失项，所述冠脉中心线损失项与冠脉追踪结果、冠脉追踪标签、冠脉中心线追踪结果和冠脉中心线追踪标签相关。5.如权利要求1所述的方法，其特征在于，所述基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像包括：基于初始变换矩阵，将所述冠脉分割结果映射为映射结果，所述映射结果为所述冠脉分割结果在至少一个参考角度上的映射结果；基于所述映射结果和所述血管造影图像中的血管分割结果，确定第二损失函数的值；通过迭代优化所述第二损失函数的值，更新所述初始变换矩阵以获得目标变换矩阵；基于所述目标变换矩阵和所述冠脉分割结果，生成所述对齐造影图像。6.如权利要求1所述的方法，其特征在于，所述基于所述对齐造影图像和所述血管造影图像，确定目标造影图像包括：基于配准模型、所述对齐造影图像和所述实时血管造影图像，确定所述对齐造影图像到所述目标造影图像的变换场；基于所述变换场，将所述对齐造影图像进行变换，以生成变换造影图像；基于所述变换造影图像和所述实时血管造影图像，生成所述目标造影图像。7.如权利要求6所述的方法，其特征在于，所述配准模型的第三损失函数包括图像损失项和约束损失项，其中，所述图像损失项用于衡量配准准确度；所述约束损失项包括：用于约束配准后血管断裂的个数的第一约束损失项、用于约束配准后图像光滑程度的第二约束损失项、用于约束冠脉分支配准结果的第三约束损失项中的至少一种。
8.如权利要求7所述的方法，其特征在于，所述图像损失项、所述第一约束损失项、所述第二约束项和所述第三约束损失项中的至少一个的值通过训练样本对应的样本变换场确定。9.一种血管造影图像处理系统，其特征在于，包括：获取模块，用于获取与目标对象的心脏部位有关的扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像；分割模块，用于基于所述扫描图像，确定冠脉分割结果；对齐模块，用于基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像；配准模块，用于基于所述对齐造影图像和所述血管造影图像，生成目标造影图像。10.一种血管造影图像处理系统，其特征在于，所述系统包括：至少一个存储设备，用于存储计算机指令；以及至少一个处理器，所述处理器被配置为与所述至少一个存储设备通信，其中，当执行所述一组指令时，所述至少一个处理器被配置执行以下操作：获取扫描图像和血管造影图像，所述血管造影图像至少包括实时血管造影图像；基于所述扫描图像，确定冠脉分割结果；基于所述冠脉分割结果和所述血管造影图像，生成对齐造影图像；基于所述对齐造影图像和所述血管造影图像，生成目标造影图像。

技术总结

本说明书实施例公开了一种血管造影图像处理方法和系统。所述图像处理方法包括：获取与目标对象的心脏部位有关的扫描图像和血管造影图像，血管造影图像至少包括实时血管造影图像；基于扫描图像，确定冠脉分割结果；基于冠脉分割结果和所述血管造影图像，生成对齐造影图像；基于对齐造影图像和血管造影图像，生成目标造影图像。目标造影图像。目标造影图像。