显微成像系统及其控制方法、装置、计算机可读存储介质与流程



1.本技术涉及光遗传、光电检测和深度学习的技术领域,尤其涉及显微成像系统及其控制方法、装置、计算机可读存储介质。


背景技术:



2.自动对焦系统是自动视频显微镜观察、测量以及深度信息重建的关键部件,有关显微镜自动对焦系统的研究一直是显微镜研究的热点,尤其是对大数值孔径、高放大倍率和小景深的自动视频显微镜。
3103487927b公开了一种显微镜自动调焦方法,利用可用电压控制焦距的液体透镜安置于显微镜光路中作为变焦元件,同时利用相机捕捉显微图像并传输到计算机进行聚焦评价,到显微图像处于最佳聚焦状态时的液体透镜电压,然后利用液体透镜的电压-焦距曲线反算出当前被观察物体距离显微镜焦平面的距离,利用精密电动升降台移动被观察物体到显微镜焦平面处,同时液体透镜驱动电压恢复初始值。然而,这种方式需要先对驱动电压-聚焦深度曲线进行标定,也就是说,需要遍历每一个可以取到的电压值,才能完成标定过程,运算量较大,对焦效率低。
4.因此,亟需提供显微成像系统及其控制方法、装置、计算机可读存储介质,解决现有技术存在的问题。


技术实现要素:



5.本技术的目的在于提供显微成像系统及其控制方法、装置、计算机可读存储介质,快速缩小电压值取值范围,在满足对比度要求的情况下,提升对焦效率。
6.本技术的目的采用以下技术方案实现:
7.第一方面,本技术提供了一种显微成像系统,所述显微成像系统包括头戴式显微镜和数据处理模块,所述头戴式显微镜包括液体透镜,所述数据处理模块包括处理器,所述处理器被配置成实现如下步骤:
8.s1:将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;
9.s2:当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,执行步骤s1,m为不大于n的正整数;
10.s3:当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。
11.该技术方案的有益效果在于:头戴式显微镜包括液体透镜(液体透镜的调焦原理是将液体作为透镜,通过外加电压改变液体的形状,进而改变其焦距),在对头戴式显微镜进行对焦的过程中,可以将预先设置好的电压取值范围划分为n个区间,按照这n个区间采集n张对应的待测图像,一方面,若其中对比度最高的m张待测图像不满足预设对比度条件,
表明这m张待测图像的电压值范围不够精准,可以进一步缩小电压值范围,将m张待测图像对应电压值范围作为电压取值范围,重新划定n个区间以采集n张对应的待测图像,直到满足预设对比度条件;另一方面,若其中对比度最高的m张待测图像满足预设对比度条件,表明这m张待测图像的电压值范围是合适的,可以根据其中对比度最高的那张待测图像对应的电压值确定液体透镜的工作电压值,完成对焦。
12.通过划定电压区间,一次仅采集n张待测图像(无需针对每一个可以取到的电压值采集对应的待测图像,而只在每个区间中采集对应的一张待测图像),并且,选择其中对比度最高的m张待测图像作为下一步操作的依据,可以快速缩小电压值取值范围,运算量较小,在满足对比度要求的情况下,提升对焦效率。
13.在一些可选的实施例中,所述预设对比度条件包括以下至少一种:
14.所述m张待测图像的对比度的最小值不小于第一对比度阈值;
15.所述m张待测图像的对比度的平均值不小于第二对比度阈值。
16.该技术方案的有益效果在于:一方面,预设对比度条件可以是m张待测图像的对比度的最小值不小于第一对比度阈值,也就是说,m张待测图像中每一张图像的对比度都不小于第一对比度阈值,表明m张待测图像的对比度处于较高的水平;另一方面,预设对比度条件可以是m张待测图像的对比度的平均值不小于第二对比度阈值,也就是说,m张待测图像的对比度的平均水平较高。
17.在一些可选的实施例中,所述头戴式显微镜用于穿戴在实验动物的头部,所述实验动物的脑区注射有光遗传病毒和钙成像病毒,所述头戴式显微镜设置有光遗传光学路径和钙成像光学路径;
18.在对焦后,所述处理器还被配置成实现如下步骤:
19.利用第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激;
20.利用第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像。
21.该技术方案的有益效果在于:可以向实验动物的脑区注射含有光敏感蛋白基因的病毒载体(光遗传病毒和钙成像病毒),一方面,可以利用第一光源和光遗传光学路径对实验动物施加光遗传刺激,通过选择不同的参数,例如波长、光强度、频率和占空比,来达到对神经元活动的时间调控,通过选择性地照射细胞局部实现对神经元活动的空间调控;另一方面,可以利用第二光源和钙成像光学路径采集实验动物的神经活动图像,将光遗传刺激对神经元、神经回路或者动物行为的改变呈现出来,从而应用于动物行为学研究(包括进食行为、奖赏行为、焦虑抑郁行为、痛行为等)。
22.在一些可选的实施例中,所述显微成像系统还设置有至少一个摄像头,对所述实验动物施加光遗传刺激以及采集神经活动图像的过程包括:
23.s11:利用所述第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像,利用每个所述摄像头采集所述实验动物的行为学图像;
24.s12:基于所述实验动物的神经活动图像和行为学图像,检测所述实验动物是否需要光遗传刺激;如果是,则执行步骤s13;如果否,则执行步骤s11;
25.s13:获取所述实验动物对应的刺激配置信息;
26.s14:基于所述刺激配置信息,利用所述第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激,执行步骤s11,直到满足采集结束条件。
27.该技术方案的有益效果在于:可以结合实验动物的神经活动图像和行为学图像两方面进行分析,判断实验动物是否需要光遗传刺激,一方面,如果需要光遗传刺激,可以获取对应的刺激配置信息从而向实验动物施加光遗传刺激,刺激结束后,再重复采集图像的过程,直到满足采集结束条件,形成闭环的采集兼刺激的过程;另一方面,如果不需要光遗传刺激,可以(无需刺激)直接重复采集图像的过程。
28.通过对神经活动图像和行为学图像两方面进行分析,(相比于仅依靠神经活动图像)可以较为准确地判断实验动物当前的状态适不适合光遗传刺激,并且可以边刺激边采集,快速地反映出光遗传刺激对神经元、神经回路或者动物行为的改变。
29.在一些可选的实施例中,所述处理器被配置成采用如下方式实现步骤s13:
30.将所述实验动物的神经活动图像和行为学图像输入至刺激配置模型,以得到所述实验动物的刺激配置信息;
31.其中,所述刺激配置模型的训练过程包括:
32.获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本对象的神经活动图像、行为学图像以及所述样本对象的刺激配置信息的标注数据;
33.针对所述训练集中的每个训练数据,执行以下处理:
34.将所述训练数据中的样本对象的神经活动图像、行为学图像输入预设的深度学习模型,得到所述样本对象的刺激配置信息的预测数据;
35.基于所述样本对象的刺激配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
36.检测是否满足预设的训练结束条件;如果是,则将训练出的深度学习模型作为所述刺激配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
37.该技术方案的有益效果在于:通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该预设的深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的刺激配置模型,可以基于实验动物的神经活动图像和行为学图像得到对应的刺激配置信息,且分析结果准确性高、可靠性高。
38.在一些可选的实施例中,所述头戴式显微镜还包括第一二向镜、第二二向镜和图像传感器;
39.在所述光遗传光学路径中,所述第一光源发出的光,经过所述第一二向镜透射后,再经过所述第二二向镜反射至所述实验动物的头部,以对所述实验动物施加光遗传刺激;
40.在所述钙成像光学路径中,所述第二光源发出的光,经过所述第一二向镜反射后,再经过所述第二二向镜反射至所述实验动物的头部,以激发所述实验动物的钙成像病毒,并利用所述图像传感器接收所述实验动物的反射光,以采集所述实验动物的神经活动图像。
41.该技术方案的有益效果在于:一般而言,光遗传光学路径和钙成像光学路径可以共用部分部件(例如第一二向镜和第二二向镜),在保证成像效果的前提下减小头戴式显微镜的体积和质量,保障小型实验动物的自由活动,避免给小型实验动物造成穿戴负担。
42.在一些可选的实施例中,所述头戴式显微镜还包括第一滤光片、第二滤光片、第一准直透镜、第二准直透镜和至少一个消差透镜;
43.在所述光遗传光学路径中,沿所述第一光源发出的光的传播方向顺次设置有:所述第一滤光片、所述第一准直透镜、所述第一二向镜和所述第二二向镜;
44.在所述钙成像光学路径中,沿所述第二光源发出的光的传播方向顺次设置有:所述第二滤光片、所述第二准直透镜、所述第一二向镜、所述第二二向镜;沿所述实验动物的反射光的传播方向顺次设置有:所述消差透镜、所述液体透镜和所述图像传感器。
45.该技术方案的有益效果在于:滤光片可以滤除光源中不需要的波段(这些波段会影响实验效果),准直透镜可以把发散的光源进行汇聚和准直,使光源更加均匀地呈直线汇聚。相比于在二向镜之后再准直的方式,先准直再通过二向镜,性能会有所提高,出光的均匀性更好,并且功率损失更小。
46.在头戴式显微镜的成像(钙成像光学路径)上,采用消差透镜和液体透镜的组合,调整最终成像的视野大小,消差透镜可以有效抑制差对成像质量的影响,有利于提高显微图像的清晰度和分辨率。
47.现有的头戴式显微镜普遍使用自聚焦透镜(grin lens),自聚焦透镜对光的耦合效率有限,一般存在较大的光能损耗,导致最终的光强较弱,消差透镜加液态透镜的方式相比于自聚焦透镜可以做到更大的数值孔径,从而成像出更大的视场。
48.在一些可选的实施例中,所述显微成像系统还包括三芯线缆;
49.所述数据处理模块还包括数据采集板卡,所述数据采集板卡利用所述三芯线缆与所述头戴式显微镜电连接,以使所述头戴式显微镜实现电能传输和数据传输的功能。
50.该技术方案的有益效果在于:现有的显微成像系统普遍使用多芯(三芯以上)线缆分别传输电能,导致线缆又粗又硬,对实验动物的行动造成限制,影响实验效果,本技术采用三芯线缆,在提供高功率同时,使得线缆质量轻且柔软,不影响实验动物的活动。
51.第二方面,本技术提供了一种显微成像系统的控制方法,应用于显微成像系统,所述显微成像系统包括头戴式显微镜,所述头戴式显微镜包括液体透镜,所述方法包括:
52.s1:将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;
53.s2:当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,执行步骤s1,m为不大于n的正整数;
54.s3:当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。
55.第三方面,本技术提供了一种显微成像系统的控制装置,应用于显微成像系统,所述显微成像系统包括头戴式显微镜,所述头戴式显微镜包括液体透镜,所述装置包括:
56.图像测试模块,用于将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;
57.继续测试模块,用于当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,调
用所述图像测试模块,m为不大于n的正整数;
58.对焦模块,用于当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。
59.第四方面,本技术提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被执行时实现上述任一项处理器的功能。
附图说明
60.下面结合附图和实施例对本技术进一步说明。
61.图1是本技术实施例提供的一种显微成像系统的控制方法的流程示意图。
62.图2是本技术实施例提供的施加光遗传刺激以及采集神经活动图像的流程示意图。
63.图3是本技术实施例提供的一种头戴式显微镜的光学结构示意图。
64.图4是本技术实施例提供的一种显微成像系统的结构示意图。
65.图5是本技术实施例提供的一种头戴式显微镜的电方框图。
66.图6示出了本技术提供的一种程序产品的结构示意图。
具体实施方式
67.下面,结合附图以及具体实施方式,对本技术做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
68.在本技术实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,a和b和c,其中a、b和c可以是单个,也可以是多个。值得注意的是,“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
69.还需说明的是,本技术实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
70.下面,首先对本技术实施例的其中一个应用领域(即光遗传)进行简单说明。
71.光遗传学(optogenetics)是结合了光学(optics)及遗传学(genetics)的技术,能在活体动物甚至是自由运动的动物脑内、脊髓、外周神经内,精准地控制特定种类神经元的活动。光遗传学在时间上的精确度可达到毫秒级别,在空间上的精确度则能达到单个细胞级别。光遗传学这项技术目前在神经科学领域应用非常广泛,未来可能会应用于多种神经和精神疾病的,如帕金森氏病、阿尔茨海默病、癫痫、脊髓损伤、精神分裂症等。
72.光遗传学利用分子生物学、病毒生物学等手段,将外源光敏感蛋白基因导入活细
胞中,在细胞膜结构上表达了光敏感通道蛋白;然后通过特定波长光的照射,控制细胞膜结构上的光敏感通道蛋白的激活与关闭;光敏感蛋白的激活和关闭可控制细胞膜上离子通道的打开与关闭,进而改变细胞膜电压的变化,如膜的去极化与超极化。当膜电压去极化超过一定阈值时,就会诱发神经元产生可传导的电信号,即神经元的激活;相反,当膜电压超极化到一定水平时,就会抑制神经元动作电位的产生,即神经元的抑制。神经元生物学家经常运用这种技术,通过光学方法无损伤或低损伤地控制特异神经元的活动,来研究该神经网络功能,特别适用于在体、甚至清醒动物行为学实验。
73.与传统的电生理刺激和药理学刺激相比,光遗传学技术特异性更强,灵敏性更好,具有低毒性、快速精确、高度可逆等特点,其高时空分辨率几乎和在体神经细胞活动过程一样,可达到亚毫秒和毫秒级。
74.光遗传学技术已被广泛应用于分子生物学、临床医学、神经科学等众多领域。动物行为学是研究动物各种行为的功能、机制、发展和进化的一门学科,对神经科学的发展发挥了重要作用。光遗传学技术极大推动了神经科学的发展,也极大地弥补了电生理无法识别特定神经元的缺点,成为在多领域、多学科被广泛应用的一项新技术,同时也被广泛应用于动物行为学研究。
75.现在用于研究大脑神经活动的技术有很多,利用钙成像技术和显微镜结合的显微成像系统来对动物大脑内的神经元进行成像的技术在目前已经相当成熟了。然而显微成像系统只能对于动物的大脑活动进行被动地记录,在实验过程中也需要通过一些主动的方式对动物进行刺激干预,因此在显微成像系统的基础上增加光遗传功能,来对动物进行光遗传刺激,可以很好的提高实验的健全性。
76.参见图1,图1是本技术实施例提供的一种显微成像系统的控制方法的流程示意图。
77.所述方法应用于显微成像系统,所述显微成像系统包括头戴式显微镜,所述头戴式显微镜包括液体透镜,所述方法包括:
78.s1:将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;
79.s2:当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,执行步骤s1,m为不大于n的正整数;
80.s3:当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。
81.在步骤s1中,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像例如可以是指利用所述头戴式显微镜分别采集预设区域在所述液体透镜的电压值处于不同区间时对应的n张待测图像。其中,预设区域是预先选择的固定尺寸的区域,该区域对应实验动物的特定脑区或者被测环境。此处,特定脑区是指实验动物的部分脑区。
82.由此,头戴式显微镜包括液体透镜(液体透镜的调焦原理是将液体作为透镜,通过外加电压改变液体的形状,进而改变其焦距),在对头戴式显微镜进行对焦的过程中,可以将预先设置好的电压取值范围划分为n个区间,按照这n个区间采集n张对应的待测图像,一
方面,若其中对比度最高的m张待测图像不满足预设对比度条件,表明这m张待测图像的电压值范围不够精准,可以进一步缩小电压值范围,将m张待测图像对应电压值范围作为电压取值范围,重新划定n个区间以采集n张对应的待测图像,直到满足预设对比度条件;另一方面,若其中对比度最高的m张待测图像满足预设对比度条件,表明这m张待测图像的电压值范围是合适的,可以根据其中对比度最高的那张待测图像对应的电压值确定液体透镜的工作电压值,完成对焦。
83.通过划定电压区间,一次仅采集n张待测图像(无需针对每一个可以取到的电压值采集对应的待测图像,而只在每个区间中采集对应的一张待测图像),并且,选择其中对比度最高的m张待测图像作为下一步操作的依据,可以快速缩小电压值取值范围,运算量较小,在满足对比度要求的情况下,提升对焦效率。
84.头戴式显微镜(headstage)是可以在清醒自由活动的动物上进行大范围地动态荧光成像的设备。利用头戴式显微镜可以视觉化细胞活动,同步行为学,以及长期追踪神经环路的活动。
85.本技术实施例对实验动物不作限定,实验动物可以是以下任意一种:鼠、猫、狗、猪、牛、马、猴、猩猩和人类。
86.本技术实施例对n和m不作限定,n例如可以是5、10或者20,m例如可以是3、6或者10。
87.在一些可选的实施方式中,m是小于n的正整数。对比度最高的m张待测图像是指n张待测图像中对比度最高的m张待测图像。
88.在一些实施方式中,确定所述液体透镜的工作电压值的过程可以是:
89.将m张待测图像中对比度最高的待测图像对应的电压值设置为液体透镜的工作电压值;或者,
90.将m张待测图像中对比度第二高的待测图像对应的电压值设置为液体透镜的工作电压值(不选用对比度最高的待测图像对应的电压值,考虑到对比度处于极值时液体透镜的电压不稳定,排除极值的情况)。
91.其中,n个区间的划分可以是均匀划分,或者是不均匀划分。
92.在一些实施方式中,可以基于所采集图像的历史数据(包括图像对比度及其对应的电压值),按正态分布的方式划分n个区间,两端疏,中间密。
93.历史数据例如是近一个月或者近一周头戴式显微镜采集的图像。
94.在一些可选的实施例中,所述预设对比度条件包括以下至少一种:
95.所述m张待测图像的对比度的最小值不小于第一对比度阈值;
96.所述m张待测图像的对比度的平均值不小于第二对比度阈值。
97.由此,一方面,预设对比度条件可以是m张待测图像的对比度的最小值不小于第一对比度阈值,也就是说,m张待测图像中每一张图像的对比度都不小于第一对比度阈值,表明m张待测图像的对比度处于较高的水平;另一方面,预设对比度条件可以是m张待测图像的对比度的平均值不小于第二对比度阈值,也就是说,m张待测图像的对比度的平均水平较高。
98.本技术实施例对第一对比度阈值和第二对比度阈值不作限定,第一对比度阈值例如是1.1:1、150:1、3000:1或者10000:1,第二对比度阈值例如是1.1:1、150:1、3000:1或者
10000:1。
99.在一些可选的实施例中,所述头戴式显微镜用于穿戴在实验动物的头部,所述实验动物的脑区注射有光遗传病毒和钙成像病毒,所述头戴式显微镜设置有光遗传光学路径和钙成像光学路径;
100.在对焦后,所述方法还包括:
101.利用第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激;
102.利用第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像。
103.由此,可以向实验动物的脑区注射含有光敏感蛋白基因的病毒载体(光遗传病毒和钙成像病毒),一方面,可以利用第一光源和光遗传光学路径对实验动物施加光遗传刺激,通过选择不同的参数,例如波长、光强度、频率和占空比,来达到对神经元活动的时间调控,通过选择性地照射细胞局部实现对神经元活动的空间调控;另一方面,可以利用第二光源和钙成像光学路径采集实验动物的神经活动图像,将光遗传刺激对神经元、神经回路或者动物行为的改变呈现出来,从而应用于动物行为学研究(包括进食行为、奖赏行为、焦虑抑郁行为、痛行为等)。
104.光遗传刺激的原理是:运用工具病毒载体,将光感基因(如chr2,ebr,nphr3.0,arch或optoxr等)转入到神经系统特定类型的细胞中进行特殊离子通道或gpcr的表达。光感离子通道在不同波长的光照刺激下会分别对阳离子或者阴离子的通过产生选择性,如cl-、na+、h+、k+,从而造成细胞膜两边的膜电位发生变化,达到对细胞选择性地兴奋或者抑制的目的。
105.钙离子成像的原理是:利用钙离子指示剂检测组织内钙离子浓度。钙离子成像技术主要用于神经系统研究中,其中钙离子变化提示神经元活动。钙离子成像技术属于光遗传学技术中的一类,实际检测的是细胞或组织中ca
2+
的浓度变化,将钙浓度变化转化为荧光信号,从而使细胞电活动转化为可记录的光信号。
106.本技术实施例对钙成像病毒和光遗传病毒不作限定,钙成像病毒例如可以是chr2或者chrimson;光遗传病毒例如可以是gcamp6或者rcamp1。
107.在一具体应用中,钙成像病毒采用chrimson,光遗传病毒采用gcamp6。
108.在一些可选的实施例中,可以按照预先设定的采集频率和刺激频率分别进行采集和刺激,采集和刺激可以同步进行,也可以先采集再刺激,或者,先刺激再采集。
109.在一些实施方式中,本技术对第一光源发出的光的波长和第二光源发出的光的波长不作限定,第一光源发出的光的波长例如是605nm,第二光源发出的光的波长例如是470nm。
110.参见图2,图2是本技术实施例提供的施加光遗传刺激以及采集神经活动图像的流程示意图。
111.在一些可选的实施例中,所述显微成像系统还设置有至少一个摄像头,对所述实验动物施加光遗传刺激以及采集神经活动图像的过程包括:
112.s11:利用所述第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像,利用每个所述摄像头采集所述实验动物的行为学图像;
113.s12:基于所述实验动物的神经活动图像和行为学图像,检测所述实验动物是否需要光遗传刺激;如果是,则执行步骤s13;如果否,则执行步骤s11;
114.s13:获取所述实验动物对应的刺激配置信息;
115.s14:基于所述刺激配置信息,利用所述第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激,执行步骤s11,直到满足采集结束条件。
116.刺激配置信息用于指示光遗传刺激的刺激参数,光遗传刺激的刺激参数例如可以包括以下至少一种:用于光遗传刺激的光信号的波长、光强度、频率和占空比。
117.作为一个示例,刺激配置信息是“470nm、40hz、3mw/mm
2”。
118.由此,可以结合实验动物的神经活动图像和行为学图像两方面进行分析,判断实验动物是否需要光遗传刺激,一方面,如果需要光遗传刺激,可以获取对应的刺激配置信息从而向实验动物施加光遗传刺激,刺激结束后,再重复采集图像的过程,直到满足采集结束条件,形成闭环的采集兼刺激的过程;另一方面,如果不需要光遗传刺激,可以(无需刺激)直接重复采集图像的过程。
119.在一具体应用中,采集结束条件可以包括以下至少一种:光遗传刺激的刺激时长不小于第一时长阈值;神经活动图像的采集时长不小于第二时长阈值。
120.本技术实施例对第一时长阈值和第二时长阈值不作限定,第一时长阈值例如是10分钟、30分钟或者60分钟,第二时长阈值例如是10分钟、30分钟或者60分钟。
121.在一些实施方式中,显微成像系统会外接1个或者多个行为学摄像头对实验动物的行为进行实时的采集,获取了这些行为学图像视频以后,上位机软件系统会对其进行实时的分析。在分析过程中计算出实验动物(小鼠)的实时位置状态,当前动作,运动路径等多种实时情况。在获得了以上多个实验动物的实时情况之后,通过ai来对这些实时情况进行分析,并判断出当前最合理的光遗传刺激模式,并将该模式作用于实验动物上。同样的,对于头戴式显微镜采集的神经活动视频,也可以进行实时分析,并根据结果反馈到光遗传刺激上。
122.由于要实时地分析处理视频,所以对于图像采集的高速性能要求很高,通过以下几种方式来实现高速采集图像的功能。
123.1、采用高清图像传感器,保证图像质量;2、采用mipi csi-2图像传感器高速接口;3.采用三芯线缆进行板间高速图像传输;4、采用fpga+pcie4进行高速数据处理及传输。
124.在动物行为学同步过程中,通过增加系统的dio(digital in and out,数字输入输出端口)输入输出,来支持多个外部系统设备之间通信交互,以方便用户及时获取不同设备之间的通信信号。并且采用可变阈值di(digital in,数字输入端口),可以最大可能地与行业内显微成像系统进行对接。
125.显微成像系统di的特性如下:1、对阈值和迟滞可选,感应检测范围3v至20v;2、感应输入雷电保护;3、过电流故障检测;4、最大功耗自动限制。
126.通过对神经活动图像和行为学图像两方面进行分析,(相比于仅依靠神经活动图像)可以较为准确地判断实验动物当前的状态适不适合光遗传刺激,并且可以边刺激边采集,快速地反映出光遗传刺激对神经元、神经回路或者动物行为的改变。
127.刺激配置信息用于指示光遗传刺激的刺激参数:例如波长、光强度、频率和占空比。
128.波长取决于光敏感蛋白的种类,例如chr2可以选择473nm波长的led光源或激光光源,nphr选择593nm波长的led光源或激光光源。对于兴奋性光敏感通道蛋白来说光强度的
选择很大程度上依赖其自身的特性,不同的光敏感蛋白有不同的光刺激阈值,取决于细胞受光刺激后产生内向电流的大小,电流越大,越容易爆发动作电位,需要的光强(光强度)相对越低。光强太大容易产生额外的动作电位,延长刺激时间即脉宽也增加了内流入细胞的阳离子量,同样会产生非一对一的光电流,这与光遗传学技术精细调控神经元的优点是相悖的,因此要采取合适的光强和刺激脉宽。
129.最重要的是频率的选择,因为大脑的神经元都有各自合适的放电频率,一般来说锥体神经元放电频率在10hz左右,而抑制性中间神经元放电频率高达40hz以上。同时刺激频率还与光敏感蛋白本身的动力学特征有关,野生型的chr2在40hz以上光刺激时大部分动作电位都丢失了,甚至呈现一种“抑制”的现象,而作为变体的cheta,如果表达在pv神经元上,即使光刺激频率高达200hz,依然能产生一对一的响应。而对于抑制性的nphr、arch或mac来说,连续的光照才能很好的消除细胞的自发电活动。因此,实验前首先考虑的是要刺激的神经元类型,选择合适的光敏感蛋白,再确定光遗传刺激信号的各种参数。
130.在一些实施方式中,检测所述实验动物是否需要光遗传刺激的过程可以是:
131.采用深度学习、机器学习、强化学习等人工智能算法对实验动物的神经活动图像和行为学图像进行分析处理,判断实验动物是否处于焦躁、精神低落、异常亢奋等异常状态,当处于异常状态时,确定实验动物需要光遗传刺激,反之,不需要光遗传刺激;
132.或者,人工确定实验动物是否需要光遗传刺激。
133.在一些可选的实施方式中,可以基于实验动物的行为学图像和神经活动图像施加电刺激,以进行光电联合刺激,实现闭环的刺激控制,符合未来跨领域、跨学科的发展趋势。
134.在一些实施方式中,步骤s11中神经活动图像和行为学图像的采集过程可以是同步进行的。
135.在一些可选的实施例中,所述步骤s13可以包括:
136.将所述实验动物的神经活动图像和行为学图像输入至刺激配置模型,以得到所述实验动物的刺激配置信息;
137.其中,所述刺激配置模型的训练过程包括:
138.获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本对象的神经活动图像、行为学图像以及所述样本对象的刺激配置信息的标注数据;
139.针对所述训练集中的每个训练数据,执行以下处理:
140.将所述训练数据中的样本对象的神经活动图像、行为学图像输入预设的深度学习模型,得到所述样本对象的刺激配置信息的预测数据;
141.基于所述样本对象的刺激配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
142.检测是否满足预设的训练结束条件;如果是,则将训练出的深度学习模型作为所述刺激配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
143.由此,通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该预设的深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的刺激配置模型,可以基于实验动物的神经活动图像和行为学图像得到对应的刺激配置信息,且分析结果准确性高、可靠性高。
144.本技术实施例对刺激配置信息的标注数据的获取方式不作限定,例如可以采用人工标注的方式,也可以采用自动标注或者半自动标注的方式。
145.本技术实施例对刺激配置模型的训练过程不作限定,其例如可以采用上述监督学习的训练方式,或者可以采用半监督学习的训练方式,或者可以采用无监督学习的训练方式。
146.本技术实施例对预设的训练结束条件不作限定,其例如可以是训练次数达到预设次数(预设次数例如是1次、3次、10次、100次、1000次、10000次等),或者可以是训练集中的训练数据都完成一次或多次训练,或者可以是本次训练得到的总损失值不大于预设损失值。
147.参见图3,图3是本技术实施例提供的一种头戴式显微镜的光学结构示意图。
148.在一些可选的实施例中,所述头戴式显微镜还包括第一二向镜13、第二二向镜23和图像传感器30;
149.所述利用第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激,包括:
150.在所述光遗传光学路径中,所述第一光源10发出的光,经过所述第一二向镜13透射后,再经过所述第二二向镜23反射至所述实验动物的头部,以对所述实验动物施加光遗传刺激;
151.所述利用第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像,包括:
152.在所述钙成像光学路径中,所述第二光源20发出的光,经过所述第一二向镜13反射后,再经过所述第二二向镜23反射至所述实验动物的头部,以激发所述实验动物的钙成像病毒,并利用所述图像传感器30接收所述实验动物的反射光,以采集所述实验动物的神经活动图像。
153.由此,一般而言,光遗传光学路径和钙成像光学路径可以共用部分部件(例如第一二向镜13和第二二向镜23),在保证成像效果的前提下减小头戴式显微镜的体积和质量,保障小型实验动物的自由活动,避免给小型实验动物造成穿戴负担。
154.二向镜(dichroic mirrors)又称双镜,常用于激光技术中。45度入射或大角度入射时,把光源分离出特定的光谱改变部分光谱光路方向,常用于酶标仪器、荧光显微镜系统、投影光引擎系统、激光灯、光学仪器分束、视频眼镜等传感器系统。
155.二向镜的特点是对一定波长的光几乎完全透过,而对另一些波长的光几乎完全反射,具有高穿透率,波长定位准确,光能量损耗小等优点。
156.在一具体应用中,第一光源10发出的光的波长为605nm,第二光源20发出的光的波长为470nm,实验动物反射的光的波长为525nm。
157.在一些可选的实施例中,所述头戴式显微镜还包括第一滤光片11、第二滤光片21、第一准直透镜12、第二准直透镜22和至少一个消差透镜14;
158.在所述光遗传光学路径中,沿所述第一光源发出的光的传播方向顺次设置有:第一滤光片11、第一准直透镜12、第一二向镜13和第二二向镜23;
159.在所述钙成像光学路径中,沿所述第二光源发出的光的传播方向顺次设置有:第二滤光片21、第二准直透镜22、第一二向镜13、第二二向镜23;
160.沿所述实验动物的反射光的传播方向顺次设置有:消差透镜14、液体透镜15和图像传感器30。
161.由此,滤光片可以滤除光源中不需要的波段(这些波段会影响实验效果),准直透镜可以把发散的光源进行汇聚和准直,使光源更加均匀地呈直线汇聚。相比于在二向镜之后再准直的方式,先准直再通过二向镜,性能会有所提高,出光的均匀性更好,并且功率损失更小。
162.在头戴式显微镜的成像(钙成像光学路径)上,采用消差透镜14和液体透镜15的组合,调整最终成像的视野大小,消差透镜14可以有效抑制差对成像质量的影响,有利于提高显微图像的清晰度和分辨率。
163.现有的头戴式显微镜普遍使用自聚焦透镜(grin lens),自聚焦透镜对光的耦合效率有限,一般存在较大的光能损耗,导致最终的光强较弱,消差透镜14加液态透镜的方式相比于自聚焦透镜可以做到更大的数值孔径,从而成像出更大的视场。
164.消差透镜14是指将三种波长(蓝光、绿光、和红光)的光线的差进行校正的透镜组。
165.在一些实施方式中,可以采用3个消差透镜14和1个液体透镜15的组合,在钙成像光学路径中,实验动物的反射光依次经过2个消差透镜14(型号为45089)、液体透镜15、1个消差透镜14(型号为63691),到达图像传感器30。
166.在一些可选的实施例中,所述显微成像系统还包括三芯线缆或者同轴线缆;
167.所述数据处理模块还包括数据采集板卡,所述数据采集板卡利用所述同轴线缆与所述头戴式显微镜电连接,以使所述头戴式显微镜实现电能传输和数据传输的功能;
168.三芯线缆采用单独供电技术,同轴线缆采用poc供电技术。同轴线缆为单芯线缆,虽线缆较轻且柔软,但能够的提供的功率有限,而三芯线缆在可以提供更高的功率同时线缆质量较轻且柔软。
169.由此,现有的显微成像系统普遍使用多芯(三芯以上)线缆分别传输电能,导致线缆又粗又硬,对实验动物的行动造成限制,影响实验效果,本技术采用三芯线缆,实现传输电能和通信的功能同时,使得线缆质量轻且柔软,不影响实验动物的活动。
170.同轴线缆的poc供电功率较低,三芯线缆相比于单芯的同轴线缆额外引入了2根供电线,供电功率较高。其中,poc供电技术的通讯协议为v3link或者fpd_link。
171.poc(power over coaxia)是一种基于同轴视频、同轴控制和功率叠加的技术。在同轴电缆传输中,传输高清视频信号、同轴信号和电源,即将高清视频、同轴等信号与电源相结合,在一根同轴线上传输。
172.fpd_link(flat panel display link)是一种高速数字视频接口标准,具有高带宽和低延迟的优点,主要用来传输视频数据,支持同轴线缆传输;v3link是具有超低延迟的串行器/解串器,可将视频、时钟、控制和gpio数据聚合到业界通用接口之间的单线双向电桥中,具有增强信号完整性、减小系统尺寸、重量和功耗的优点。
173.在一些实施方式中,poc供电不超过150ma,避免对传输的信号造成干扰。
174.在一些实施方式中,数据采集板卡可以采用pcie高速采集卡,图像传感器可以采用cmos图像传感器并且采用mipi csi-2接口。
175.pcie(peripheral component interconnect express)是一种高速串行计算机扩
展总线标准。
176.pcie高速采集卡,是雷达、通信、卫星、lidar、光电倍增管以及光纤传感等领域进行信号采集和分析的理想工具,板载fpga具备实时信号处理能力,支持用户自定义逻辑开发。板卡提供快速的pciex8数据传输接口,以及灵活配置的硬件组合,获得性能、功耗和成本之间的最佳平衡,尤其适合于实验室以及场外计算机场合。
177.cmos图像传感器是一种典型的固体成像传感器,通常由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、ad转换器、数据总线输出接口、控制接口等几部分组成,这几部分通常都被集成在同一块硅片上。其工作过程一般可分为复位、光电转换、积分、读出几部分。cmos图像传感器具有以下几个优点:
178.1)随机窗口读取能力。随机窗口读取操作是cmos图像传感器在功能上优于ccd的一个方面,也称之为感兴趣区域选取。此外,cmos图像传感器的高集成特性使其很容易实现同时开多个跟踪窗口的功能。
179.2)抗辐射能力。总的来说,cmos图像传感器潜在的抗辐射性能相对于ccd性能有重要增强。
180.3)系统复杂程度和可靠性。采用cmos图像传感器可以大大地简化系统硬件结构。
181.4)非破坏性数据读出方式。
182.5)优化的曝光控制。值得注意的是,由于在像元结构中集成了多个功能晶体管的原因,cmos图像传感器也存在着若干缺点,主要是噪声和填充率两个指标。鉴于cmos图像传感器相对优越的性能,使得cmos图像传感器在各个领域得到了广泛的应用。
183.在一些实施方式中,图像传感器可以采用ccd图像传感器,ccd传感器是一种新型光电转换器件,它能存储由光产生的信号电荷。当对它施加特定时序的脉冲时,其存储的信号电荷便可在ccd内作定向传输而实现自扫描。它主要由光敏单元、输入结构和输出结构等组成。它具有光电转换、信息存贮和延时等功能,而且集成度高、功耗小。ccd有面阵和线阵之分,面阵是把ccd像素排成1个平面的器件;而线阵是把ccd像素排成1直线的器件。
184.mipi csi(camera serial interface)是由mipi联盟下camera工作组指定的接口标准。csi-2是mipi csi第二版,是一个单或双向差分串行界面,包含时钟和数据信号。主要由应用层、协议层、物理层组成,最大支持4通道(lan e)数据传输、单线传输速度高达1gb/s。借助mipi csi-2标准,图像数据可以按照顺序通过单个通道,这将采用两个或四个通道来连接成像芯片或相机模块。其中,最大可用带宽与通道的数量成线性比例关系,也就是说,使用四个通道时的可用带宽是使用两个通道时的2倍。
185.本技术实施例还提供了一种显微成像系统,所述显微成像系统包括头戴式显微镜和数据处理模块,所述头戴式显微镜包括液体透镜,所述数据处理模块包括处理器,所述处理器被配置成实现如下步骤:
186.s1:将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;
187.s2:当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,执行步骤s1,m为不大于n的正整数;
188.s3:当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对
比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。
189.参见图4,图4是本技术实施例提供的一种显微成像系统的结构示意图。
190.数据处理模块可以是主机(例如可以是医用主机),包括板卡、显卡、pc主板、工业电源和硬盘,显卡外接第一显示器和第二显示器,第一显示器用于光遗传设置,第二显示器用于数据采集处理,pc主板外接键鼠(键盘和鼠标)进行交互。
191.板卡通过同轴线缆与头戴式显微镜进行电连接(同轴线缆的通讯协议采用fpd_linkⅲ),数据接口采用i2c、gpio和mipi。
192.参见图5,图5是本技术实施例提供的一种头戴式显微镜的电方框图。
193.其中,coax fpd link是一种视频信号协议。
194.serdes是serializer(串行器)/deserializer(解串器)的简称。它是一种时分多路复用(tdm)、点对点(p2p)的串行通信技术,即在发送端多路低速并行信号被转换成高速串行信号,经过传输媒体(光缆或铜线),最后在接收端高速串行信号重新转换成低速并行信号。这种点对点的串行通信技术充分利用传输媒体的信道容量,减少所需的传输信道和器件引脚数目,提升信号的传输速度,从而大大降低通信成本。
195.gpio(general-purpose input/output),通用型之输入输出的简称,功能类似8051的p0—p3,其接脚可以供使用者由程控自由使用,pin脚依现实考量可作为通用输入(gpi)或通用输出(gpo)或通用输入与输出(gpio)。
196.i2c一般指i2c总线,是由philips公司开发的一种简单、双向二线制同步串行总线。只需要两根线即可在连接于总线上的器件之间传送信息。
197.在一些可选的实施例中,所述预设对比度条件包括以下至少一种:
198.所述m张待测图像的对比度的最小值不小于第一对比度阈值;
199.所述m张待测图像的对比度的平均值不小于第二对比度阈值。
200.在一些可选的实施例中,所述头戴式显微镜用于穿戴在实验动物的头部,所述实验动物的脑区注射有光遗传病毒和钙成像病毒,所述头戴式显微镜设置有光遗传光学路径和钙成像光学路径;
201.在对焦后,所述处理器还被配置成实现如下步骤:
202.利用第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激;
203.利用第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像。
204.在一些可选的实施例中,所述显微成像系统还设置有至少一个摄像头,对所述实验动物施加光遗传刺激以及采集神经活动图像的过程包括:
205.s11:利用所述第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像,利用每个所述摄像头采集所述实验动物的行为学图像;
206.s12:基于所述实验动物的神经活动图像和行为学图像,检测所述实验动物是否需要光遗传刺激;如果是,则执行步骤s13;如果否,则执行步骤s11;
207.s13:获取所述实验动物对应的刺激配置信息;
208.s14:基于所述刺激配置信息,利用所述第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激,执行步骤s11,直到满足采集结束条件。
209.在一些可选的实施例中,所述处理器被配置成采用如下方式实现步骤s13:
210.将所述实验动物的神经活动图像和行为学图像输入至刺激配置模型,以得到所述
实验动物的刺激配置信息;
211.其中,所述刺激配置模型的训练过程包括:
212.获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本对象的神经活动图像、行为学图像以及所述样本对象的刺激配置信息的标注数据;
213.针对所述训练集中的每个训练数据,执行以下处理:
214.将所述训练数据中的样本对象的神经活动图像、行为学图像输入预设的深度学习模型,得到所述样本对象的刺激配置信息的预测数据;
215.基于所述样本对象的刺激配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
216.检测是否满足预设的训练结束条件;如果是,则将训练出的深度学习模型作为所述刺激配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
217.在一些可选的实施例中,所述头戴式显微镜还包括第一二向镜、第二二向镜和图像传感器;
218.在所述光遗传光学路径中,所述第一光源发出的光,经过所述第一二向镜透射后,再经过所述第二二向镜反射至所述实验动物的头部,以对所述实验动物施加光遗传刺激;
219.在所述钙成像光学路径中,所述第二光源发出的光,经过所述第一二向镜反射后,再经过所述第二二向镜反射至所述实验动物的头部,以激发所述实验动物的钙成像病毒,并利用所述图像传感器接收所述实验动物的反射光,以采集所述实验动物的神经活动图像。
220.在一些可选的实施例中,所述头戴式显微镜还包括第一滤光片、第二滤光片、第一准直透镜、第二准直透镜和至少一个消差透镜;
221.在所述光遗传光学路径中,沿所述第一光源发出的光的传播方向顺次设置有:所述第一滤光片、所述第一准直透镜、所述第一二向镜和所述第二二向镜;
222.在所述钙成像光学路径中,沿所述第二光源发出的光的传播方向顺次设置有:所述第二滤光片、所述第二准直透镜、所述第一二向镜、所述第二二向镜;沿所述实验动物的反射光的传播方向顺次设置有:所述消差透镜、所述液体透镜和所述图像传感器。
223.在一些可选的实施例中,所述显微成像系统还包括三芯线缆;
224.所述数据处理模块还包括数据采集板卡,所述数据采集板卡利用所述三芯线缆与所述头戴式显微镜电连接,以使所述头戴式显微镜实现电能传输和数据传输的功能。
225.本技术实施例还提供了一种显微成像系统的控制装置,其具体实现方式与上述方法实施方式中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
226.所述装置应用于显微成像系统,所述显微成像系统包括头戴式显微镜,所述头戴式显微镜包括液体透镜,所述装置包括:
227.图像测试模块,用于将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;
228.继续测试模块,用于当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,调
用所述图像测试模块,m为不大于n的正整数;
229.对焦模块,用于当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。
230.本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时实现上述任一项处理器的功能或者实现上述任一项方法的步骤,其具体实现方式与上述方法实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
231.参见图6,图6示出了本技术提供的一种用于实现控制方法的程序产品的结构示意图。程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本技术中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
232.计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如java、c++等,还包括常规的过程式程序设计语言诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
233.本技术从使用目的上,效能上,进步及新颖性等观点进行阐述,其设置有的实用进步性,已符合专利法所强调的功能增进及使用要件,本技术以上的说明及附图,仅为本技术的较佳实施例而已,并非以此局限本技术,因此,凡一切与本技术构造,装置,特征等近似、雷同的,即凡依本技术专利申请范围所作的等同替换或修饰等,皆应属本技术的专利申请保护的范围之内。

技术特征:


1.一种显微成像系统,其特征在于,所述显微成像系统包括头戴式显微镜和数据处理模块,所述头戴式显微镜包括液体透镜,所述数据处理模块包括处理器,所述处理器被配置成实现如下步骤:s1:将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;s2:当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,执行步骤s1,m为不大于n的正整数;s3:当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。2.根据权利要求1所述的显微成像系统,其特征在于,所述预设对比度条件包括以下至少一种:所述m张待测图像的对比度的最小值不小于第一对比度阈值;所述m张待测图像的对比度的平均值不小于第二对比度阈值。3.根据权利要求1所述的显微成像系统,其特征在于,所述头戴式显微镜用于穿戴在实验动物的头部,所述实验动物的脑区注射有光遗传病毒和钙成像病毒,所述头戴式显微镜设置有光遗传光学路径和钙成像光学路径;在对焦后,所述处理器还被配置成实现如下步骤:利用第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激;利用第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像。4.根据权利要求3所述的显微成像系统,其特征在于,所述显微成像系统还设置有至少一个摄像头,对所述实验动物施加光遗传刺激以及采集神经活动图像的过程包括:s11:利用所述第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像,利用每个所述摄像头采集所述实验动物的行为学图像;s12:基于所述实验动物的神经活动图像和行为学图像,检测所述实验动物是否需要光遗传刺激;如果是,则执行步骤s13;如果否,则执行步骤s11;s13:获取所述实验动物对应的刺激配置信息;s14:基于所述刺激配置信息,利用所述第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激,执行步骤s11,直到满足采集结束条件。5.根据权利要求4所述的显微成像系统,其特征在于,所述处理器被配置成采用如下方式实现步骤s13:将所述实验动物的神经活动图像和行为学图像输入至刺激配置模型,以得到所述实验动物的刺激配置信息;其中,所述刺激配置模型的训练过程包括:获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本对象的神经活动图像、行为学图像以及所述样本对象的刺激配置信息的标注数据;针对所述训练集中的每个训练数据,执行以下处理:将所述训练数据中的样本对象的神经活动图像、行为学图像输入预设的深度学习模型,得到所述样本对象的刺激配置信息的预测数据;
基于所述样本对象的刺激配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;检测是否满足预设的训练结束条件;如果是,则将训练出的深度学习模型作为所述刺激配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。6.根据权利要求3所述的显微成像系统,其特征在于,所述头戴式显微镜还包括第一二向镜、第二二向镜和图像传感器;所述利用第一光源和所述光遗传光学路径对所述实验动物施加光遗传刺激,包括:在所述光遗传光学路径中,所述第一光源发出的光,经过所述第一二向镜透射后,再经过所述第二二向镜反射至所述实验动物的头部,以对所述实验动物施加光遗传刺激;所述利用第二光源和所述钙成像光学路径采集所述实验动物的神经活动图像,包括:在所述钙成像光学路径中,所述第二光源发出的光,经过所述第一二向镜反射后,再经过所述第二二向镜反射至所述实验动物的头部,以激发所述实验动物的钙成像病毒,并利用所述图像传感器接收所述实验动物的反射光,以采集所述实验动物的神经活动图像。7.根据权利要求6所述的显微成像系统,其特征在于,所述头戴式显微镜还包括第一滤光片、第二滤光片、第一准直透镜、第二准直透镜和至少一个消差透镜;在所述光遗传光学路径中,沿所述第一光源发出的光的传播方向顺次设置有:所述第一滤光片、所述第一准直透镜、所述第一二向镜和所述第二二向镜;在所述钙成像光学路径中,沿所述第二光源发出的光的传播方向顺次设置有:所述第二滤光片、所述第二准直透镜、所述第一二向镜、所述第二二向镜;沿所述实验动物的反射光的传播方向顺次设置有:所述消差透镜、所述液体透镜和所述图像传感器。8.根据权利要求1所述的显微成像系统,其特征在于,所述显微成像系统还包括三芯线缆;所述数据处理模块还包括数据采集板卡,所述数据采集板卡利用所述三芯线缆与所述头戴式显微镜电连接,以使所述头戴式显微镜实现电能传输和数据传输的功能。9.一种显微成像系统的控制方法,其特征在于,应用于显微成像系统,所述显微成像系统包括头戴式显微镜,所述头戴式显微镜包括液体透镜,所述方法包括:s1:将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;s2:当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,执行步骤s1,m为不大于n的正整数;s3:当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。10.一种显微成像系统的控制装置,其特征在于,应用于显微成像系统,所述显微成像系统包括头戴式显微镜,所述头戴式显微镜包括液体透镜,所述装置包括:图像测试模块,用于将所述液体透镜对应的电压取值范围划分为n个区间,利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的n张待测图像,n为大于1的整数;
继续测试模块,用于当对比度最高的m张待测图像不满足预设对比度条件时,将所述m张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,调用所述图像测试模块,m为不大于n的正整数;对焦模块,用于当所述m张待测图像满足所述预设对比度条件时,基于所述m张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。11.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被执行时实现权利要求1-8任一项处理器的功能或者实现权利要求9所述方法的步骤。

技术总结


本申请提供显微成像系统及其控制方法、装置、计算机可读存储介质,所述显微成像系统包括头戴式显微镜和数据处理模块,所述数据处理模块包括处理器,所述处理器被配置成实现如下步骤:S1:利用所述头戴式显微镜分别采集在所述液体透镜的电压值处于不同区间时对应的N张待测图像;S2:当对比度最高的M张待测图像不满足预设对比度条件时,将所述M张待测图像对应的液体透镜的电压值范围作为所述液体透镜对应的电压取值范围,执行步骤S1;S3:当所述M张待测图像满足所述预设对比度条件时,基于所述M张待测图像中对比度最高的待测图像对应的电压值,确定所述液体透镜的工作电压值,实现对焦。在满足对比度要求的情况下,提升对焦效率。提升对焦效率。提升对焦效率。


技术研发人员:

张超 彭晓聿 李军 李阳

受保护的技术使用者:

杭州博伦脑机科技有限公司

技术研发日:

2022.09.26

技术公布日:

2022/12/9

本文发布于:2024-09-22 06:39:17,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/32672.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:所述   图像   透镜   对比度
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议