无透镜显微技术

透镜显微技术
徐鑫舳1#ꎬ关美玲1#ꎬ姜㊀杉1ꎬ杨后圃2ꎬ王㊀殊2ꎬ席㊀鹏1∗
(1.北京大学工学院生物医学工程系ꎬ北京100871ꎻ2.北京大学人民医院乳腺中心ꎬ北京100044)
摘㊀要:无透镜显微成像(lens ̄freemicroscopy)是一种在不借助透镜的情况下进行成像的技术ꎮ它基于Gabor
ar台
同轴全息原理ꎬ利用面阵探测器采集原始全息图ꎬ随后通过数字图像处理技术重建样本ꎬ从而实现数字显微成像ꎮ像素超分辨技术缩小了等效像素ꎬ提供更多细节信息使得再现像的分辨率得以直接提升ꎬ而且多种相位恢复手段通过去除孪生像也达到了间接提高分辨率的目的ꎬ尤其是对密集样本ꎮ无透镜显微成像技术突破了传统光学显微镜由透镜带来的空间带宽积的限制ꎬ实现了大视野范围下的高分辨率成像ꎬ因此ꎬ这一技术能够提供大视场下的临床样本快速诊断和准确检测ꎮ另外ꎬ新兴的算法和硬件都在不断地加快数据采集和计算速度ꎬ扩展了其在高速运动样本和纳米尺度样本上的应用ꎮ最近无透镜技术和其配套硬件设备发展方向趋向于硬件紧凑㊁算法密集㊁实时㊁三维㊁彩㊁高分辨率的便携式分立器件或配件ꎮ
关键词:无透镜显微术ꎻ同轴全息术ꎻ相位恢复ꎻ像素超分辨中图分类号:Q ̄336
文献标志码:A
DOI:10.3969/j.issn.1007 ̄7146.2019.03.001
Lens ̄freeMicroscopy
XUXinzhu1#ꎬGUANMeiling1#ꎬJIANGShan1ꎬYANGHoupu2ꎬWANGShu2ꎬXIPeng1∗
(1.DepartmentofBiomedicalEngineeringꎬPekingUniversityꎬBeijing100871ꎬBeijingꎬChinaꎻ2.BreastCenterofPekingUniversityPeople sHospitalꎬBeijing100044ꎬBeijingꎬChina)
Abstract:Lens ̄freemicroscopictechnologyutilizesGabor ̄basedin ̄lineholographicopticalpathtocapturetheinterfer ̄
enceimagesgeneratedbyilluminatinglightsthroughthemicro ̄samplesꎬwiththehelpofanareaarrayd
etectorbutwith ̄outanyimaginglenses.Itisadigitalmicroscopicimagingtechnologywhichusesadigital ̄picture ̄processingmethodtoreconstructimageforthesakeofacquiringinformationfromthesemicro ̄samples.Theshrinkageofequivalentpixelele ̄
mentsachievedbypixelsuper ̄resolutiongivesmorehigh ̄frequencyinformationandꎬfurtherꎬitpromotestheresolutionofreconstructiondirectly.Meanwhileꎬmultiplephaserecoveryarithmetictoolsmakethesamecontributionstoresolutionindirectlybyeliminatingthetwin ̄imagesꎬespeciallytothedensesamples.Moreoverꎬsuchtechnologybreaksthelimita ̄
tioninspatialbandwidthproductꎬcomparingtotheclassicalopticsmicroscopesꎬwhichleadstothehi
gh ̄resolutionima ̄ginginalargerfieldofview(FOV).Thereforeꎬitcanprovidepowerfulsupportsforrapidlydiagnosingsampleswithabigfieldofviewinclinicalapplicationandexaminationinthecaseofresourceshortage.Additionallyꎬtheboomingalgo ̄
rithmwithoptimizinghardwaresrendersimpetusindata ̄samplingandcomputingeffectsꎬexpandingtheapplicationson第28卷第3期2019年6月
激㊀光㊀生㊀物㊀学㊀报
ACTA㊀LASER㊀BIOLOGY㊀SINICA
Vol.28No.3Jun.2019
收稿日期:2019 ̄03 ̄18ꎻ修回日期:2019 ̄04 ̄08ꎮ
基金项目:国家自然科学基金项目(61729501)ꎻ国家重大科学仪器设备开发专项项目(2013YQ030651)ꎻ科技部重点
研发专项项目(2017YFC0110202)ꎻ北京杰出青年项目(18JQ019)ꎻ北京大学医工交叉专项项目(PKU ̄
MedX1801)ꎮ
作者简介:#并列第一作者ꎮ徐鑫舳ꎬ博士研究生ꎻ关美玲ꎬ硕士研究生ꎮ
药物枕头∗通讯作者:席鹏ꎬ教授ꎬ主要从事生物医学影像以及光学超分辨方向的研究ꎮE ̄mail:xipeng@pku.edu.cnꎮ
specimensmovinginhighspeedandonananometerscale.Thedevelopingtendencyoflens ̄freetechnologyanditsmatchedharddevicesaretobecomecompactedbotharithmeticallyandvolumetrically.Ultimatelyꎬthereal ̄timeꎬthree
dimensionalꎬcolorfully ̄imagingꎬportableandseparateddeviceswithhigh ̄resolutioncanbemanufactured.
Keywords:lens ̄freemicroscopyꎻin ̄lineholographyꎻphaserecoveryꎻpixelsuper ̄resolution
㊀㊀光学显微成像是物理㊁化学和生物等自然科学领域用于观察微观物体的重要手段ꎮ物镜是显微镜成像的重要元件ꎬ因为其有固定的空间带宽积ꎬ即恒定的分辨率 ̄视场积[1]ꎬ所以要想获得高分辨率ꎬ就必须牺牲成像视场(fieldofviewꎬFOV)ꎮ采用透镜的传统光学显微镜只能在分辨率和成像视场之间取折衷ꎬ无法单次完成对大尺寸样本的高分辨率成像ꎮ以现阶段的术中或术后病理样本成像为例ꎬ若要对大面积和大体积病理样本成像ꎬ需要对病理样品进行染㊁冷冻㊁切片㊁扫描和拼接ꎮ其中ꎬ扫描拼接过程带来样本处理时间过长㊁机械扫描精度不足或数字图像拼接误差等问题ꎬ造成成像速度慢和遗漏小型病灶等现象ꎬ严重的可直接影响病理诊断结果和手术效果ꎮ因此ꎬ在临床应用中ꎬ亟需开发成像
视场大㊁分辨率高㊁经济高效的新型显微成像设备ꎮ
现今ꎬ优良的成像器件㊁高性能的计算技术㊁高速的无线网络传输和广泛的使用平台相互结合ꎬ创造出了各种集成度高㊁价格低廉㊁经济高效㊁使用简便的便携式成像设备ꎮ它们特别适用于解决如疟疾ꎬ艾滋病毒和结核病等全球性问题的远程医疗ꎮ无透镜显微技术(lens ̄freemicroscopy)[1ꎬ2]就是上述全新成像方式中有代表性的一种ꎬ它是一种在不借助透镜的情况下ꎬ基于Gabo
r同轴全息光路ꎬ利用面阵探测器采集穿过样本的透射光之间的干涉图像ꎬ以数字图像处理的手段进行全息重建ꎬ从而获取样本信息的数字显微成像技术ꎮ核心部分由光源(source)㊁样品台(samplestage)以及光电成像传感器(sensor)组成ꎬ如图1所示
图1㊀无透镜显微成像装置图(a)及系统技术流程(b)
Fig.1㊀Thefundamentalstructureoflens ̄freemicroscope(a)andimagingprocess(b)
㊀㊀无透镜显微成像的具体流程如图1b所示ꎮ由光源发出的光衍射至样本平面ꎬ其中一部分直接透过样本的透射光称为参考光(referencelight)ꎬ另一部分与样本发生散射的散射光称为物光(objectlight)ꎬ物光携带被样本调制的信息和参考光一起继续衍射至传感器平面ꎬ在传感器平面发生干涉产生同轴全息图ꎬ被光电传感器采集后ꎬ输入计算机中利用一定的算法进行模拟再现和对图像进行处理ꎬ最终得到再现像ꎮ其中ꎬ实现不同应用的装置对光源相干性会有不同要求ꎬ部分系统使用非相干光ꎬ因此不会产生明显的衍射和干涉条纹ꎻ还有一些设备不需要数
字再现过程ꎬ而是对采集的信息直接进行识别ꎮ接下来我们会在无透镜显微成像的应用中ꎬ详细介绍各种成像系统的设置和要求ꎮ
1㊀无透镜成像技术
1.1㊀无透镜阴影显微成像
无透镜阴影显微技术是无透镜显微技术中的一
种特殊情况ꎮ其特殊性在于该技术仅分析样本的投影强度ꎬ无需进行重建或相位恢复ꎬ就可以实现样本识别和计数等功能ꎮ
491㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀激㊀光㊀生㊀物㊀学㊀报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀
第28卷
图2㊀无透镜阴影成像装置及成像效果
Fig.2㊀Theshadowingimagingsetupandimagingresults
(a1)第一种阴影成像的示意图和(a2)对线虫的成像效果[3]ꎻ(b1)小孔阵列示意图及其(b2)对线虫的成像效果[4]ꎻ(c1)第二种非相干光源和(c2)相干光源的阴影成像效果[5]ꎻ(d)第二种相干光源阴影成像的自动识别效果[5] (a1)Thefirstshadowingimagingschematicdiagramand(a2)imagingresultsonC.elegan[3]ꎻ(b1)Diagrammaticsketchofaperturearrayand(b2)imagingeffectonC.elegan[4]ꎻThesecondshadowingimagingresultswith(c1)incoherentsourceand(c2)coherentsource[5]ꎻ(d)Automaticallyrecognizingresultsofsecondshadowingimaging[5]
㊀㊀能实现该技术的手段有两种ꎮ第一种是尽量减少传感器平面上形成的衍射条纹ꎮ阴影成像可以被看作是最小化样本 ̄传感器距离(z2ʈ0)的同轴全息光路ꎬ如图2中a1所示ꎬ从而可以将图像传感器采
集到的原始强度图像直接作为样本的二维投影ꎮ其光源选用点源LEDꎬ因为LED光源即可满足阴影成像所需的部分相干性或非相干性ꎬ且点源使得工作距离更小ꎬ所需功率更低ꎬ而且在较大的照射角度内准直照射ꎮ这种方法已经和微流体技术进行了紧密地结合ꎬ2005年ꎬLange等[3]首次设计了一种使用无透镜成像检测的可维持线虫生命特征的微流体装置ꎬ其结果足以分辨单个线虫ꎮ另外减小照明波长也可以减少衍射带来的伪影ꎮ
电量控制
另克由于受到传感器像素尺寸的限制ꎬ阴影成像的分辨率远远低于传统显微镜的分辨率ꎮ为了提高分辨率ꎬ2008年ꎬCui等[4]在互补金属氧化物半导体
(complementarymetal ̄oxide ̄semiconductorꎬCMOS)传感器表面刻蚀小孔矩阵(图2b1)ꎬ缩小了等效像素ꎬ图2中a2和b2的对比显示了小孔矩阵的优势ꎬ使其成像效果与20ˑ明场显微镜(光波长:550nmꎬ分辨率:650nm)下展示的线虫内部结构相似ꎬ分辨率可达到0.8μmꎮ2010年ꎬLee等[6]使用视频记录多帧图像ꎬ随后通过细胞追踪和亚像素分辨算法可实现660nm的分辨率ꎮ
第二种方法是通过识别衍射条纹的大小及方向ꎬ判断对应样本的种类及数量ꎮ这种方法对原始全息数据进行人眼或者机器学习的读取和识别ꎬ大大缩短了图像的处理时间ꎬ提高了效率ꎮ相比于
591
第3期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀徐鑫舳等:无透镜显微技术㊀㊀㊀
Ozcan小组[7]ꎬSeo小组[5]使用更高相干性的窄带光源对样本进行全息成像ꎬ这种方式使图像拥有更好的信噪比㊁同类特征数字相似性和异类特征差异性ꎬ通过细胞表征和计数决策后ꎬ后者的效果要好于前者ꎮ如图2中c1㊁c2和d所示ꎮ
无透镜阴影成像主要为无需图像重建ꎬ就可实现图像识别或者计数的方法ꎬ最小化设备体积和重量ꎬ缩短时间ꎬ减轻计算平台负担ꎮ
1.2㊀无透镜荧光显微成像
无透镜荧光显微成像技术的过程为激发光照射
样本ꎬ样本受激发射非相干荧光ꎬ最终屏蔽掉激发光信号后由图像传感器记录荧光信号ꎮ光路中不再有透过样本的参考光ꎬ故该技术的分辨率与光源相干
性无关ꎬ而是与样本 ̄传感器的衍射距离z2高度相关ꎮ一般z2在几百微米左右ꎬ分辨率也与之接近ꎬ这要远差于其他无透镜显微成像技术的分辨率ꎬ也限制了该技术的广泛应用ꎮ
要实现分辨率的提高可以通过如下两种思路实现:
第一ꎬ探测器要能屏蔽掉光源的激发光或对其波长不响应以提高信噪比ꎮ如图3a所示ꎬ利用全内反射
原理[8]ꎬ将激发光调节为全内反入射ꎬ探测激发的荧光ꎬ可以降低激发光带来的噪声ꎮ如图3b所示ꎬ直接将滤光片整合在探测器像素上[9]ꎬ这样不仅可以有效地吸收激发光ꎬ还能使z2距离最小ꎬ分辨率提高至十微米左右[10]
氧化铝磨料图3㊀提高无透镜荧光成像技术分辨率的方法
Fig.3㊀Themethodsofresolutionenhancingoflens ̄freefluorescencemicroscopy
(a)全内反射无透镜系统[8]ꎻ(b)基于滤光片的无透镜结构[9]ꎻ(c)椎体光纤 ̄全内反无透镜系统[11]ꎻ自行车防盗架
(d1)和(d2)纳米结构掩膜无透镜系统[12]
(a)Total ̄reflectinglens ̄freemicroscopesetup[8]ꎻ(b)Lens ̄freemicroscopesetupbasedonfilters[9]ꎻ(c)Conefiber ̄total ̄reflectinglens ̄freesetup[11]ꎻ(d1)&(d2)Lens ̄freewithnano ̄structuredfilm[12]
㊀㊀第二ꎬ主动减小z2ꎮ如图3c所示ꎬ将锥形光纤作为受激荧光接收装置ꎬ半球体光学元件㊁荧光样品和全内反层组成一个全内反激发装置ꎮ激发光源从半球体侧面入射激发样本荧光ꎬ荧光通过全内反层进入锥形光纤小面端ꎬ而后由大面端出射经过荧光
滤光片到达传感器[11]ꎮ锥形光纤可作为一个缩放系统ꎬ主动减小z2时ꎬ增大采样率ꎬ使更多的像元探测到荧光信号ꎮ锥体同时用作热隔离ꎬ让样本平台与传感器电路之间绝热ꎬ更好控制生物样本ꎮ在这种改良下ꎬ样本分辨率小于10μmꎮ如图3中d1和
691㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀激㊀光㊀生㊀物㊀学㊀报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀
第28卷
d2ꎬ在样本平面正下方紧贴一层纳米结构掩膜[12]ꎮ引入该结构对PSF进行了调制ꎬ使相邻样本点之间的互相关系数有效减小ꎬ点与点更易分辨ꎬ从而提高分辨率ꎮ这种方法可以使分辨率提高至2μm左右ꎮ
除了添加硬件改进ꎬ也可以用算法提高分辨率ꎮ像的模糊是由光学衍射造成ꎬ故采用露西 ̄理查德森(Lucy ̄Richardson)去卷积算法消除因衍射造成的图像模糊和偏差效应ꎬ实现锐化ꎮ利用该算法ꎬCoskun
等[13]实现了~40μm分辨率的无透镜成像[8]ꎮ而压缩采样算法的前提是样本近似自然稀疏ꎮ而实际中样本不稀疏时ꎬ则需要利用傅里叶变换或小波变换ꎬ可得到近似稀疏的基础ꎮ该算法只用较少数据就可再现样本ꎬ分辨率可提升至~10μmꎮ
对于数字全息图的恢复ꎬ以上算法上的改良只能解决部分问题ꎬ而系统的分辨率最终还会受每次采样实际情况及光电探测器性能影响ꎮ
1.3㊀无透镜全息显微成像
基于全息理论和光路ꎬ无透镜成像最主要的应
用是无透镜全息显微成像ꎮ不同于前面所介绍的成像技术ꎬ全息显微成像需要对采集的原始全息图进行重建和相位恢复等后期算法处理ꎮ
对于仅进行全息图重建的图像来说ꎬ再现像有两个问题:1)受奈奎斯特采样定理的限制ꎬ再现像的分辨率严重受到传感器像素尺寸的限制ꎬ一般小于100lp/mm(线对/毫米)ꎮ2)传感器记录过程中的相位丢失ꎬ导致重建图像中存在严重的孪生像问题ꎮ
因此对全息图进行简单地重建的方法ꎬ对尺寸较大且较为稀疏的样本效果较好ꎬ可以进行实时监测ꎬ并且使用相关统计进行表征[14]
图4像素超分辨设置的示意图
Fig.4Thediagramoftheset ̄upofpixelsuperresolution(a)亚像素位移设置的示意图[15]ꎻ(b)双方式照明的原理示意图[17]ꎻ
(c)多波长照明实现像素超分辨和合成孔径的结构示意图[18]
(a)Diagramofsubpixeldisplacement[15]ꎻ(b)Schematicdiagramoftwo ̄wayillumination[17]ꎻ(c)Schematicdiagramofmulti ̄wavelengthilluminationforpixelsuper ̄resolutionandsyntheticaperture[18]
1.3.1㊀像素超分辨
㊀㊀对于那些对分辨率要求较高的样本ꎬ我们
可以通过减小等效像素的方法ꎬ即像素超分辨(pixel
superresolutionꎬPSR)方法来提高分辨率ꎮPSR主要是通过多幅低分辨率(lowresolutionꎬLR)图像合成为高分辨率(highresolutionꎬHR)图像的方式ꎬ提高空间
91第3期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀徐鑫舳等:无透镜显微技术㊀㊀㊀

本文发布于:2024-09-22 22:26:15,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/3/324760.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:成像   样本   透镜   分辨率   技术   进行   荧光   传感器
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议