基于深度学习算法进行图像数据增广的方法和必要性

锌铝镁基于深度学习算法进行图像数据增广的方法和必要性
摘要:近年来,人工智能与大数据的发展,深度模型中网络越来越深,少量的数据集不足以满足训练模型训练的需求,对于数据集的数量要求越来越高。而针对一些我们无法直接获取的图像数据类型,可以选择数据增广的方法来解决上述问题。针对医学图像、遥感图像等难以获得并需要尽最大可能保留图像不能采取传统的数据增广方法,而是应该采用深度学习方法,更高效、智能地扩充数据集。
关键词:深度学习;数据增广;生成对抗网络
加密芯片
1.背景
随着人工智能技术的飞速发展,计算机可做到很多让人意想不到的事情,以图像处理为例,我们可以给电脑一张图片,电脑就可以识别出图片上的内容,这些功能应用到了不同的领域中,例如人脸识别、旧图超分辨率重建、遥感图像中农作物分割和医学图像分割分类等方面,而完成这些任务所需要的工具就是深度学习。
深度学习(deep learning)是机器学习的一个分支,主要事模仿人脑的机制来解释数据,它
基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。 深度学习是机器学习中表征学习(learning representation)方法的一类。一个观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更加容易地从实例中学习任务(比如人脸识别或面部表情识别)。深度学习的好处之一是将用非监督式或半监督式(Semi-supervised learning)的特征学习(Feature learning)和分层特征提取的高效算法来替代手工获取特征。这就说明深度学习有更强大的能力,并完成更艰巨的任务。而深度学习往往需要大量的数据集,抽象来说,机器学习的过程和人类的学习过程相似,学习到足够多的知识才能举一反三。这里指的“足够多”的东西是一个数据集中包含多种多样的数据,包含不同情况不同形态的尽可能丰富的数据。
1.对所需数据集进行数据中增广的必要性
深度学习圣经有句话:常用的隐示"先验"是平滑先验或局部不变性,这个先验表明我们学习的函数不应该在小区域内发生很大的变化。也就是说学习的函数应该是平滑的,不应该收到特殊数据的影响出现尖锐的突变。另外,只要学习的真实函数的峰值和谷值处有足够
多的样本,那么平滑性假设和相关的无参数学习算法的效果都非常好,这也就是数据量丰富的优势。如果我们用数据去拟合一个高阶多项式,这个假设函数可以拟合所有数据,这就可能导致函数的参数量庞大、变量太多的问题,这样的函数也没有办法泛化到新的数据中,导致过拟合情况的发生。而深度学习的网络往往叠加了很多层,每一层都含有大量参数,所以更加需要大量的数据集。模型的样本越充足训练出来的网络模型泛化性越强,鲁棒性越高。
目前,我们可以在网络上到很多公开的数据集,但其数据量常常达不到训练更打模型的要求,这就需要进行数据增强。数据增强的意思使在实质性的增加数据的情况下,让有限的数据产生等价于更多的数据的价值。在大多数情况下,增强技术仅限于图像上的微小变化,因为更“沉重”的增强可能会损害图像的语义内容。此外,扩充的形式可以使用不同的问题,使他们的应用特设和经验。例如,遥感图像和医学图像,难以获得并需要尽最大可能保留图像的有效信息。数据增强特别重要的一个领域是医学影像,首先在这一领域,缺乏可用的公共数据是一个普遍存在的问题,因为对个人医疗记录的访问受到立法的高度保护,必须获得适当的同意,而由此产生的收集对正常对象是极不平衡的;其次,当需要对医学数据集进行分类时,会发现即使有公共的数据集,也会出不同类别的数据集数量有很
大差异的情况。例如使用深度学习算法对乳腺肿瘤进行分类,使用的公开的BUSI数据集,其中有780张肿瘤图片,133张是没有癌变肿块的正常图片,437张是癌变437张是癌变肿块的图片,210张是良性肿块的图片,这就需要我们将每种类别的图片增广到同一数量,否则在训练过程中就会因为数量不平衡使模型带有“偏见”,影响分类精度。
1.数据增广
传统的数据增强方法包括集合方法(翻转、旋转、对称、平移、缩放、裁剪)和颜变换(加噪声/亮度/饱和度/颜反转/直方图均衡/彩平衡等)。除了这些操作外,研究人员还考虑使用深度学习网络来进行数据增强。其中,生成对抗网络(Generative Adversarial Networks,GAN)不仅更加高效便捷,且这类的数据增强的方式更加符合医学应用。
插板闸门生成对抗网络是一种无监督深度学习模型,主要由两个重要的部分构成:生成器(Generator)和判别器(Discriminator)。其中,生成器是通过学习输入的数据分布计算生成数据,目的是尽可能“骗过”判别器;而判别器负责判断数据是真实数据还是生成器生成的数据,目的是尽可能出生成器造的“假数据”。这样,G和D构成了一个动态对抗(或博弈过程),随着训练(对抗)的进行,G生成的数据越来越接近真实数据,D鉴别数据的水平越来越
高。生成对抗网络被认为是当前最具前景、最具活跃度的模型之一,主要应用于样本数据的生成、图像生成、图像修复、图像转换、文本生成等方向。
GANs已经成功地用于数据扩充。例如,Wang等人[1]和Antoniou等人[2]在低数据设置中使用自定义GAN架构,以获得比传统增强分类器一贯更好的结果,而Perez等人[3]设计了一种名为神经增强的新管道,通过风格转移技术,旨在生成不同风格的图像,在后续的分类任务中表现与传统增强方案一样好。此外,Neff[4]提出了一个生成模型,该模型学习生成图像对及其各自的分割掩码,以辅助UNet分割模型,证明在更简单的数据集中,使用合成和真实图像混合训练的网络与使用常规数据增强的严格真实数据训练的网络具有竞争力。
几位作者使用机器学习技术直接从可用数据中学习,并在生成基准数据、交叉模态合成、超分辨率或图像归一化[5]等各种问题上超越了最先进的技术。医学领域最近才开始采用基于gan的方法来合成图像[6]。尤其值得一提的是,Bentaieb等人[7]和Shaban等人汽车香水瓶[8]提出了基于gan的组织病理学图像染归一化转移方法,在各种数据集中得到了非常有趣的结果。为了解决分割任务,许多作者提出了自定义GAN体系结构和管道,对其进行对抗训练,以从给定的医学图像数据集[9]-[10]生成适当的分割掩码。关于模式间的图像平移,[11]
的作者使用条件GAN模型从t1加权图像合成t2加权的大脑MRI图像,反之亦然。最后,许多作者,如[12]和[13],试图生成伪造的医学图像,以增加不同深度学习模型的训练集的大小,这一任务与本研究中所检查的任务更密切相关。Zhao[14]等人提出了DiffAugment模型,在发现只增强鉴别器的样本数据回因为泛化能力差而提供无信息的梯度后提出应该同时增强,将梯度通过增广样本传播到生成器,有效防止了鉴别器的过拟合,并在多个数据集上便显出优秀的泛化能力。
1.总结
软件自动化测试技术
使用传统的数据增广方法对于自然图像的增广是有意义的,但对于需要保留图片中重要信息且较难获得的数据集来说,使用深度学习算法生成对抗网络进行数据增广会更加高效、符合要求。
1.参考文献
[1]Y .-X. Wang, R. Girshick, M. Hebert, and B. Hariharan, “Low-shotlearning from imaginary data,” in Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition, 2018, pp. 7278–7286.
[2] A. Antoniou, A. Storkey, and H. Edwards, “Data augmentation generative adversarial networks,” arXiv preprint arXiv:1711.04340, 2017.
[3]L. Perez and J. Wang, “The effectiveness of data augmentation in imageclassification using deep learning,” arXiv preprint arXiv:1712.04621,2017.
[4]T. Neff, C. Payer, D. Stern, and M. Urschler, “Generative adversarialnetwork based synthesis for supervised medical image segmentation,”in Proc. OAGM and ARW Joint Workshop, 2017.
胀锚螺栓[5]A. F. Frangi, S. A. Tsaftaris, and J. L. Prince, “Simulation and synthesisin medical imaging,” IEEE transactions on medical imaging, vol. 37,no. 3, p. 673, 2018.
[6]X. Yi, E. Walia, and P . Babyn, “Generative adversarial network inmedical imaging: A review,” arXiv preprint arXiv:1809.07294, 2018.
[7]A. BenTaieb and G. Hamarneh, “Adversarial stain transfer forhistopathology image analysis,” IEEE13 transactions on medical imaging,vol. 37, no. 3, pp. 792–802, 2018.
[8]S. Kazeminia, C. Baur, A. Kuijper,et al. “Gans for medical image analysis,”arXiv preprint arXiv:1809.06222, 2018.
[9]H.-C. Shin, N. A. Tenenholtz, J. K. Rogers, et al.“Medical imagesynthesis for data augmentation and anonymization using generativeadversarial networks,” in International Workshop on Simulation andSynthesis in Medical Imaging. Springer, 2018, pp. 1–11.
[10]W. Dai, X. Liang, H. Zhang, E. Xing, and J. Doyle, “Structure correctingadversarial network for chest x-rays organ segmentation,” Sep. 27 2018,uS Patent App. 15/925,998.

本文发布于:2024-09-23 13:29:44,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/230697.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   学习   图像   生成   深度   使用   增强
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议