深度学习已经运⽤到多个领域，为⼈们⽣活带来极⼤便利。然⽽，为特定任务构造⼀个⾼质量的深度学习系统不仅需要耗费⼤量时间和资源，⽽且很⼤程度上需要专业的领域知识。
因此，为了让深度学习技术以更加简单的⽅式应⽤到更多的领域，⾃动机器学习（AutoML）逐渐成为⼈们关注的重点。
本⽂⾸先从端到端系统的⾓度总结了⾃动机器学习在各个流程中的研究成果（如下图），然后着重对最近⼴泛研究的神经结构搜索（Neural Architecture Search, NAS）进⾏了总结，最后讨论了⼀些未来的研究⽅向。 众所周知，数据对于深度学习任务⽽⾔⾄关重要，因此⼀个好的AutoML系统应该能够⾃动提⾼数据质量和数量，我们将数据准备划分成两个部分：数据收集和数据清洗。
1、数据收集
现如今不断有公开数据集涌现出来，例如MNIST，CIFAR10，ImageNet等等。我们也可以通过⼀些公开的⽹站获取各种数据集，例如Kaggle， Google Dataset Search以及Elsevier Data Search等等。但是对于⼀些特殊的任务，尤其是医疗或者涉及到个⼈隐私的任务，由于数据很难获取，所以通常很难到⼀个合适的数据集或者数据集很⼩。解决这⼀问题主要有两种思路：数据⽣成和数据搜索。
1）数据⽣成
电源外壳
图像：托板
Cubuk, EkinD., et al. "Autoaugment: Learning augmentation policies fromdata." arXiv preprint arXiv:1805.09501 (2018).语⾳：
Park, DanielS., et al. "Specaugment: A simple data augmentation method for automaticspeech recognition." arXiv preprint arXiv:1904.08779(2019).
⽂本：
Xie, Ziang,et al. "Data noising as smoothing in neural network languagemodels." arXiv preprint
arXiv:1703.02573 (2017).
Yu, Adams Wei,et al. "Qanet: Combining local convolution with global self-attention forreading comprehension." arXiv preprint arXiv:1804.09541 (2018).
GAN：
Karras, Tero, Samuli Laine, and Timo Aila. "A style-basedgenerator architecture for generative adversarial
networks." Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
模拟器：
Brockman, Greg, et al. "Openai gym." arXiv preprintarXiv:1606.01540 (2016).
2）数据搜索
Roh, Yuji, Geon Heo, and Steven Euijong Whang. "A survey ondata collection for machine learning: a big data-ai
integrationperspective." arXiv preprint arXiv:1811.03402(2018).
Yarowsky, David. "Unsupervised word sense disambiguationrivaling supervised methods." 33rd annual meeting of the associationfor computational linguistics. 1995.
Zhou, Yan, and Sally Goldman. "Democraticco-learning." 16th IEEE International Conference on Tools withArtificial Intelligence. IEEE, 2004.
2、数据清洗
Krishnan,Sanjay, and Eugene Wu. "Alphaclean: Automatic generation of data cleaningpipelines." arXiv preprint
arXiv:1904.11827 (2019).
Chu, Xu, etal. "Katara: A data cleaning system powered by knowledge bases andcrowdsourcing." Proceedings of the 2015 ACM SIGMOD InternationalConference on Management of Data. ACM, 2015.
Krishnan,Sanjay, et al. "Activeclean: An interactive data cleaning framework formodern machine learning." Proceedings of the 2016 InternationalConference on Management of Data. ACM, 2016.河道生态护坡
Krishnan,Sanjay, et al. "SampleClean: Fast and Reliable Analytics on DirtyData." IEEE Data Eng. Bull. 38.3 (2015): 59-75.
⼆、特征⼯程
特征⼯程可分为三个部分：
1、特征选择
2、特征构造
H. Vafaie and K. De Jong, “Evolutionary feature spacetransformation,” in Feature Extraction, Construction and
Selection. Springer,1998, pp. 307–323
J. Gama, “Functional trees,” Machine Learning, vol. 55, no. 3, pp.219–250, 2004.
D. Roth and K. Small, “Interactive feature space construction usingsemantic information,” in Proceedings of the
Thirteenth Conference onComputational Natural Language Learning. Association for Computational Linguistics,2009, pp. 66–74.
3、特征提取
Q. Meng, D. Catchpoole, D. Skillicom, and P. J. Kennedy, “Relationalautoencoder for feature extraction,” in 2017 International Joint Conference onNeural Networks (IJCNN). IEEE, 2017, pp. 364–371.
O. Irsoy and E. Alpaydın, “Unsupervised feature extraction withautoencoder trees,” Neurocomputing, vol. 258, pp.
63–73, 2017.
三、模型⽣成
模型⽣成的⽅式主要有两种：⼀是基于传统的机器学习⽅法⽣成模型，例如SVM，decision tree等，已经开源的库有Auto-sklearn和TPOT等。另⼀种是是神经⽹络结构搜索（NAS）。我们会从两个⽅⾯对NAS进⾏总结，⼀是NAS的⽹络结构，⼆是搜索策略。
1、⽹络结构
1）整体结构（entire structure）：
该类⽅法是⽣成⼀个完整的⽹络结构。其存在明显的缺点，如⽹络结构搜索空间过⼤，⽣成的⽹络结构缺乏可迁移性和灵活性。
2）基于单元结构（cell-based structure）： 为解决整体结构⽹络搜索存在的问题提出了基于单元结构设计的⽅法。如下图所⽰，搜索到单元结构
后需要叠加若⼲个单元结构便可得到最终的⽹络结构。不难发现，搜索空间从整个⽹络缩减到了更⼩的单元结构，⽽且我们可以通过增减单元结构的数量来改变⽹络结构。但是这种⽅法同样存在⼀个很明显的问题，即单元结构的数量和连接⽅式不确定，现如今的⽅法⼤都是依靠⼈类经验设定。
3）层次结构（hierarchical structure）
不同于上⾯将单元结构按照链式的⽅法进⾏连接，层次结构是将前⼀步骤⽣成的单元结构作为下⼀步单元结构的基本组成部件，通过迭代的思想得到最终的⽹络结构。如下图所⽰，(a)中左边3个是最基本的操作，右边是基于这些基本操作⽣成的某⼀个单元结构；(b)中左边展⽰了上⼀步骤中⽣成的若⼲个单元结构，通过按照某种策略将这些单元结构进⾏组合得到了更⾼阶的单元结构。
H. Liu, K. Simonyan, O. Vinyals, C. Fernando, and K. Kavukcuoglu,“Hierarchical representations for efficient
architecture search,” in ICLR, p.13
4）基于⽹络态射结构（network morphism-based structure）：
⼀般的⽹络设计⽅法是⾸先设计出⼀个⽹络结构，然后训练它并在验证集上查看它的性能表现，如果表现较差，则重新设计⼀个⽹络。可以很明显地发现这种设计⽅法会做很多⽆⽤功，因此耗费⼤量时间。⽽基于⽹络态射结构⽅法能够在原有的⽹络结构基础上做修改，所以其在很⼤程度上能保留原⽹
络的优点，⽽且其特殊的变换⽅式能够保证新的⽹络结构还原成原⽹络，也就是说它的表现⾄少不会差于原⽹络。运行网
T. Chen, I. Goodfellow, and J. Shlens, “Net2net: Acceleratinglearning via knowledge transfer,” arXiv preprint arXiv:1511.05641, 2015.
H. Cai, T. Chen, W. Zhang, Y. Yu, and J. Wang, “Efficientarchitecture search by network transformation,” in Thirty-
Second AAAIConference on Artificial Intelligence, 2018
2、搜索策略
1）⽹格搜索
H. H. Hoos, Automated Algorithm Configuration and Parameter Tuning,2011
I. Czogiel, K. Luebke, and C. Weihs, Response surface methodologyfor optimizing hyper parameters.
Universitatsbibliothek Dortmund, 2006.
C.-W. Hsu, C.-C. Chang, C.-J. Lin et al., “A practical guide tosupport vector classification,” 2003.
J. Y. Hesterman, L. Caucci, M. A. Kupinski, H. H. Barrett, and L. R.Furenlid, “Maximum-likelihood estimation with a contracting-grid searchalgorithm,” IEEE transactions on nuclear science, vol. 57, no. 3, pp.1077–1084, 2010.
2）随机搜索
J. Bergstra and Y. Bengio, “Random search for hyper-parameteroptimization,” p. 25.
H. Larochelle, D. Erhan, A. Courville, J. Bergstra, and Y. Bengio,“An empirical evaluation of deep architectures on
人脸识别数据标注problems with many factors ofvariation,” in Proceedings of the 24th international conference on Machinelearning.
ACM, 2007, pp. 473–480.
3）强化学习
4）进化算法
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议