法国女英雄
130
4 结语
景德镇艺术瓷厂
应用数学是一门复杂程度较高的数学课程，侧重于实际应用，在日常生活中处处体现。现如今，伴随着互联网技术的发达，数据分析在应用数学中扮演着越来越重要的角，精准把握数据所呈现出的信息内容，方能助力各行业经济的蓬勃发展。所以，我国也在逐步加大应用数学专业的人才培养，借助计算机的数据分析，发挥应用数学的最大实际功能，而计算机作为一种数据分析处理的辅助工具，在某种意义上也极大推进了互联网数据的发展。显然，计算机数据分析的出现，让应用数学得以发展到一定的高度，在数据为王的时代，谁手中握的数据多，谁就能精准把握更多的经济机会，另一方面，这也有助于我们时刻跟紧时代发展步伐，树立与时俱进的观念，因此新时期对应用数学的学习不可缺少。【参考文献】
[1]孟慧，贾慧娟.离散数学在计算机专业教学中的问题分析与对策研究[J].《考试周刊》，2014（30）:122-123.
[2]严雨灏.基于计算机技术的大数据分析在应用数学中的作用探析[J].《探索科学》，2016（12）:254.
作者简介：李义林（1970- ），男，四川岳池，本科，副教授，研究方向应用数学。
1 研究背景及意义
随着移动互联网的迅猛发展，互联网已经迈入了大数据时代，无论是平常的工作还是日常的生活，我们都在享受着大数据给我们带来的便利，在大数据时代，要产生更大的商业价值，就需要进行数据分析，而数据分析首先就要有数据源，对于传统的搜索引擎，只能模糊匹配用户的需求，无法满足一些精细化的需求，于是网络爬虫应运而生，它可以按照我们的目的对信息进行采集，并去掉一些无用的数据[1]。2 网络爬虫 网络爬虫是搜索引擎的重要一部分，可以自动提取网页的程序及脚本，为搜索引擎从网络上下载网页，总的来说，爬虫主要有以下几个关键点。
2.1 爬取网页二氧化氮
爬取页面需要爬虫向服务器端发送HTTP 请求，然后接收服务器返回整个网页源代码，只有所有的网页代码都获取下来，才可以提取到你想要的信息。为了完成这一过程，最常用的就是内置urllib 库和第三方requests 库，只需要关心请求U R L 的格式，而不需要关心底层的实现。
紧张症
2.2 数据清洗
将整个页面爬取下来的数据量是非常庞大的，但是只有一部分数据是我们所关心的，因此，我们需要对爬取到的数据进行筛选清洗，去掉无用的数据，保留有价值的数据。为了完成这一过程，P y t h o n 提供了
非常强大的正则表达式，以及许多开源库如X p a t h、BeautifulSoup 等。
2.3 数据存储
信息提取后，为了便于后期的继续使用，会将提取到的数据以文件的形式，保存为json 或者CSV 文件，或者存储到Mysql 及MongoDB 数据。
2.4 策略制定
数据清洗如何对目标网站的反爬系统以及在数据采集过程中，可能会出现各种错误和异常，制定合适的策略，确保爬虫能持续高效地运行，就显得非常重要。3 Scrapy框架介绍
随着网络爬虫的应用，一些将常用功能和业务逻辑进行封装的爬虫框架逐渐出现，而Scrapy 就是最常用，最流行的爬虫框架之一。
3.1 Scrapy 框架的架构及工作流程
Scrapy 框架主要包含Scrapy Engine 引擎，Scheduler 调度器，Downloader 下载器，Spider 爬虫，Item Pipeline 管道，Downloader Middlewares 下载中间件及Spider Middlewares Spider 中间件。
Scrapy 框架由引擎控制数据流。引擎首先向Spider 请求第一个要爬取的网页链接，引擎从Spider 中获取第一个要爬取的网页链接，封装成Request 交给调度器。引擎向调度器请求下一个要爬取的网页链接，调度器返回下一个要爬取的链接交付给引擎，引擎会把链接通过下载器中间件转发给下载器，当页面下载完毕，下载器
基于Scrapy 框架的数据采集系统设计与实现
郅芬香，王留芳
（鹤壁汽车工程职业学院 河南 鹤壁 458030）
行医【摘要】随着信息技术的不断发展，互联网已经迈入了大数据时代，如何高效地对海量信息数据进行抓取，分析和存储，已经成为当前研究的一个热点。本文使用Scrapy 框架设计网络爬虫提取新闻报刊的标题、来源、链接地址、发布时间、正文等，详细介绍数据采集系统的设计与实现，该方法可以为数据分析项目提供数据采集及分析支持。【关键词】大数据；Scrapy 框架；网络爬虫
【中图分类号】TP311 【文献标识码】A 【文章编号】1009-5624（2020）07-0130-03
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议