《数据清洗》_教学大纲

《数据清洗》课程教学大纲

【课程名称】数据清洗

【课程类型】专业必修课

【授课对象】大数据技术专业、人工智能技术专业、云计算技术与应用专业，二年级学生

【学时学分】周学时6，共72学时，4学分

【课程概况】

《数据清洗》课程是大数据技术、云计算技术与应用专业必修课，也是人工智能技术专业的选修课。《数据清洗》是计算机基础理论与应用实践相结合的课程，是大数据专业的高核心课程，它担负着系统、全面地理解大数据，提高大数据应用技能的重任。

本课程的先修课为《Python程序设计》、《大数据导论》、《JAVA程序设计》《数据库设计》和《计算机网络基础》课程，要求学生掌握计算机软件范围的算法结构设计和程序设计的方法，大数据体系结构和网络技术的基本使用方法。

【课程目标】

通过本课程的学习，让学生接触并了解大数据分析的工作原理和使用方法，使学生具有Python大数据分析、设计和可视化开发的能力，具备Kettle大数据清洗和存储的基本技能，并具有较强的分析问题和解决问题的能力，为将来从事大数据相关领域的工作打下坚实的基础。

【课程内容及学时分布】

纳米除臭装置

教学周	教学内容	学时
第一周	主要介绍数据清洗的基本原理、对象和基本方法。	2
第一周	主要介绍数据清洗的评估内容以及各种数据集。	2
第一周	主要介绍数据清洗中数据质量的特点以及数据仓库的知识。	2
家庭智能终端第二周	主要介绍数据清洗的统计知识以及数据清洗的环境和工具。	2
第二周	主要介绍使用数据清洗的文件格式。	2
第二周	主要介绍数据清洗中Kettle的使用方法。	2
第三周	主要介绍数据清洗中Kettle的使用方法以及对不同格式的文件转换。	2
第三周	主要介绍数据抽取原理与Web数据抽取的技术。	2
第三周	主要介绍使用Kettle实现web数据抽取。	2
第四周	主要介绍网络爬虫的原理与工作过程。	2
第夫妻药品四周	主要介绍网络爬虫的python实现。	2
第四周	主要介绍网络爬虫的python实现。	2
第五周	主要介绍网络爬虫的python综合应用。	2
第五周	主要介绍Kettle数据清洗的步骤和基本方法。标定	2
第五周	主要介绍Kettle数据清洗的常见方法和基本操作。	2
第六周	主要介绍Kettle数据清洗的常见方法和基本操作（日志为主）。	2
第六周	主要介绍Kettle数据清洗的常见方法和基本操作（表达式和字段为主）。	2
第六周	主要介绍Kettle数据清洗的常见方法和基本操作（空值和数据采样为主）。	2
第七周	主要介绍Kettle数据清洗的常见方法和基本操作（字符串操作为主）。	2

第七周	主要介绍数据迁移原理和过程。	2
第七周	主要介绍数据迁移技术。	2
第八周	主要介绍数据迁移的实现。	2
第八周	主要介绍Kettle数据迁移的应用。	2
第八周	主要介绍文本分词的定义、原理和算法。	2
第九周	主要介绍文本分词的处理方法。	2
第九周	主要介绍文本分词的应用。	2
第九周	主要介绍Python数据清洗库的使用。	2
第十周	主要介绍Python数据清洗中numpy和pandas的使用	6
第十一、十二周	主要介绍pandas和matplotlib数据清洗	4
第十二周	主要介绍DataCleaner 数据分析与清洗	2
风淋房第十二周	综合训练：要求学生根据本课程所学的内容进行综合设计：（1）数据清洗（2）数据可视化	6