首页 > 学术百科

Python爬取新版猫眼Top100电影系列数据，并保存到csv文件

Python爬取新版猫眼Top100电影系列数据，并保存到csv⽂件前⾔

宜万本⽂的⽂字及图⽚来源于⽹络，仅供学习、交流使⽤，不具有任何商业⽤途，如有问题请及时以作处理。

PS：如有需要Python学习资料的⼩伙伴可以加点击下⽅链接⾃⾏获取

开发⼯具

python 3.6.5

pycharm

import requests

import parsel

import time

import csv

相关模块pip安装即可

爬⾍基本流程

1.确定url地址(⽹页分析) 完成⼀半

2.发送⽹络请求 requests(js\html\css)

3.数据解析(筛选数据)

4.保存数据(本地⽂件\数据库)

1、确定url地址

maoyan/board/4四膜虫

2、发送⽹络请求

import requests

url ='maoyan/board/4'

response = (url, params=params, headers=headers, cookies=cookies)

pbo# )

3、数据解析(筛选数据)

使⽤parsel模块的CSS选择器解析⽹页数据

猫眼电影⽹页数据，全部再dd标签⾥⾯，所以咱们先获取dd标签⾥⾯的数据

import parsel

selector = parsel.)

dd_s = selector.css('.board-wrapper dd')

遍历dd_s 使⽤css提取每⼀项数据，因为咱们要保存到csv⾥⾯，所以可以先创建⼀个字典接受这些数据

for li in li_s:

name = li.css('.name a::text').get()

star = li.css('.star::text').get()

releasetime = li.css('.releasetime::text').get()

follow = li.css('.score i::text').getall()

实现效果

虚拟时空

4、保存数据

import csv

f =open('data.csv', mode='a', encoding='utf-8', newline='')# 打开⽂件

csv_write = csv.DictWriter(f, fieldnames=['电影名字','主演','上映时间','评分'])# 制定表头csv_write.writeheader()# 写⼊表头

csv_write.writerow(dit)# 写⼊数据

f.close()# 关闭⽂件田间持水量

美国参议院实现效果

本文发布于:2024-09-24 07:16:01，感谢您对本站的认可！

本文链接：https://www.17tex.com/xueshu/23942.html

上一篇：《建设项目职业病危害风险分类管理目录》文件解读

下一篇：mybatis里xml文件中的if语句

标签：数据学习解析

留言与评论（共有 0 条评论）