推特Twitter数据采集(内容,粉丝,关键字等)

推特Twitter数据采集(内容,粉丝,关键字等)(有需求可以私信我,24⼩时在线蟹蟹)
最近因为⼯作需要爬⾍了⼀段时间推特。gis在物流中的应用
Twitter⽹站是⽤AJAX异步加载的,⽤request请求到json⽂件的数据url也是拒绝的
所以只能慢慢模拟浏览器下滑慢慢加载json⽂件咯(当然我没有⽤类似于selenium⼀类的库,效率太低)川端康成
举个例⼦:
桃花岛奇遇我们需要爬trump的1000条推特,输⼊以下命令就⾏了
GetOldTweets3 --usename "realDonaldTrump" --toptweets --maxtweets 100
爬⾍结果如下(因为⽤windows系统需要fanqiang,所以直接在linux下使⽤了)
⽤python代码读⼀下csv⽂档(穷苦民众只能买没有图形界⾯的服务器):
谷歌学术import csv import pandas as pd ad_csv("/opt/test/output_got.csv") print(df)
再⽐如,我们想检索在推特上搜索 “changsha”的新闻
GetOldTweets3 --qsearch " changsha " --maxtweets 10
植物抗体没什么问题,如果在windows系统下不能使⽤可以私信我或者应该是被墙住了吧。
优秀的程序员我觉得就是要⼀键和兼容 ,具体怎么使⽤看看我写的readme就⾏了
具体github地址如下:
Solin1998/SearchTT g ithub
希望各位有需要的⽼哥可以fork我⼀下,谢谢对我蛮重要的,感恩!
当然,情感分析,事件抽取⼀类的事情我也做不来,只是做了⼀部分原始数据的来源爬⾍,
有时间应该会更新看有没有办法绕过twitter开发者账号⽐如爬取关注的⼈,多级关注等
有个⽼哥私信我好⼏次了,你先⽤这个代码爬⼀下关注者和评论信息吧,json格式的
import ssl import json quest from bs4
import BeautifulSoup quest
import urlopen
ssl._create_default_https_context = ssl._create_unverified_context
import tweepy
#这个账号⾃⼰去申请,不好意思哦花龄盛会
consumer_key = 'lr7GQ6kTaSBkjQV'
consumer_secret = 'oxrXDT8TxsYRqIfk0k7vsX6zHyHSZ7fwZR'
access_token = '3388759955-FOU7cDJApQLDRjIbvICPCJtT5'
access_token_secret = 'qEvay5uQUxt0sTlHclSeI1KrblHJR8X'
auth = tweepy.OAuthHandler (consumer_key, consumer_secret) auth.set_access_token (access_token,
access_token_secret)
api = tweepy.API (auth)
api = tweepy.API(auth, wait_on_rate_limit=True) results=api.friends(id="markturnery2k") #id就是你要查的user_id print(results)
最后,本⼈还整理了⼀推特粉丝排名,如中⽂⽤户排名,热点事件参与等等..
有需求可以私信本⼈邮箱:darkfantastic@163
chat:374572744

本文发布于:2024-09-20 22:40:54,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/121477.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:私信   账号   需要   关注   事件
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议