微博python

‘壹’ 现在python微博爬虫可以爬到用户注册地址吗

现在python微博爬虫不可租知族以爬到用户注册地址。爬虫要实现的是爬取某个用户的关注和粉丝的弊弊用户公开基猛竖本信息，包括用户昵称、id、性别、所在地和其粉丝数量。

‘贰’ python爬取和分析新浪微博（一）：scrapy构建新浪微博榜单、博主及微博信息爬虫

爬虫项目介绍

本项目基于Python的Scrapy框架，采用随机用户代理和IP代理等反爬技巧，将收集到的微博领域数据、各领域榜单博主信息和博主的微博信息分别存入MySQL数据库的相应表格。

查看完整代码请访问GitHub：

爬虫逻辑

2.1 获取微博领域信息

首先，爬取V影响力榜上所有微博领域名称及其对应的各领域微博榜单链接。

2.2 获取各领域榜单博主信息

进入各领域排行榜页面（如互联网榜），抓取4月月榜排名前100的博主信息。

分析网页得知，博主信息通过单独请求json文件获取。

请求的URL地址为：v6.bang.weibo.com/aj/we...

URL中__rnd字段的值由请求时间戳生成。

使用POST请求，并在表单中包含type、date、domainId等字段。

编写请求代码如下：

2.3 获得博主个人主页和发表微博信息

收集每个博主的昵称、ID、粉丝数、关注数、微博数、性别、地址等信息后，进入博主的微博主页，抓取最近60条微博信息（包括内容、发表日期、转发/点赞/评论数等）。

请求博主主页URL时需携带固定的cookie信息。

博主微博主页分析发现，发表的微博内容通过单独请求json文件获取。

json文件的URL很长，包含domain、pl_name、page_id、script_uri等字段。

请求方式为GET。

请求json文件后，将data值转化为Scrapy的Selector子类，使用CSS或XPath选择器获取所需信息。

爬虫代理设置

为了对抗微博的反爬策略，本项目使用随机更换User-Agent和IP地址的方法。

3.1 随机User-Agent

编写RandomUserAgentMiddleware中间件，使用fake-useragent生成UserAgent实例，为每次请求随机生成一个User-Agent。

具体代码在GitHub上。

3.2 随机IP

从蘑菇IP代理购买付费IP，生成API链接，处理返回的JSON文件提取IP信息，保存至MySQL数据库。Scrapy每次请求时从数据库随机获取一个有效IP。

通过变换IP地址发送请求，基本避免了被反爬。

爬取结果

异步保存至MySQL数据库，数据分别存入weibotopic、topicuser、weiboinfo三个表格。

weibotopic（38个领域）：

topicuser（3648个用户，有些领域榜单上可能不足100个用户）：

weiboinfo（115740条微博）

小结

以上介绍了基于V影响力榜单爬取新浪微博信息的爬虫项目，代码在GitHub上公开，欢迎查看、交流。

后续文章将对收集到的数据进行统计分析和可视化展示，期待进一步的探索。