Skip to content

新浪微博爬虫,用python爬取新浪微博数据

Notifications You must be signed in to change notification settings

sxhjlzl/weiboSpider

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Build Status Python PyPI

Weibo Spider

本程序可以连续爬取一个多个新浪微博用户(如胡歌迪丽热巴郭碧婷)的数据,并将结果信息写入文件数据库。写入信息几乎包括用户微博的所有数据,包括用户信息微博信息两大类。因为内容太多,这里不再赘述,详细内容见获取到的字段。如果只需要用户信息,可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限,后面会讲解如何获取cookie。如果不想设置cookie,可以使用免cookie版,二者功能类似。

爬取结果可写入文件和数据库,具体的写入文件类型如下:

  • txt文件(默认)
  • csv文件(默认)
  • json文件(可选)
  • MySQL数据库(可选)
  • MongoDB数据库(可选)
  • SQLite数据库(可选)

同时支持下载微博中的图片和视频,具体的可下载文件如下:

  • 原创微博中的原始图片(可选)
  • 转发微博中的原始图片(可选)
  • 原创微博中的视频(可选)
  • 转发微博中的视频(可选)
  • 原创微博Live Photo中的视频免cookie版特有)
  • 转发微博Live Photo中的视频免cookie版特有)

内容列表

[TOC]

获取到的字段

本部分为爬取到的字段信息说明,为了与免cookie版区分,下面将两者爬取到的信息都列出来。如果是免cookie版所特有的信息,会有免cookie标注,没有标注的为二者共有的信息。

用户信息

  • 用户id:微博用户id,如"1669879400",其实这个字段本来就是已知字段
  • 昵称:用户昵称,如"Dear-迪丽热巴"
  • 性别:微博用户性别
  • 生日:用户出生日期
  • 所在地:用户所在地
  • 学习经历:用户上学时学校的名字和时间
  • 工作经历:用户所属公司名字和时间
  • 阳光信用(免cookie版):用户的阳光信用
  • 微博注册时间(免cookie版):用户微博注册日期
  • 微博数:用户的全部微博数(转发微博+原创微博)
  • 关注数:用户关注的微博数量
  • 粉丝数:用户的粉丝数
  • 简介:用户简介
  • 主页地址(免cookie版):微博移动版主页url
  • 头像url(免cookie版):用户头像url
  • 高清头像url(免cookie版):用户高清头像url
  • 微博等级(免cookie版):用户微博等级
  • 会员等级(免cookie版):微博会员用户等级,普通用户该等级为0
  • 是否认证(免cookie版):用户是否认证,为布尔类型
  • 认证类型(免cookie版):用户认证类型,如个人认证、企业认证、政府认证等
  • 认证信息:为认证用户特有,用户信息栏显示的认证信息

微博信息

  • 微博id:微博唯一标志
  • 微博内容:微博正文
  • 头条文章url:微博中头条文章的url,若微博中不存在头条文章,则值为''
  • 原始图片url:原创微博图片和转发微博转发理由中图片的url,若某条微博存在多张图片,每个url以英文逗号分隔,若没有图片则值为"无"
  • 视频url: 微博中的视频url,若微博中没有视频,则值为"无"
  • 微博发布位置:位置微博中的发布位置
  • 微博发布时间:微博发布时的时间,精确到分
  • 点赞数:微博被赞的数量
  • 转发数:微博被转发的数量
  • 评论数:微博被评论的数量
  • 微博发布工具:微博的发布工具,如iPhone客户端、HUAWEI Mate 20 Pro等
  • 结果文件:保存在当前目录weibo文件夹下以用户昵称为名的文件夹里,名字为"user_id.csv"和"user_id.txt"的形式
  • 微博图片:原创微博中的图片和转发微博转发理由中的图片,保存在以用户昵称为名的文件夹下的img文件夹里
  • 微博视频:原创微博中的视频,保存在以用户昵称为名的文件夹下的video文件夹里
  • 微博bid(免cookie版):为免cookie版所特有,与本程序中的微博id是同一个值
  • 话题(免cookie版):微博话题,即两个#中的内容,若存在多个话题,每个url以英文逗号分隔,若没有则值为''
  • @用户(免cookie版):微博@的用户,若存在多个@用户,每个url以英文逗号分隔,若没有则值为''
  • 原始微博(免cookie版):为转发微博所特有,是转发微博中那条被转发的微博,存储为字典形式,包含了上述微博信息中的所有内容,如微博id、微博内容等等

示例

如果想要知道程序的具体运行结果,可以查看示例文档,该文档介绍了爬取迪丽热巴微博的例子,并附有部分结果文件截图。

运行环境