python使用webdriver爬取微信公众号

本文实例为大家分享了python使用webdriver爬取微信公众号的具体代码，供大家参考，具体内容如下

# -*- coding: utf-8 -*-

from selenium import webdriver
import time
import json
import requests
import re
import random

#微信公众号账号
user=""
#公众号密码
password=""
#设置要爬取的公众号列表
gzlist=['香河微服务']

#登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中
def weChat_login():
 #定义一个空的字典，存放cookies内容
 post={}

#用webdriver启动谷歌浏览器
 print("启动浏览器，打开微信公众号登录界面")
 driver = webdriver.Chrome(executable_path='E:\\program\\chromedriver.exe')
 #打开微信公众号登录页面
 driver.get('https://mp.weixin.qq.com/')
 #等待5秒钟
 time.sleep(5)
 print("正在输入微信公众号登录账号和密码......")
 #清空账号框中的内容
 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[1]/div/span/input").clear()
 #自动填入登录用户名
 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[1]/div/span/input").send_keys(user)
 #清空密码框中的内容
 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[2]/div/span/input").clear()
 #自动填入登录密码
 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[2]/div/span/input").send_keys(password)

# 在自动输完密码之后需要手动点一下记住我
 print("请在登录界面点击:记住账号")
 time.sleep(10)
 #自动点击登录按钮进行登录
 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[4]/a").click()
 # 拿手机扫二维码！
 print("请拿手机扫码二维码登录公众号")
 time.sleep(20)
 print("登录成功")
 #重新载入公众号登录页，登录之后会显示公众号后台首页，从这个返回内容中获取cookies信息
 driver.get('https://mp.weixin.qq.com/')
 #获取cookies
 cookie_items = driver.get_cookies()

#获取到的cookies是列表形式，将cookies转成json形式并存入本地名为cookie的文本中
 for cookie_item in cookie_items:
   post[cookie_item['name']] = cookie_item['value']
 cookie_str = json.dumps(post)
 with open('cookie.txt', 'w+') as f:
   f.write(cookie_str)
 print("cookies信息已保存到本地")

#爬取微信公众号文章，并存在本地文本中
def get_content(query):
 #query为要爬取的公众号名称
 #公众号主页
 url = 'https://mp.weixin.qq.com'
 #设置headers
 header = {
   "HOST": "mp.weixin.qq.com",
   "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0"
 }

#读取上一步获取到的cookies
 with open('cookie.txt', 'r') as f:
   cookie = f.read().decode("UTF-8")
 cookies = json.loads(cookie)

#登录之后的微信公众号首页url变化为：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，从这里获取token信息
 response = requests.get(url=url, cookies=cookies)
 token = re.findall(r'token=(\d+)', str(response.url))[0]

#搜索微信公众号的接口地址
 search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'
 #搜索微信公众号接口需要传入的参数，有三个变量：微信公众号token、随机数random、搜索的微信公众号名字
 query_id = {
   'action': 'search_biz',
   'token' : token,
   'lang': 'zh_CN',
   'f': 'json',
   'ajax': '1',
   'random': random.random(),
   'query': query,
   'begin': '0',
   'count': '5'
 }
 #打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers
 search_response = requests.get(search_url, cookies=cookies, headers=header, params=query_id)
 #取搜索结果中的第一个公众号
 lists = search_response.json().get('list')[0]
 #获取这个公众号的fakeid，后面爬取公众号文章需要此字段
 fakeid = lists.get('fakeid')

#微信公众号文章接口地址
 appmsg_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'
 #搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random
 query_id_data = {
   'token': token,
   'lang': 'zh_CN',
   'f': 'json',
   'ajax': '1',
   'random': random.random(),
   'action': 'list_ex',
   'begin': '0',#不同页，此参数变化，变化规则为每页加5
   'count': '5',
   'query': '',
   'fakeid': fakeid,
   'type': '9'
 }
 #打开搜索的微信公众号文章列表页
 appmsg_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)
 #获取文章总数
 max_num = appmsg_response.json().get('app_msg_cnt')
 #每页至少有5条，获取文章总的页数，爬取时需要分页爬
 num = int(int(max_num) / 5)
 #起始页begin参数，往后每页加5
 begin = 0
 while num + 1 > 0 :
   query_id_data = {
     'token': token,
     'lang': 'zh_CN',
     'f': 'json',
     'ajax': '1',
     'random': random.random(),
     'action': 'list_ex',
     'begin': '{}'.format(str(begin)),
     'count': '5',
     'query': '',
     'fakeid': fakeid,
     'type': '9'
   }
   print('正在翻页：--------------',begin)

#获取每一页文章的标题和链接地址，并写入本地文本中
   query_fakeid_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)
   fakeid_list = query_fakeid_response.json().get('app_msg_list')
   for item in fakeid_list:
     content_link=item.get('link')
     content_title=item.get('title')
     fileName=query+'.txt'
     # with open('e://xhwfw.txt','a') as fh:
       # fh.write(content_title+":\n"+content_link+"\n")
     print content_title+":\n"+content_link+"\n"
   num -= 1
   begin = int(begin)
   begin+=5
   time.sleep(2)

if __name__=='__main__':
 try:
   #登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中
   weChat_login()
   #登录之后，通过微信公众号后台提供的微信公众号文章接口爬取文章
   for query in gzlist:
     #爬取微信公众号文章，并存在本地文本中
     print("开始爬取公众号："+query)
     get_content(query)
     print("爬取完成")
 except Exception as e:
   print(str(e))

来源：https://blog.csdn.net/lx91216/article/details/77988556