Python3实现的爬虫爬取数据并存入mysql数据库操作示例
作者:mysql 发布时间:2022-11-06 15:18:59
标签:Python3,爬虫,mysql
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考,具体如下:
爬一个电脑客户端的订单。罗总推荐,抓包工具用的是HttpAnalyzerStdV7,与chrome自带的F12类似。客户端有接单大厅,罗列所有订单的简要信息。当单子被接了,就不存在了。我要做的是新出订单就爬取记录到我的数据库zyc里。
设置每10s爬一次。
抓包工具页面如图:
首先是爬虫,先找到数据存储的页面,再用正则爬出。
# -*- coding:utf-8 -*-
import re
import requests
import pymysql #Python3的mysql模块,Python2 是mysqldb
import datetime
import time
def GetResults():
requests.adapters.DEFAULT_RETRIES = 5 #有时候报错,我在网上找的不知道啥意思,好像也没用。
reg = [r'"id":(.*?),',
r'"order_no":"(.*?)",',
r'"order_title":"(.*?)",',
r'"publish_desc":"(.*?)",',
r'"game_area":"(.*?)\\/(.*?)\\/(.*?)",',
r'"order_current":"(.*?)",',
r'"order_content":"(.*?)",',
r'"order_hours":(.*?),',
r'"order_price":"(.*?)",',
r'"add_price":"(.*?)",',
r'"safe_money":"(.*?)",',
r'"speed_money":"(.*?)",',
r'"order_status_desc":"(.*?)",',
r'"order_lock_desc":"(.*?)",',
r'"cancel_type_desc":"(.*?)",',
r'"kf_status_desc":"(.*?)",',
r'"is_show_pwd":(.*?),',
r'"game_pwd":"(.*?)",',
r'"game_account":"(.*?)",',
r'"game_actor":"(.*?)",',
r'"left_hours":"(.*?)",',
r'"created_at":"(.*?)",',
r'"account_id":"(.*?)",',
r'"mobile":"(.*?)",',
r'"contact":"(.*?)",',
r'"qq":"(.*?)"},']
results=[]
try:
for l in range(1,2): #页码
proxy = {'HTTP':'61.135.155.82:443'} #代理ip
html = requests.get('https://www.dianjingbaozi.com/api/dailian/soldier/hall?access_token=3ef3abbea1f6cf16b2420eb962cf1c9a&dan_end=&dan_start=&game_id=2&kw=&order=price_desc&page=%d'%l+'&pagesize=30&price_end=0&price_start=0&server_code=000200000000&sign=ca19072ea0acb55a2ed2486d6ff6c5256c7a0773×tamp=1511235791&type=public&type_id=%20HTTP/1.1',proxies=proxy) # 用get的方式访问。网页解码成中文。接单大厅页。
#
html=html.content.decode('utf-8')
outcome_reg_order_no = re.findall(r'"order_no":"(.*?)","game_area"', html) #获取订单编号,因为订单详情页url与订单编号有关。
for j in range(len(outcome_reg_order_no)):
html_order = requests.get('http://www.lpergame.com/api/dailian/order/detail?access_token=eb547a14bad97e1ee5d835b32cb83ff1&order_no=' +outcome_reg_order_no[j] + '&sign=c9b503c0e4e8786c2945dc0dca0fabfa1ca4a870×tamp=1511146154 HTTP/1.1',proxies=proxy) #订单详细页
html_order=html_order.content.decode('utf-8')
# print(html_order)
outcome_reg = []
for i in range(len(reg)):#每条订单
outcome = re.findall(reg[i], html_order)
if i == 4:
for k in range(len(outcome)):
outcome_reg.extend(outcome[k])
else:
outcome_reg.extend(outcome)
results.append(outcome_reg) #结果集
return results
except:
time.sleep(5) #有时太频繁会报错。
print("失败")
pass
根据爬虫结果建表,这里变量名要准确。并且要设置唯一索引,使每次爬的只有新订单入库。
def mysql_create():
mysql_host = ''
mysql_db = 'zyc'
mysql_user = 'zyc'
mysql_password = ''
mysql_port = 3306
db = pymysql.connect(host=mysql_host, port=mysql_port, user=mysql_user, password=mysql_password, db=mysql_db,charset='utf8') # 连接数据库编码注意是utf8,不然中文结果输出会乱码
sql_create = "CREATE TABLE DUMPLINGS (id CHAR(10),order_no CHAR(50),order_title VARCHAR(265),publish_desc VARCHAR(265),game_name VARCHAR(265),"\
"game_area VARCHAR(265),game_area_distinct VARCHAR(265),order_current VARCHAR(3908),order_content VARCHAR(3908),order_hours CHAR(10)," \
"order_price FLOAT(10),add_price FLOAT(10),safe_money FLOAT(10),speed_money FLOAT(10),order_status_desc VARCHAR(265),"\
"order_lock_desc VARCHAR(265),cancel_type_desc VARCHAR(265),kf_status_desc VARCHAR(265),is_show_pwd TINYINT,game_pwd CHAR(50),"\
"game_account VARCHAR(265),game_actor VARCHAR(265),left_hours VARCHAR(265),created_at VARCHAR(265),account_id CHAR(50),"\
"mobile VARCHAR(265),mobile2 VARCHAR(265),contact VARCHAR(265),contact2 VARCHAR(265),qq VARCHAR(265),"\
"PRIMARY KEY (`id`),UNIQUE KEY `no`(`order_no`))ENGINE=InnoDB AUTO_INCREMENT=12 DEFAULT CHARSET=utf8"
sql_key="CREATE UNIQUE INDEX id ON DUMPLINGS(id)"
cursor = db.cursor()
cursor.execute("DROP TABLE IF EXISTS DUMPLINGS")
cursor.execute(sql_create)# 执行SQL语句
cursor.execute(sql_key)
db.close() # 关闭数据库连
把数据导入Mysql,注意编码和字段之间的匹配。
def IntoMysql(results):
mysql_host = ''
mysql_db = 'zyc'
mysql_user = 'zyc'
mysql_password = ''
mysql_port = 3306
db = pymysql.connect(host=mysql_host, port=mysql_port, user=mysql_user, password=mysql_password, db=mysql_db,charset='utf8') # 连接数据库编码注意是utf8,不然中文结果输出会乱码
cursor = db.cursor()
for j in range(len(results)):
try:
sql = "INSERT INTO DUMPLINGS(id,order_no,order_title,publish_desc ,game_name," \
"game_area,game_area_distinct,order_current,order_content,order_hours," \
"order_price,add_price,safe_money,speed_money,order_status_desc," \
"order_lock_desc,cancel_type_desc,kf_status_desc,is_show_pwd,game_pwd," \
"game_account,game_actor,left_hours,created_at,account_id," \
"mobile,mobile2,contact,contact2,qq) VALUES ("
for i in range(len(results[j])):
sql = sql + "'" + results[j][i] + "',"
sql = sql[:-1] + ")"
sql = sql.encode('utf-8')
cursor.execute(sql)
db.commit()
except:pass
db.close()
每十秒运行一次。
mysql_create()
i=0
while True:
results = GetResults()
IntoMysql(results)
i=i+1
print("爬虫次数:",i)
time.sleep(10)
结果如图:
希望本文所述对大家Python程序设计有所帮助。
来源:https://blog.csdn.net/qq_37408031/article/details/78594174
0
投稿
猜你喜欢
- 备份还原数据库备份数据库企业管理器--或用SQL语句(完全备份):backup database 数据库 to
- 以下为SQL SERVER7.0以上版本的字段类型说明。SQL SERVER6.5的字段类型说明请参考SQL SERVER提供的说明。bit
- 问题1:使用.net2005自带的SQL-Express连接不上。解决方法:1.网络防火墙阻止数据库连接;2.默认SQL-Express没有
- ORA-00600:internal error code,arguments:[num],[?],[?],[?],[?] 产生原因:这种错
- 本文作为属性篇的最后一篇文章, 将讲述HTML和CSS的关键—盒子模型(Box model). 理解Box model的关键便是margin
- 自动换行问题,正常字符的换行是比较合理的,而连续的数字和英文字符常常将容器撑大,挺让人头疼,下面介绍的是CSS如何实现换行的方法对于div,
- 学习目的: 学习ADO.NET用法,并如何用DataRearder读取数据 今天练习数据库的最基本用法,如何打开数据库。首先在网站设置文件w
- 在更改列顺序之前,你需要考虑是否的确需要更改表中的列顺序。SQL的核心要点是从数据存储格式获取应用。总应指定检索数据的顺序。在下面的第1条语
- ASP通过XMLDom在服务器端操作XML文件的主要方法和实现对于小数据量,xml文件在检索更新上于ACCESS有很多优势。我曾经测试过不用
- 滚动图片可以说是做网站经常会遇到的,特别是做企业网站,最常用的像产品展示,图片展示等,滚动的好处是吸引眼球,让人一下就注意到。之前本站发了一
- 代码如下:'===================================== '获取内容中所有图片 '==
- 举个例子来说,要查找出2007-10-12至2007-10-31之间在网站上注册的会员,选择好日期后,点击“查询”按钮,发现2007-10-
- 本文实例讲述了Python基于多线程实现ping扫描功能。分享给大家供大家参考,具体如下:# -*- coding:utf-8 -*-#!
- 很多网友在经典论坛里说自己的网站为什么色彩上总是有问题,总是看起来没什么精神,没办法吸引人注意。小毅观察了一些网友们设计的网站发现他们在用色
- 在内容为主的网站中,搜索框往往是最常用的设计元素之一。从可用性的角度来看,搜索功能是用户有了明确的内容想看的时候最后使用的功能。如果一个网站
- 今天在日常维护一个网站时,发现该网站的留言程序没有经过严格的验证过滤,导致了将近十万条垃圾数据。而其中又不乏重要信息,需要清理数据,以及增加
- 因为我们现在的前端框架做性能优化,为了找到各个组件及框架的具体解析耗时,需要在框架中嵌入一个耗时测试工具,性能测试跟不同的计算机硬件配置有很
- 最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,
- 最近,在项目开发过程中,碰到了数据库死锁问题,在解决问题的过程中,笔者对MySQL InnoDB引擎锁机制的理解逐步加深。案例如下:在使用S
- 作为一名网站开发WEB前端工程师,对自己开发的网站项目应该尽可能地对其性能进行优化,现在互联网上搜索到的网站性能优化多是翻译转载自 Yaho