python爬虫的数据库连接问题【推荐】
作者:wanghaing 发布时间:2024-01-19 18:26:41
标签:python,爬虫,数据库,连接
1.需要导的包
import pymysql
2.# mysql连接信息(字典形式)
db_config ={
'host': '127.0.0.1',#连接的主机id(107.0.0.1是本机id)
'port': 3306,
'user': '****',
'password': '****',
'db': 'test',#(数据库名)
'charset': 'utf8'
}
3.# 获得数据库连接
connection = pymysql.connect(**db_config)connection()具体的基础知识详见连接
https://www.jb51.net/article/142550.htm
4.具体连接(以简书为例)
try:
# 获得数据库游标(游标提供了一种对从表中检索出的数据进行操作的灵活手段,就本质而言,游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标总是与一条SQL 选择语句相关联因为游标由结果集(可以是零条、一条或由相关的选择语句检索出的多条记录)和结果集中指向特定记录的游标位置组成。)
with connection.cursor() as cursor:
sql = 'insert into simplebook(title, url) values(%s, %s)'
for u in urls:
# 执行sql语句
cursor.execute(sql, (u.string, r'http://www.jianshu.com'+u.attrs['href']))
# 事务提交
connection.commit()
finally:
# 关闭数据库连接
connection.close()
5.连接数据库成功,并得到数据
总结
以上所述是小编给大家介绍的python爬虫的数据库连接问题网站的支持!
来源:https://www.cnblogs.com/creative-work/p/8969602.html
0
投稿
猜你喜欢
- 我们知道分析MySQL语句查询性能的方法除了使用EXPLAIN 输出执行计划,还可以让MySQL记录下查询超过指定时间的语句,我们将超过指定
- 实验结论如果需要在循环结束后获得结果,推荐列表解析;如果不需要结果,直接使用for循环, 列表解析可以备选;除了追求代码优雅和特定规定情境,
- 本文实例为大家分享了python保存网页图片到本地的具体代码,供大家参考,具体内容如下#!/usr/bin/env Python#codin
- #/usr/bin/env/python#coding=utf-8import sys,re,time,osmaxdata = 50000
- 今日给大家分享一个Python读取Excel表格,同时采用表格中的数值画图柱状图和折线图,这里只需要几行代码便可以实。首先我们需要安装一个E
- 一个小需求---实现车牌识别。目前有两个想法1. 调云在线的接口或者使用SDK做开发(配置环境和编译第三方库很麻烦,当然使用python可以
- 一、argparse介绍官方文档argparse 模块是 Python 内置的一个用于命令项选项与参数解析的模块,argparse 模块可以
- 光的干涉干涉即两束光在叠加过程中出现的强度周期性变化情况,其最简单的案例即为杨氏双缝干涉。如图所示,光从 S S S点发出,通过两个狭缝 S
- 在Python中,经常会去读csv文件,如下import pandas as pdimport numpy as npdf = pd.rea
- 学习前言最近在学目标检测……SSD的源码好复杂……看
- Python 通过pip安装Django详细介绍经过前面的 Python 包管理工具的学习,接下来我们就要基于前面的知识,来配置 Djang
- 在第1章项目结构分析中,我们提到Startup.cs作为整个程序的入口点,等同于传统的Global.asax文件,即:用于初始化系统级的信息
- SELECT SUBSTR (T.RPT_ID, &nbs
- Internet Explorer 8 Beta 测试了一年多之后,今天,IE8 终于发布了。它绝对好过 IE7,还有一些不错的新功能,如
- 功能点显示日期时间显示树莓派当前局域网IP显示当前UP主粉丝数显示B站未读消息显示B站视频总计播放数显示视频总计获赞数显示总计获得充电次数显
- 1.引言甘特图已经拥有 100 多年的历史,这种可视化图表对项目管理非常有用。Henry Gantt 为了分析已经完成的项目创建了甘特图,他
- 今天,我们来分享一个宠物桌面小程序,全程都是通过 PyQT 来制作的,对于 Python GUI 感兴趣的朋友,千万不要错过哦!我们先来看看
- 使用math.modf()对一个浮点数进行拆分时经常会遇到如下情况如下import mathprint(math.modf(2.4)) #
- 使用摄像头追踪人脸由于血液流动引起的面部色素的微小变化实现实时脉搏评估。效果如下(演示视频): 由于这是通过比较面部色素的变化评估
- 多线程适合于多io操作多进程适合于耗cpu(计算)的操作# 多进程编程# 耗cpu的操作,用多进程编程, 对于io操作来说,使用多线程编程i