python爬虫的数据库连接问题【推荐】
作者:wanghaing 发布时间:2024-01-19 18:26:41
标签:python,爬虫,数据库,连接
1.需要导的包
import pymysql
2.# mysql连接信息(字典形式)
db_config ={
'host': '127.0.0.1',#连接的主机id(107.0.0.1是本机id)
'port': 3306,
'user': '****',
'password': '****',
'db': 'test',#(数据库名)
'charset': 'utf8'
}
3.# 获得数据库连接
connection = pymysql.connect(**db_config)connection()具体的基础知识详见连接
https://www.jb51.net/article/142550.htm
4.具体连接(以简书为例)
try:
# 获得数据库游标(游标提供了一种对从表中检索出的数据进行操作的灵活手段,就本质而言,游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标总是与一条SQL 选择语句相关联因为游标由结果集(可以是零条、一条或由相关的选择语句检索出的多条记录)和结果集中指向特定记录的游标位置组成。)
with connection.cursor() as cursor:
sql = 'insert into simplebook(title, url) values(%s, %s)'
for u in urls:
# 执行sql语句
cursor.execute(sql, (u.string, r'http://www.jianshu.com'+u.attrs['href']))
# 事务提交
connection.commit()
finally:
# 关闭数据库连接
connection.close()
5.连接数据库成功,并得到数据
总结
以上所述是小编给大家介绍的python爬虫的数据库连接问题网站的支持!
来源:https://www.cnblogs.com/creative-work/p/8969602.html


猜你喜欢
- 官方网站 : www.python.orgPython is an interpreted, interactive, object-ori
- 如下所示:#-*- coding: utf-8 -*-import pandas as pdimport numpy as npfrom p
- 使用perl连接mysql,这个网上有很多案例了,一般大家都是DBI下的DBD::MySQL这个模块进行.这里做一个mask弄一个TIPS:
- 本文介绍基于Python语言arcpy模块,实现栅格影像图层建立与多幅遥感影像数据批量拼接(Mosaic)的操作。首先,相关操作所需具体代码
- 一、yield关键字实现方式以yield关键字方式实现协程代码如下所示:def fun1(): yield 1 &
- 在js中一切都是对象,连函数也是对象,函数名其实是引用函数定义对象的变量。1、什么是arguments?这个函数体内的arguments非常
- 这两个方法都可以用来在固定的时间段后去执行一段javascirpt代码,不过两者各有各的应用场景。实际上,setTimeout和setInt
- EF Core 是一个ORM(对象关系映射),它使 .NET 开发人员可以使用 .NET对象操作数据库,避免了像ADO.NET访问数据库的代
- 看到有人在有汉字的字符串 前加一个 ‘ 或是任意半角符号,让bug将其除掉,不过这样做太麻烦了。最后呢,找来一个模拟fgetcsv功能的函数
- 先看看实现效果图, 模拟拖拽最终效果和在桌面上移动文件夹的效果类似原理介绍鼠标按下时,拖拽开始。鼠标移动时,被拖拽元素跟着鼠标一起移动。鼠标
- 动态 web 应用也会需要静态文件,通常是 CSS 和 JavaScript 文件。理想状况下, 我们已经配置好 Web 服务器来提供静态文
- Harris 角点检测算法1. 角点角点是水平方向、垂直方向变化都很大的像素。角点检测算法的基本思想:
- 昨天在书上看到SQL语句优化时,where条件顺序不同,性能不同,这个建议在Oracle11G版本还合适吗?方式1优于方式2? 方式1: s
- 本文实例为大家分享了windows10更换mysql8.0.17的具体步骤,供大家参考,具体内容如下下载windows版本mysql解压后创
- 本文为大家分享了linux yum安装mysql5.6简单过程,供大家参考,具体内容如下1.新开的云服务器,需要检测系统是否自带安装mysq
- 新项目,准备引用bootstrap-table这个控件来展示页面上的表格,无奈这款控件的分页工具栏没有跳转到xx页的功能,为了适应公司美工(
- AutoGrad 是一个老少皆宜的 Python 梯度计算模块。对于初高中生而言,它可以用来轻易计算一条曲线在任意一个点上的斜率。对于大学生
- 为了偷个懒,利用这个数据库,但是在附加的时候出错了。错误如下:一开始还以为数据库位置存在问题,所以重新放置了一个位置,仍然无效。最后,上网寻
- python代码有一行标黄鼠标放在标黄的代码行会显示This code is unreachable(此代码无法访问)def do_teln
- 语音识别是人工智能中的一个领域,它允许计算机理解人类语音并将其转换为文本。该技术用于 Alexa 和各种聊天机器人应用程序等设备。而我们最常