Python学习笔记之抓取某只基金历史净值数据实战案例
作者:学习笔记666 发布时间:2021-08-14 20:28:13
标签:Python,抓取,数据
本文实例讲述了Python抓取某只基金历史净值数据。分享给大家供大家参考,具体如下:
http://fund.eastmoney.com/f10/jjjz_519961.html
1、接下来,我们需要动手把这些html抓取下来(这部分知识我们之前已经学过,现在不妨重温)
# coding: utf-8
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from bs4 import BeautifulSoup
from threading import Thread,Lock
import os
import csv
# 下面是利用 selenium 抓取html页面的代码
# 初始化函数
def initSpider():
driver = webdriver.PhantomJS(executable_path=r"你phantomjs可执行文件的绝对路径")
driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的网页地址
# 找到"下一页"按钮,就可以得到它前面的一个label,就是总页数
getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/label[text()='下一页']/preceding-sibling::label[1]").get_attribute("innerHTML")
# 得到总共有多少页
total_page = int("".join(filter(str.isdigit, getPage_text)))
# 返回
return (driver,total_page)
# 获取html内容
def getData(myrange,driver,lock):
for x in myrange:
# 锁住
lock.acquire()
tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pnum']") # 得到 页码文本框
jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pgo']") # 跳转到按钮
tonum.clear() # 第x页 输入框
tonum.send_keys(str(x)) # 去第x页
jumpbtn.click() # 点击按钮
# 抓取
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)
# 保存到项目中
with open("../htmls/details/{0}.txt".format(x), 'wb') as f:
f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8'))
f.close()
# 解锁
lock.release()
# 开始抓取函数
def beginSpider():
# 初始化爬虫
(driver, total_page) = initSpider()
# 创建锁
lock = Lock()
r = range(1, int(total_page)+1)
step = 10
range_list = [r[x:x + step] for x in range(0, len(r), step)] #把页码分段
thread_list = []
for r in range_list:
t = Thread(target=getData, args=(r,driver,lock))
thread_list.append(t)
t.start()
for t in thread_list:
t.join() # 这一步是需要的,等待线程全部执行完成
print("抓取完成")
# #################上面代码就完成了 抓取远程网站html内容并保存到项目中的 过程
需要说明一下这3个函数:
initSpider
函数,初始化了selenium的webdriver
对象,并且先获取到我们需要抓取页面的总页码数。getData
函数,有3个参数,myrange我们还是要分段抓取,之前我们学过多进程抓取,这里我们是多线程抓取;lock参数用来锁住线程的,防止线程冲突;driver就是我们在initSpider
函数中初始化的webdriver
对象。
在getData
函数中,我们循环myrange,把抓取到的html内容保存到了项目目录中。beginSpider
函数,我们在此函数中给总页码分段,并且创建线程,调用getData
。
所以最后执行:
beginSpider()
就开始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 这个基金的”历史净值明细”,共有31个页面。
2、根据已经学过的python和mysql交互的知识,我们也可以再把这些数据 写入到数据表中。
这里就不再赘述,给出基金详细表结构:
CREATE TABLE `fund_detail` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`fcode` varchar(10) NOT NULL DEFAULT '' COMMENT '基金代码',
`fdate` datetime DEFAULT NULL COMMENT '基金日期',
`NAV` decimal(10,4) DEFAULT NULL COMMENT '单位净值',
`ACCNAV` decimal(10,4) DEFAULT NULL COMMENT '累计净值',
`DGR` varchar(20) DEFAULT NULL COMMENT '日增长率',
`pstate` varchar(20) DEFAULT NULL COMMENT '申购状态',
`rstate` varchar(20) DEFAULT NULL COMMENT '赎回状态',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='基金详细数据表';
希望本文所述对大家Python程序设计有所帮助。
来源:https://blog.csdn.net/github_26672553/article/details/78662563
0
投稿
猜你喜欢
- tensorflow在保存权重模型时多使用tf.train.Saver().save 函数进行权重保存,保存的ckpt文件无法直接打开,不利
- 运算符的优先级和关联性运算符的优先级和关联性: 运算符的优先级和关联性决定了运算符的优先级。运算符优先级这用于具有多个具有不同优先级的运算符
- 代码如下:--销售冠军 --问题:在公司中,老板走进来,要一张每个地区销量前3名的销售额与销售员的报表 --- create t
- Pycharm是一款很好用的python开发工具,开发Python爬虫和Python web方面都很不错这里我为大家提供了两种pycharm
- scipy.optimize函数使用简单使用scipy.optimize,训练逻辑回归损失函数,得到权值。scipy.optimize模块包
- 自定义序列的相关魔法方法允许我们自己创建的类拥有序列的特性,让其使用起来就像 python 的内置序列(dict,tuple,list,st
- 一段这样的JavaScript代码,猜猜结果如何?var i = 0, m =
- 1、新建独立运行环境,命名为env[root@vultr ~]# mkdir projects # 测试的项目总目录[root@vultr
- 新人小菜鸟又来写博客啦!!!没人表示不开心~~(>_<)~~今天我来弄一个简单的关键词提取的代码文章内容关键词的提取分为三大步:
- 本游戏程序实现的功能为本地二人对弈中国象棋,实现语言为javascript+VML,在windows 2000 pro+IE 6sp1的环境
- 前言当我们需要对列表(list)、元组(tuple)、字典(dictionary)和集合(set)的元素进行遍历时,其实Python内部都是
- 一、总结说明Windows环境安装:paramunittest cmd输入命令:pip install paramunittest总结说明:
- 本方法只做学习研究之用,不得用于商业用途若经济条件允许,请支持并购买正版,链接地址:https://www.jetbrains.com/py
- 上一课:ACCESS入门教程:窗口和菜单的使用向导简介 这一课我们要建立一个客户订单管理数据库,这个数据库将用ACCESS提供的数据库向导来
- 1、给滚动条换色 好多网站的滚动条不是系统默认的灰色,而是一些红色、蓝色的,请问这是如何做的?答:这个很好实现,插入下面的代码:<&n
- 本文实例讲述了PHP cookie,session的使用与用户自动登录功能实现方法。分享给大家供大家参考,具体如下:cookie的使用//生
- 今天终于可以用wxPython开发GUI程序了,非常高兴。把其中的一些注意点写下来以供参考。在windows XP平台下,首先需要做以下环境
- 一、self的位置是出现在哪里?首先,self是在类的方法中的,在调用此方法时,不用给self赋值,Python会自动给他赋值,而且这个值就
- 如果您刚刚开始接触网页设计,是不是经常发生这样的问题呢?做好的网页在自己机器上可以正常浏览,而把页面传到服务器上就总是出现看不到图片,css
- title: Python 装饰器装饰类中的方法comments: truedate: 2017-04-17 20:44:31tags: [