python 简单的股票基金爬虫
作者:aliyoge 发布时间:2021-03-13 19:34:46
目录
项目地址
所用到的技术
开始编写爬虫
项目地址
https://github.com/aliyoge/fund_crawler_py
所用到的技术
IP代理池
多线程
爬虫
sql
开始编写爬虫
1.首先,开始分析天天基金网的一些数据。经过抓包分析,可知: ./fundcode_search.js包含所有基金代码的数据。
2.根据基金代码,访问地址: fundgz.1234567.com.cn/js/ + 基金代码 + .js可以获取基金实时净值和估值信息。
3.根据基金代码,访问地址: fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code= + 基金代码 + &topline=10&year=2021&month=3可以获取第一季度该基金所持仓的股票。
4.由于这些地址具有反爬机制,多次访问将会失败的情况。所以需要搭建IP代理池,用于反爬。搭建很简单,只需要将proxy_pool这个项目跑起来就行了。
# 通过这个方法就能获取代理
def get_proxy():
return requests.get("http://127.0.0.1:5010/get/").json()
5.搭建完IP代理池后,我们开始着手多线程爬取数据的工作。使用多线程,需要考虑到数据的读写顺序问题。这里使用python中的队列queue存储基金代码,不同线程分别从这个queue中获取基金代码,并访问指定基金的数据。因为queue的读取和写入是阻塞的,所以可确保该过程不会出现读取重复和读取丢失基金代码的情况。
# 获取所有基金代码
fund_code_list = get_fund_code()
fund_len = len(fund_code_list)
# 创建一个队列
fund_code_queue = queue.Queue(fund_len)
# 写入基金代码数据到队列
for i in range(fund_len):
# fund_code_list[i]也是list类型,其中该list中的第0个元素存放基金代码
fund_code_queue.put(fund_code_list[i][0])
6.现在开始编写获取所有基金的代码。
# 获取所有基金代码
def get_fund_code():
...
# 访问网页接口
req = requests.get("http://fund.eastmoney.com/js/fundcode_search.js",
timeout=5,
headers=header)
# 解析出基金代码存入list中
...
return fund_code_list
7.接下来是从队列中取出基金代码,同时获取基金详情和基金持仓的股票。
# 当队列不为空时
while not fund_code_queue.empty():
# 从队列读取一个基金代码
# 读取是阻塞操作
fund_code = fund_code_queue.get()
...
try:
# 使用该基金代码进行基金详情和股票持仓请求
...
8.获取基金详情
# 使用代理访问
req = requests.get(
"http://fundgz.1234567.com.cn/js/" + str(fund_code) + ".js",
proxies={"http": "http://{}".format(proxy)},
timeout=3,
headers=header,
)
# 解析返回数据
...
9.获取持仓股票信息
# 获取股票投资明细
req = requests.get(
"http://fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code="
+ str(fund_code) + "&topline=10&year=2021&month=3",
proxies={"http": "http://{}".format(proxy)},
timeout=3,
headers=header,
)
# 解析返回数据
...
10.准备一个数据库,用于存储数据和对数据进行筛选分析。这里推荐一个方便的云数据库,一键创建,一键查询,十分方便,而且是免费的哦。前往MemFireDB注册一个账号就能使用。注册邀请码:6mxJl6、6mYjGY;
11.创建好数据库后,点击连接信息填入代码中,用于连接数据库。
# 初始化数据库连接:
engine = create_engine(
'postgresql+psycopg2://username:password@ip:5433/dbname')
12.将数据写入数据库中。
with get_session() as s:
# create fund
...
if (create):
s.add(fund)
s.commit()
13.到这里,大部分工作已经完成了,我们在main函数中开启线程,开始爬取。
# 在一定范围内,线程数越多,速度越快
for i in range(50):
t = threading.Thread(target=get_fund_data, name="LoopThread" + str(i))
t.start()
14.等到爬虫运行完成之后,我们打开MemFireDB,点击对应数据库的SQL查询按钮,就可以查看我们爬取的数据。哇!我们获取到了6432条数据。
15.接下来让我们来看看这些基金最喜欢买哪些股票吧。输入SQL语句select poscode, posname, count(*) as count, cast(sum(poscost) as int) from fund group by poscode, posname order by count desc limit 10;
它就是茅台!
来源:https://github.com/aliyoge/fund_crawler_py
猜你喜欢
- Codeigniter支持缓存技术,以达到最快的速度。尽管CI已经相当高效了,但是网页中的动态内容、主机的内存CPU和数据库读取速度等因素直
- encode() 方法返回字符串的编码版本。默认编码是当前的默认字符串编码。可给予设置不同的错误处理机制。语法以下是encode
- 本文实例讲述了Python使用内置json模块解析json格式数据的方法。分享给大家供大家参考,具体如下:Python中解析json字符串非
- <!-- -----------[test]表生成脚本---------------
- J2ME是利用HttpConnection建立HTTP连接,然后获取数据,ASP也是利用HTTP协议,因而可以利用J2ME与ASP建立连接,
- 作为设计主管,Peter Stern 已经领导 microsoft.com 重新设计了主页并且开发了五个不同的交互工具,这些工具被用于下载中
- 一、Python下载1.进入Python官网:https://www.python.org/2.选择windows版本(Download &
- 本文实例讲述了Python调用系统底层API播放wav文件的方法。分享给大家供大家参考,具体如下:这里未使用其他库,只是使用 pywin32
- 本文实例讲述了Python使用add_subplot与subplot画子图操作。分享给大家供大家参考,具体如下:子图:就是在一张figure
- 如下所示: m_start =date +' 09:00' m_end =date +' 13:00'rsv
- 本文实例讲述了Python函数的定义和作用域。分享给大家供大家参考,具体如下:定义函数默认参数: 可以向函数中添加默认参数,以便为在函数调用
- 一个小代码 类似资源管理器效果 支持鼠标拖拽 没写些细节东西 JavaScript语言:
- 引言现在本地创建一个excel表,以及两个sheet,具体数据如下:sheet1: sheet2:读取excel文件pandas.
- Pycharm安装pywin32报错1、在pycharm的寻找并安装插件pywin32时报错大致意思是安装失败,建议的解决方案:尝试从系统终
- 如何在一个广告旗帜里轮番显示时间长度不一的不同广告?好了,下面就是Ad Rotator组件完整的应用例子:adrot.asp<html
- 1、PHP中的抽象类PHP 5 支持抽象类和抽象方法。定义为抽象的类不能被实例化。任何一个类,如果它里面至少有一个方法是被声明为抽象的,那么
- 由于python内部的变量其实都是reference,而Tensorflow实现的时候也没有意义去判断输出是否是同一变量名,从而判定是否要新
- 出现原因:缺失相应的whl文件。解决办法:下载并安装对应的whl文件。提供一个whl文件的下载网址:http://www.lfd.uci.e
- 在做一个在线交流的网站时,有个问题很令我头疼,就是关于实时统计在线用户的问题,客户要求:统计当前在线人数、游客人数、会员人数、在线用户列表,
- tensorflow中有很多在维度上的操作,本例以常用的tf.reduce_sum进行说明。官方给的apireduce_sum( input