python3.X 抓取火车票信息【修正版】
作者:MorganLions 发布时间:2022-01-26 01:24:53
标签:python,抓取,火车票
代码是在源代码的基础上进行的修改。希望对你有所帮助!
实现后如图所示:
首先我们需要抓取一些基础的数据,各大火车站信息!
import urllib
from urllib import request
import re
url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8955'
req = urllib.request.Request(url)
r = urllib.request.urlopen(req).read().decode('utf-8')
stations = re.findall(r'([\u4e00-\u9fa5]+)|([A-Z]+)', r)
stations = dict(stations)
stations = dict(zip(stations.keys(),stations.values()))
上面的代码通过抓取,网页信息,返回一个字典数据:
stations = dict(zip(stations.keys(),stations.values()))#
这行代码在后面进行了建值互换,这里没有进行过修改,这是原文的数据。
火车站的数据抓取成功,我们接下来抓取查询数据,代码如下:
from station import stations
import warnings
def change_date(d1) :
if '.' in d1 :
d1 = d1.replace('.', '-')
if not d1.startswith('0') :
d1 = str(0) + d1
if '-' in d1[-2] :
d1 = d1[:-1] + '0' + d1[-1]
return d1
def student_or_not(student) :
if 'y' in student[0].lower() :
return '0X00'
else :
return 'ADULT'
f1 = input('请输入开始城市:\n')
f = stations[f1]
t1 = input('请输入目的城市:\n')
t = stations[t1]
d1 = input('请输入出发时间:\n')
d = str('2018-') + change_date(d1)
student = input('是否为学生票,输入(yes/no)')
print('正在查询' + f1 + '至' + t1 + '的列车,请听听音乐......')
url = 'https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date={d}&leftTicketDTO.from_station={f}&leftTicketDTO.to_station={t}&purpose_codes={student}'
url = url.format(f=f, d=d, t=t, student=student_or_not(student))
warnings.filterwarnings("ignore")
这里本人增加了两个函数 change_date() 和 student_or_not()
change_date()
这个函数对用户输入日期的行为进行了简化,提高了用户体验,可以直接输入比如7.3这样的日期,其他的符号,我们可以自己进行扩展。
student_or_not()
这个函数的作用是判断查询的是普通票还是学生票
美化显示,区分到站和出发站点的颜色,我们加入如下函数
def colored(color, text) :
table = {
'red' : '\033[91m',
'green' : '\033[92m',
'nc' : '\033[0m'
}
cv = table.get(color)
nc = table.get('nc')
return ''.join([cv, text, nc])
最后我们进行数据处理展示:
import requests
from get_urltrain import url
from prettytable import PrettyTable
from color_set import colored
from station import stations
def chair_lists(row_list) :
chair_list = []
for i in range(len(row_list) - 5, 21, -1) :
if row_list[i] != '' :
chair_list.append(row_list[i])
else :
chair_list.append('--')
return chair_list
headers = {
'user-agent' : 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
}
r = requests.get(url, verify=False, headers=headers) # 请求网址1的内容
rows = r.json()['data']['result'] # 将内容解析为列表
trains = PrettyTable()
trains.field_names = ["车次", "车站", "时间", "历时", "商务座\特等座", "一等座", "二等座", "高级软卧", "软卧", "动卧", "硬卧 ", "软座 ", "硬座", "无座",
"其他"]
# 设置table的header
num = len(rows) # 打印列表的个数
# station1 = dict([v, k] for k, v in stations.items())
station_list = dict(zip(stations.values(), stations.keys()))
for row in rows : # 列表循环
row_list = row.split('|')
chair_list = chair_lists(row_list)
trains.add_row([row_list[3],
'\n'.join([colored('green', station_list[row_list[6]]),
colored('red', station_list[row_list[7]])]),
'\n'.join([colored('green', row_list[8]),
colored('red', row_list[9])]),
row_list[10],
] + chair_list)
print('查询结束,共有 %d 趟列车。' % num) # 列表个数也就是列车个数
print(trains)
这里我增加了 chair_lists()
函数进行循环处理对应的表段
用于空数据替换成‘–'
station_list = dict(zip(stations.values(), stations.keys()))
#station_list 进行了建值互换方便下面的循环中的调用
trains.add_row([row_list[3],
'\n'.join([colored('green', station_list[row_list[6]]),
colored('red', station_list[row_list[7]])]),
'\n'.join([colored('green', row_list[8]),
colored('red', row_list[9])]),
row_list[10],
] + chair_list)
这个抓取案例我们可以举一反三,可以拓展很多功能,方便我们进行数据快速查询,比如展示价格等等!
源代码在:https://github.com/morganlions/train
总结
以上所述是小编给大家介绍的python3.X 抓取火车票信息【修正版】网站的支持!
来源:https://blog.csdn.net/TianPingXian/article/details/80717544


猜你喜欢
- random() 方法返回随机生成的一个实数,它在[0,1)范围内。random()返回随机生成的一个实数,范围在[0,1)之间语
- plt.subplot()plt.subplot(nrows, ncols, index, **kwargs)第一个参数:*args (官网
- 前言:上一篇博客我用AOP+AbstractRoutingDataSource实现了MySQL读写分离,自己写代码实现判断该使用哪个数据源挺
- 这是一个绘制矩阵的函数。用matshow绘制矩阵的例子:import matplotlib.pyplot as pltimport nump
- 一文搞懂golang定时器Timer的用法和实现原理前言定时器在Go语言应用中使用非常广泛,Go语言的标准库里提供两种类型的计时器,一种是一
- 废话不多说了,直接给大家贴代码了,具体如下所示:<!DOCTYPE html><html lang="en&qu
- 本文实例为大家分享了python3实现猜数字游戏的具体代码,供大家参考,具体内容如下需求目标:需求:猜数字游戏1: 开始游戏产生一个1~10
- 在查找数据集的时候发现,并不是所有的数据集都是以csv的格式存储,也就是每一列特征数据的分割并不是都以逗号分割,有的数据格式是以空格为分割例
- A Process Control System 使用b/s架构、运行在类Unix系统上一个进程监控管理系统它可以使进程以daemon方式运
- 我们都知道 Python 中else的基本用法是在条件控制语句中的 if...elif...else...,但是 else 还有两个其它的用
- 一、说明压缩和解压缩是日常常用的操作,不管是windows上图形界面的操作,还是linux上用命令来进行压缩解压缩,总的而言都还是比较方便的
- VUE-ElementUI 时间区间选择器官方文档中使用picker-options属性来限制可选择的日期一、单个输入框<el-dat
- Geohash 是一种地址编码,它能把二维的经纬度编码成一维的字符串。比如,北海公园的编码是wx4g0ec1。Geohash 的原理、算法下
- ''推拉门''动效也可以称作"手风琴"效果,大多数效果实现的思路基本是一样的,下面介绍两
- 常用php函数实现及介绍countcount是我们经常用到的一个函数,其功能是返回一个数组的长度。count这个函数,其复杂度是多少呢? 一
- 目录四种参数仅限关键字参数内省中的函数参数函数注解四种参数Python函数func定义如下:def func(first, *args, s
- 汉字转为拼音的asp函数,原理:利用多维数组 1.添加索引 2.遍历数组Author: Unknowasp之家测试截图,呵呵不错:<%
- (可能只有最后一句命令有用,可能全篇都没用)(小白方法,可能只适用于本人情况)安装matplotlib时,出现的三种失败情况1、read t
- 在MySQL中,使用While语句循环与SQL Server中有所不同,代码测试通过。 MSSQL中使用while语句循环生成数据的方法:
- 有的时候我们在使用pycharm编辑python,需要导入各种各样的包,这些包是不能直接使用的,需要先进行安装。否则就会出现模块导入错误。下