基于Python实现船舶的MMSI的获取(推荐)
作者:沐浴清风z 发布时间:2022-02-05 07:44:33
标签:python,船舶,mmsi
目的
工作中遇到一个需求,通过需要通过网站查询船舶名称得到MMSI码,网站来自船讯网。
分析请求
根据以往爬虫的经验,打开F12,通过输入船舶名称,观察发送的请求,发现返回数据的网址
本身网址是一个get请求,直接用这个网址请求,也能返回数据,即网址本身并没有加密,这就简单许多,直接通过改变参数,就能实现数据的获取,马上开始动手
编写代码
代码中,通过request发送请求,为了不给服务器造成太大压力,每隔0.5秒发送一个请求,因为会出现查询不到的情况,通过exception判断,数据结果一是通过pandas中的to_excel存为excel文件,或者是直接通过pymysql入数据库,为了提高入库的速度,采用一次拼接三百条的方式入库
import requests
import os
import time
import pymysql
import pandas as pd
import re
'''
author:shikailiang
function:通过读取船舶数据,分别请求拿到json数据入库
'''
#定义入库的类
class company_ship_in_database:
def __init__(self):
self.conn = pymysql.connect(host="192.168.1.222", user="root", password="Cjh#Sjzx@", database="test", charset="utf8")
self.cursor = self.conn.cursor()
#获取当前文件的父级地址
self.last_path = os.path.abspath(os.path.dirname(os.getcwd()))
#写入mysql
def in_database(self,data_list):
#j用来对数据进行计数
j=1
#定义sql
sql = ""
#定义sql头
sql0 = "insert into bms_company_ship_test(oc_name,ship_name,mmsi) values"
rowcount=len(data_list)
for i in data_list:
#定义拼接sql
sql2 = (("(" + "'{}'," * 3)[:-1] + ")").format(i[1][0],i[1][1],i[0])
sql = sql + "," + sql2
# print(sql0 + sql[1:])
if divmod(j, 300)[1] == 0 or j == rowcount:
#如果执行错误回滚当前事务
# print(sql0 + sql[1:])
try:
self.cursor.execute(sql0 + sql[1:])
except:
#执行错误,回滚事务
self.conn.rollback()
continue
sql= ""
self.conn.commit()
j=j+1
#通过pandas写入excel
def in_xls(self, data_list):
df=pd.DataFrame(data_list)
#通过pandas实现存为excel
df.to_excel(self.last_path + r"\data\result.xls",header=False,index=False)
#请求船的方法
def company_ship_in_database(self):
data_path = self.last_path + r"\data"
file=open(data_path + "\company.txt")
data=[]
j = 0
for i in file.readlines():
#将船公司和船舶名称分开
chuan=i.strip().split()
dic={
'f':'auto',
'kw':chuan[1]
}
rq=requests.get("http://searchv3.shipxy.com/shipdata/search3.ashx",params=dic)
#判断是否请求成功
if rq.status_code==200:
try:
result_json=rq.json()
result=result_json['ship'][0]
#判断船舶数字部分是否相同
if re.search('\d+',result['n']).group()==re.search('\d+',chuan[1]).group():
result=result['m']
data.append([result,chuan])
else:
data.append(["", chuan])
except:
data.append(["",chuan])
else:
print(chuan + "请求错误")
time.sleep(0.5)
j = j + 1
if divmod(j,100)[1] == 0:
print("已经请求" + str(j) + "条")
# if j > 10:
# self.in_xls(data)
# break
self.in_database(data)
if __name__=="__main__":
company_ship=company_ship_in_database()
company_ship.company_ship_in_database()
尾记
写程序的过程中其实有发现一个问题,即我们请求的其实是输入文字时候自动发送的请求,其实有一个问题,如果我们需要查询的是"华为5"的船,但是如果系统中没有这个船,就是返回"华为548"扽船,所以在代码中需要做一个判断
即用正则提取出船的数字,然后和返回的船的数字进行比对,如果一致,即为同一条船舶
总结
以上所述是小编给大家介绍的基于Python实现船舶的MMSI的获取,网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
来源:https://blog.csdn.net/daliangliangliangge/article/details/102629178
0
投稿
猜你喜欢
- <%@LANGUAGE="VBSCRIPT" CODEPAGE="936"%>
- 字典的键 字典中的值没有任何限制, 可以是任意Python对象,即从
- 前言2048游戏规则:简单的移动方向键让数字叠加,并且获得这些数字每次叠加后的得分,当出现2048这个数字时游戏胜利。同时每次移动方向键时,
- 一般事件事件浏览器支持描述onClickIE3|N2|O3鼠标点击事件,多用在某个对象控制的范围内的鼠标点击onDblClickIE4|N4
- python tkinter按钮Button的使用创建和设置窗口from tkinter import *#创建窗口对象root = Tk(
- 登录百度AL开发平台在控制台选择语音合成创建应用填写应用信息在应用列表获取(Appid、API Key、Secret Key)6. 安装py
- 用于序列化的两个模块json:用于字符串和Python数据类型间进行转换pickle: 用于python特有的类型和python的数据类型间
- 目录1、typing介绍2、typing的作用3、常用类型3.1 代码示例4、typing模块的其他用法4.1 类型别名4.2 NewTyp
- 前言MERGE语句是Oracle9i新增的语法,用来合并UPDATE和INSERT语句。 通过MERGE语句,根据一张表或多表联合查询的连接
- 废话不多说,直接上代码吧!# -*- coding: utf-8 -*-import cv2import numpy as np# ----
- 在Vista IIS 7 中用 vs2005 调试 Web 项目核心是要解决以下几个问题:1、Vista 自身在安全性方面的User Acc
- 一、ASP的平反想到ASP 很多人会说 “asp语言很蛋疼,不能面向对象,功能单一,很多东西实现不了” 等等诸如此类。 以上说法都是错误的,
- 由于工作对人的眼球和精神都会带来一定的疲劳,所以在界面设计中,希望用户能够准确的关注重要的信息,而不因为用户的长期使用而流失信息。最近在看《
- 一个已知管用的方法是,使用session_set_save_handler,接管所有的session管理工作,一般是把session信息存储
- 近来想要做一做人脸识别相关的内容,主要是想集成一个系统,看到opencv已经集成了三种性能较好的算法,但是还是想自己动手试一下,毕竟算法都比
- DB2 存储过程:基础知识您在客户端工作站上对远程服务器和位于该服务器上的数据库进行分类的任何时候,都存在一个简单的 DB2 客户端/服务器
- 方法一,利用 sheet.iter_rows() 获取 Sheet1 表中的所有行,然后遍历import openpyxl wb = ope
- asp 中处理文件上传以及删除时常用的自定义函数:删除文件,建立目录的程序,根据原文件名生成新的随机文件名,CMS替换函数,将所有开始,结束
- 在给客户做个程序时,突然遇到个问题,就是产品页用户提交视频播放文件时,如何根据提交的网址内的视频格式进行正确的播放呢....郁闷了一会,想好
- 很多人喜欢玩抖音,我也喜欢看抖音小姐姐,可拿着手机一个个找视频太费劲。作为一个程序员,如何能在电脑前一边编程一边轻松地看抖音小姐姐呢?下面利