python从ftp下载数据保存实例
发布时间：2022-10-07 13:32:17
《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载，在网上看到这个数据好开心，打开ftp发现个问题，呀呀，这么多文件啊，我一个个去点另存为，得点到啥时候啊，迅雷应该有批量下载，只是我没找到，估计是我浏览器把迅雷禁掉了，干脆自己用python写一个实现下载好了，网上早了一下，发现很简单啊
#!/usr/bin/python
#-*- coding: utf-8 -*-
from ftplib import FTP
def ftpconnect():
ftp_server = 'ftp3.ncdc.noaa.gov'
username = ''
password = ''
ftp=FTP()
ftp.set_debuglevel(2) #打开调试级别2，显示详细信息
ftp.connect(ftp_server,21) #连接
ftp.login(username,password) #登录，如果匿名登录则用空串代替即可
return ftp
def downloadfile():
ftp = ftpconnect()
#print ftp.getwelcome() #显示ftp服务器欢迎信息
datapath = "/pub/data/noaa/"
year=1911
while year<=1930:
path=datapath+str(year)
li = ftp.nlst(path)
for eachFile in li:
localpaths = eachFile.split("/")
localpath = localpaths[len(localpaths)-1]
localpath='weatherdata/'+str(year)+'--'+localpath#把日期放在最前面，方便排序
bufsize = 1024 #设置缓冲块大小
fp = open(localpath,'wb') #以写模式在本地打开文件
ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件
year=year+1
ftp.set_debuglevel(0) #关闭调试
fp.close()
ftp.quit() #退出ftp服务器
if __name__=="__main__":
downloadfile()
0
投稿猜你喜欢
- 步骤：一、新建文本文档xxx.txt,修改文件类型为.udl二、打开该文件，在《提供数据》中找到对应的服务。三、在连接中选择需要的数据库，并
- 共享标签默认情况下，git push 命令并不会传送标签到远程仓库服务器上。在创建完标签后，你必须显式地（手动）推送标签到远程服务
python的多线程比较鸡肋，优先使用多进程1 基础知识现在的 PC 都是多核的，使用多线程能充分利用 CPU 来提供程序的执行效率。1.1- 目录1、系统环境，必要知识2、安装python3.6.53、安装Django4、安装uWSGI5、安装nginx6、MySQL安装配置7、编
- 这篇文章主要介绍了Spring Cloud Feign高级应用实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学
- torch.nn.Conv2d中自定义权重torch.nn.Conv2d函数调用后会自动初始化weight和bias，本文主要涉及如何自定义
- 大家好，常用探索性数据分析方法很多，比如常用的 Pandas DataFrame 方法有 .head()、.tail()、.info()、.
- php 生成短网址 原理： 1.将原网址做crc32校验，得到校验码。 2.使用sprintf('％u') 将校验码转为无符
- 综述：本文讨论了VBScript和 JScript之间的区别，以及它们的使用场合。推荐：Vbscript5.5中文语言参考手册chm格式下载
- Python 中使用线程有两种方式：函数或者用类来包装线程对象。函数式：调用 thread 模块中的start_new_thread()函数
- 本文介绍的实例成功的实现了动态行转列。下面我以一个简单的数据库为例子，说明一下。数据表结构这里我用一个比较简单的例子来说明，也是行转列的经典
- 本文实例讲述了python实现爬取百度图片的方法。分享给大家供大家参考，具体如下：import jsonimport itertoolsim
- if•Go里面if条件判断语句中不需要括号，条件判断语句里面允许声明一个变量，任何在这里声明的变量都可以在所有的条件分支中使用。if x :
- 有些事情始终是需要坚持下去的。。。今天复习一下之前用到的连续相同数据的统计。首先,创建一个简单的测试表,这里过程就略过了,直接上表(真的是以
- 如下所示：import loggingimport logging.configlogging.config.fileConfig(path
- 阅读上一篇：你是真正的用户体验设计者吗? Ⅵ很可怕，是吧！图中翻译：（从内到外）第一层：用户体验第二层：内容管理界面设计顾客关系管理交互设计
- 图像的数组表示图像的RGB色彩模式图像一般使用RGB色彩模式，即每个像素点的颜色由红(R)、绿(G)、蓝(B)组成。RGB三个颜色通道的变化
- JavaScript 学习 - 提高篇一. JavaScript中的对象.JavaScript中的Object是一组数据的key-value
- xml（可扩展标记语言）看起来可能像某种w3c标准——现在没有什么实际影响，即使以后能派上用场，也是很久以后的事。但实际上，它现在已经得到了
- 什么是集合1.集合是一个可变容器2.集合内的数据对象都是唯一的(不能重复)3.集合是无序的存储结构,集合内的数据没有先后关系4.集合是可迭代
