python从ftp下载数据保存实例
发布时间：2022-10-07 13:32:17
《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载，在网上看到这个数据好开心，打开ftp发现个问题，呀呀，这么多文件啊，我一个个去点另存为，得点到啥时候啊，迅雷应该有批量下载，只是我没找到，估计是我浏览器把迅雷禁掉了，干脆自己用python写一个实现下载好了，网上早了一下，发现很简单啊
#!/usr/bin/python
#-*- coding: utf-8 -*-
from ftplib import FTP
def ftpconnect():
ftp_server = 'ftp3.ncdc.noaa.gov'
username = ''
password = ''
ftp=FTP()
ftp.set_debuglevel(2) #打开调试级别2，显示详细信息
ftp.connect(ftp_server,21) #连接
ftp.login(username,password) #登录，如果匿名登录则用空串代替即可
return ftp
def downloadfile():
ftp = ftpconnect()
#print ftp.getwelcome() #显示ftp服务器欢迎信息
datapath = "/pub/data/noaa/"
year=1911
while year<=1930:
path=datapath+str(year)
li = ftp.nlst(path)
for eachFile in li:
localpaths = eachFile.split("/")
localpath = localpaths[len(localpaths)-1]
localpath='weatherdata/'+str(year)+'--'+localpath#把日期放在最前面，方便排序
bufsize = 1024 #设置缓冲块大小
fp = open(localpath,'wb') #以写模式在本地打开文件
ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件
year=year+1
ftp.set_debuglevel(0) #关闭调试
fp.close()
ftp.quit() #退出ftp服务器
if __name__=="__main__":
downloadfile()
0
投稿猜你喜欢
本文记录了python安装及环境配置方法，具体内容如下Python安装 Windowns操作系统中安装Python步骤一 下载安装包从Pyt- 1. 迭代根据记录的前面的元素的位置信息 去访问后续的元素的过程 -遍历 迭代2. 可迭代对象 iterable如何判断可迭代对象的3种方式
- class和id的命名,如果合理,可以使得文档具有清晰的结构我们现在解决办法就是使用现有的元素，通过给他们id或class而得到额外的信息。
- 本教程详细介绍在用户注册过程中如何去验证他们的email地址。工作流程上来讲，在用户注册一个新账户后会寄送一个确认信。直到用户按指示完成了邮
- 我们调试Javascript一般会用到Chrome或Firefox自带的调试工具，本文列出了几条用于调试Javascript的技巧，掌握它们
- 以下针对Ubuntu系统，Windows系统没有测试过。Ubuntu中默认就安装有Python 2.x和Python 3.x，默认情况下py
- 我就废话不多说了，大家还是直接看代码吧~func main() { var a chan string a =mak
- 本方法是基于文本密度的方法，最初的想法来源于哈工大的《基于行块分布函数的通用网页正文抽取算法》，本文基于此进行一些小修改。约定：
- 看到豆瓣上有网友提了这个问题，看到回答的人不多，忍不住写了下面的内容。工作中最常用到的统计方法有哪些？根据我自己的经验给举些例子。1.通过一
- 众所周知，随着数据库体积的日益庞大，其备份文件的大小也水涨船高。虽然说通过差异备份与完全备份配套策略，可以大大的减小SQL Server数据
- 我一直都不喜欢在访问数据库时采用拼接SQL的方法，原因有以下几点： 1. 不安全：有被SQL注入的风险。 2. 可能会影响性能：每条SQL语
- Python函数函数就是把具有独立功能的代码块封装成一个小模块,可以直接调用,从而提高代码的编写效率以及重用性, 需要注意的是, 函数需要被
- PHP程序员玩转Linux系列文章：1.PHP程序员玩转Linux系列-怎么安装使用CentOS2.PHP程序员玩转Linux系列-lnmp
- <?php /** * Created by JetBrains Ph
- 本文实例讲述了PHP abstract 抽象类定义与用法。分享给大家供大家参考，具体如下：PHP抽象类应用要点：1.定义一些方法，子类必须完
- 隐藏你的.php文件 隐藏你的.php文件 今天做PHP在线手册镜像的时候看到了这个方法,哈哈,以前都没有注意到,所以说,手册是
- 交互设计是近几年流行的一个词语。现在市场上有许多资料来介绍什么是交互设计，如何做交互设计等。从场景，任务，用户，操作等分析。但由于受实际情况
- 目录前期准备界面编写截图功能实现OCR实现内容显示总结前期准备在这个阶段主要准备整个小程序的结构，既然要实现ocr，那么输入就是一张图片，而
- 1) 知识准备：为了使用Perl语言去存取mSQL和MySQL数据库的内容，必须安装一些API模块，以下列出一些必须安装的模块名称说明和其下
- 一旦你已经为MySQL实例管理器设置了一个密码文件并且IM正在运行，你可以连接它。你可以使用mysql客户端工具通过标准MySQL API来
