python rsync服务器之间文件夹同步脚本
作者:life4711 发布时间:2023-02-23 05:05:56
标签:python,rsync,文件夹同步
本文实例为大家分享了python rsync服务器之间文件夹同步的具体代码,供大家参考,具体内容如下
About rsync
配置两台服务器之间3ssh-key后,可以实现自动化无需手动输入密码,脚本如下:
import argparse
import datetime
from functools import partial
import multiprocessing as mp
import os
import paramiko as pmk
import time
def check_ssh(host, user, port, passwd, dest_path):
ssh_client = pmk.SSHClient()
ssh_client.load_system_host_keys()
ssh_client.set_missing_host_key_policy(pmk.AutoAddPolicy())
try:
ssh_client.connect(host, username=user, port=port, timeout=10, password=passwd)
ssh_client.exec_command('mkdir ' + os.path.join(dest_path, 'data'))
except BaseException as e:
print 'failed to connect to host: %r: %r' % (host, e)
return False
else:
return True
def select_from_file(file_path):
file_list = []
if os.path.exists(file_path):
path_dir = os.listdir(file_path)
for all_dir in path_dir:
file_list.append(os.path.join('%s' % all_dir))
return file_list
def sync_file(file_name, remote_host, remote_user, remote_port, src_path, dest_path):
sync_cmd = "rsync -azrvhP --progress -e 'ssh -p " + str(remote_port) + "' --skip-compress=gz/zip/ " + \
file_name + " " + remote_user + "@" + remote_host + ":" + os.path.join(dest_path,'data')
print sync_cmd
os.chdir(src_path)
os.system(sync_cmd)
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('-w', '--workers', dest='workers', type=int, default=12)
parser.add_argument('-H', '--host', dest='host', type=str, default='192.168.254.156')
parser.add_argument('-u', '--user', dest='user', type=str, default='shubao')
parser.add_argument('-p', '--password', dest='password', type=str, default='123456')
parser.add_argument('-P', '--port', dest='port', type=int, default=22)
parser.add_argument('-r', '--remotepath', dest='remotepath', type=str, default='/home/shubao/')
parser.add_argument('-s', '--srcpath', dest='srcpath', type=str, default='/home/Jesse/data')
args = parser.parse_args()
if not check_ssh(args.host, args.user, args.port, args.password, args.remotepath):
print 'SSH connect faild!'
exit(-1)
pool = mp.Pool(processes=args.workers)
try:
while True:
print "New check start at %s..." % str(datetime.datetime.now())
file_list_ = select_from_file(args.srcpath)
print "File_list: "
print file_list_
p_work = partial(sync_file, remote_host=args.host, remote_user=args.user, remote_port=args.port,
src_path=args.srcpath, dest_path=args.remotepath)
pool.map(p_work, file_list_)
time.sleep(10)
finally:
pool.terminate()
pool.join()
来源:https://blog.csdn.net/lvshubao1314/article/details/70272996
0
投稿
猜你喜欢
- 说起页面执行时间相信大家并不陌生,如果你经常逛论坛,就会发现很多论坛底部都显示有页面执行时间,那么什么是页面执行时间呢?我个人理解是一个网页
- 本文介绍了网页运行代码框(runCode), 复制代码框(copyCode), 保存代码框(saveCode),的实现方法。javascri
- 利用pygame实现了简易版飞机大战。源代码如下:# -*- coding:utf-8 -*-import pygameimport sys
- 虽然你可以使用一个类似的技术以拒绝过大的文件(通过检查$uploadedfile_size变量),但是通常这不是一个好主意。在得到这个变量之
- thinkphp查询mssql数据库出现乱码的原因是ThinkPHP默认为UTF-8,而msmsql数据库是简体中文版,存储的是GB2312
- 引用是什么在 PHP 中引用意味着用不同的名字访问同一个变量内容。这并不像 C 的指针,替代的是,引用是符号表别名。注意在 PHP 中,变量
- 可以,具体方法如下::<% set fs=createobject("scripting.
- 根据一般做法的话,导出部分字段时没有办法生成格式化XML文件,所以导入时就没有办法格式化导入数据。 我想到两点,1.手工修改格式化XML文件
- JS调试技巧技巧一:格式化压缩代码 技巧二:快速跳转到某个断点的位置右侧的Breakpoints会汇总你在JS文件所有打过的断点,点击跟ch
- 前言sort包中实现了3种基本的排序算法:插入排序.快排和堆排序.和其他语言中一样,这三种方式都是不公开的,他们只在sort包内部使用.所以
- MySQL是一个跨平台的开源关系型数据库管理系统,是我们常用的最经济实惠的数据库,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特
- 过滤非法的SQL字符的函数代码:'*************************************************
- SQL Server 2005的新功能为动态管理对象,它们是在指定时间返回某个数据库实例的特殊状态信息的数据库视图或函数。这些对象允许数据库
- /* --注意:准备数据(可略过,非常耗时) CREATE TABLE CHECK1_T1 ( ID INT, C1 CHAR(8000)
- PHP mysqli_thread_id() 函数返回当前连接的线程 ID,然后杀死连接:<?php// 假定数据库用户名:root,
- zy3287 问:<script src="js.js?id=999" type="text/javas
- 黑体是视觉设计师常用的一款字体,特别是针对广告的 Banner 等。根据 * 的相关介绍,有关黑体的定义可以认为:黑體与白体
- 我用 ip=Request.ServerVariables
- gonews是基于 go+vue 实现的golang每日新闻浏览与检索平台项目地址: Github线上Demo:GoNews数据来源: Go
- 本文实例讲述了php控制文件下载速度的方法。分享给大家供大家参考。具体实现方法如下:<?php /* * set here a lim