Go语言实现ssh&scp的方法详解
作者：漫漫Coding路 发布时间：2024-04-29 13:05:31
标签：Go语言,ssh,scp
前言
最近遇到一个临时需求，需要将客户环境中一个服务每天的日志进行一系列复杂处理，并生成数据报表。由于数据处理逻辑复杂，且需要存入数据库，在客户环境使用 shell 脚本无法处理，因此就需要将日志先拷贝到本地，再进行处理；同时为了避免每天人工拷贝日志，需要实现自动化，整条链路自动执行，无需人工干预。平时使用 Go 语言较多，由此就引出了 Go 语言 ssh 连接远程客户服务器，并利用 scp 将数据拷贝下来的一系列操作。
说明：本文中的示例，均是基于Go1.17 64位机器
连接远程服务器并执行命令（ssh）
如下给出了使用 用户名+密码 的方式连接远程服务器并执行了 /usr/bin/whoami 命令的示例，步骤如下：
生成
ClientConfig：想要连接远程服务器，必须要至少指定一种实现了Auth的AuthMethod，我们这里使用密码的方式；同时需要提供 一种用于安全校验远程服务端key的方法HostKeyCallback，我们这里使用的是不校验的方式ssh.InsecureIgnoreHostKey()，生产情况下建议使用ssh.FixedHostKey(key PublicKey)；调用
Dial：Dial方法与远程服务器建立连接，并返回一个client；NewSession：NewSession方法开启一个会话，在一个会话内可以通过Run方法执行一个命令。
import (
"bytes"
"fmt"
"log"
"golang.org/x/crypto/ssh"
)
func main() {
var (
username = "your username"
password = "your password"
addr = "ip:22"
)
config := &ssh.ClientConfig{
User: username,
Auth: []ssh.AuthMethod{
ssh.Password(password),
},
HostKeyCallback: ssh.InsecureIgnoreHostKey(),
}
client, err := ssh.Dial("tcp", addr, config)
if err != nil {
log.Fatal("Failed to dial: ", err)
}
defer client.Close()
// 开启一个session，用于执行一个命令
session, err := client.NewSession()
if err != nil {
log.Fatal("Failed to create session: ", err)
}
defer session.Close()
// 执行命令，并将执行的结果写到 b 中
var b bytes.Buffer
session.Stdout = &b
// 也可以使用 session.CombinedOutput() 整合输出
if err := session.Run("/usr/bin/whoami"); err != nil {
log.Fatal("Failed to run: " + err.Error())
}
fmt.Println(b.String()) // root
}
上面的例子，我们在 Run 方法里面传入了一个命令，然后远程服务器会将执行结果返回给我们，如果是复杂操作，通过传入命令的方式就比较麻烦。比如上面提到的需求，需要我从 k8s 容器中拷贝出服务每天的日志，拆解后的步骤为：获取服务的多个 k8s pod 名称，根据当前日期，从多个容器中分别拷贝日志文件，然后整合成一个日志文件。针对复杂操作，我们可以在远程服务器编写一个脚本，然后 Run 方法中传入执行脚本的命令。
简单举个示例，我们在远程服务器编写了一个脚本 test.sh，放在了 /opt 目录下，脚本内容 与 调用方式分别如下：
# 脚本文件
#!/bin/bash
today=$(date +"％Y-％m-％d")
# 将数据写入文件
$(df -h > $today.log)
package main
import (
"fmt"
"log"
"golang.org/x/crypto/ssh"
)
func main() {
var (
username = "your username"
password = "your password"
addr = "ip:22"
)
config := &ssh.ClientConfig{
User: username,
Auth: []ssh.AuthMethod{
ssh.Password(password),
},
HostKeyCallback: ssh.InsecureIgnoreHostKey(),
}
client, err := ssh.Dial("tcp", addr, config)
if err != nil {
log.Fatal("Failed to dial: ", err)
}
defer client.Close()
session, err := client.NewSession()
if err != nil {
log.Fatal("Failed to create session: ", err)
}
defer session.Close()
// 调用远程服务器脚本脚本
res, err := session.CombinedOutput("sh /opt/test.sh")
if err != nil {
log.Fatal("Failed to run: " + err.Error())
}
fmt.Println(string(res))
/*
Filesystem Size Used Avail Use％ Mounted on
devtmpfs 909M 0 909M 0％ /dev
tmpfs 919M 24K 919M 1％ /dev/shm
tmpfs 919M 540K 919M 1％ /run
tmpfs 919M 0 919M 0％ /sys/fs/cgroup
/dev/vda1 50G 6.9G 40G 15％ /
tmpfs 184M 0 184M 0％ /run/user/0
*/
}
拷贝远程服务器文件到本地（scp）
拷贝文件步骤比较简单：
建立
ssh client基于
ssh client创建sftp client打开远程服务器文件并拷贝到本地
package main
import (
"io"
"log"
"os"
"time"
"github.com/pkg/sftp"
"golang.org/x/crypto/ssh"
)
func main() {
var (
username = "your username"
password = "your password"
addr = "ip:22"
)
// 1. 建立 ssh client
config := &ssh.ClientConfig{
User: username,
Auth: []ssh.AuthMethod{
ssh.Password(password),
},
HostKeyCallback: ssh.InsecureIgnoreHostKey(),
}
client, err := ssh.Dial("tcp", addr, config)
if err != nil {
log.Fatal("Failed to dial: ", err)
}
defer client.Close()
// 2. 基于ssh client, 创建 sftp 客户端
sftpClient, err := sftp.NewClient(client)
if err != nil {
log.Fatal("Failed to init sftp client: ", err)
}
defer sftpClient.Close()
// 3. 打开远程服务器文件
filename := time.Now().Format("2006-01-02") + ".log"
source, err := sftpClient.Open("/opt/" + filename)
if err != nil {
log.Fatal("Failed to open remote file: ", err)
}
defer source.Close()
// 4. 创建本地文件
target, err := os.OpenFile(filename, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0644)
if err != nil {
log.Fatal("Failed to open local file: ", err)
}
defer target.Close()
// 5. 数据复制
n, err := io.Copy(target, source)
if err != nil {
log.Fatal("Failed to copy file: ", err)
}
log.Println("Succeed to copy file: ", n)
}
在 sftp client 中，还有许多方法，例如 Walk、ReadDir、Stat、Mkdir等，针对文件也有 Read、Write、WriteTo、ReadFrom等方法，像操作本地文件系统一样，非常便利。
简单封装下
package main
import (
"fmt"
"io"
"log"
"os"
"time"
"github.com/pkg/sftp"
"golang.org/x/crypto/ssh"
)
type Cli struct {
user string
pwd string
addr string
client *ssh.Client
}
func NewCli(user, pwd, addr string) Cli {
return Cli{
user: user,
pwd: pwd,
addr: addr,
}
}
// Connect 连接远程服务器
func (c *Cli) Connect() error {
config := &ssh.ClientConfig{
User: c.user,
Auth: []ssh.AuthMethod{
ssh.Password(c.pwd),
},
HostKeyCallback: ssh.InsecureIgnoreHostKey(),
}
client, err := ssh.Dial("tcp", c.addr, config)
if nil != err {
return fmt.Errorf("connect server error: ％w", err)
}
c.client = client
return nil
}
// Run 运行命令
func (c Cli) Run(shell string) (string, error) {
if c.client == nil {
if err := c.Connect(); err != nil {
return "", err
}
}
session, err := c.client.NewSession()
if err != nil {
return "", fmt.Errorf("create new session error: ％w", err)
}
defer session.Close()
buf, err := session.CombinedOutput(shell)
return string(buf), err
}
// Scp 复制文件
func (c Cli) Scp(srcFileName, targetFileName string) (int64, error) {
if c.client == nil {
if err := c.Connect(); err != nil {
return 0, err
}
}
sftpClient, err := sftp.NewClient(c.client)
if err != nil {
return 0, fmt.Errorf("new sftp client error: ％w", err)
}
defer sftpClient.Close()
source, err := sftpClient.Open(srcFileName)
if err != nil {
return 0, fmt.Errorf("sftp client open file error: ％w", err)
}
defer source.Close()
target, err := os.OpenFile(targetFileName, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0644)
if err != nil {
return 0, fmt.Errorf("open local file error: ％w", err)
}
defer target.Close()
n, err := io.Copy(target, source)
if err != nil {
return 0, fmt.Errorf("copy file error: ％w", err)
}
return n, nil
}
// 调用测试
func main() {
var (
username = "your username"
password = "your password"
addr = "ip:22"
)
// 初始化
client := NewCli(username, password, addr)
// ssh 并运行脚本
_, err := client.Run("sh /opt/test.sh")
if err != nil {
log.Printf("failed to run shell,err=[％v]\n", err)
return
}
// scp 文件到本地
filename := time.Now().Format("2006-01-02") + ".log"
n, err := client.Scp("/opt/"+filename, filename)
if err != nil {
log.Printf("failed to scp file,err=[％v]\n", err)
return
}
log.Printf("Succeed to scp file, size=[％d]\n", n)
// 处理文件并删除本地文件......
}
通过上面的一系列操作，就可以实现了我的需求：
1.编写程序：
连接客户服务器
执行远程服务器的脚本，生成日志文件
拷贝远程服务器的日志文件到本地
处理日志文件
删除本地文件
2.在服务器上启动一个定时任务运行该程序
来源：https://mp.weixin.qq.com/s/nVAAMAW0jIeSMx9oJysUjw
0
投稿猜你喜欢
- 一. 视图集与路由的使用使用视图集ViewSet，可以将一系列逻辑相关的动作放到一个类中：list() 提供一组数据retrieve() 提
- 如何利用Image Data Type从数据库中读取图片，并在主页中显示图形？然后，写如下代码：< ％ @&nbs
- 前言本文主要给大家介绍了关于python指定时间调用函数的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍：在前面的一
对数据库的操作无非就是增删改查，其中数查询操作最为复杂，所以将查询单独讲解，我这里用的Mysql数据库增删改查操作分页查询操作1.查询结果以- 本文实例为大家分享了python3.6.1安装教程，供大家参考，具体内容如下1、安装编译环境所需包#yum install zlib-dev
- 原本运行正常的ASP页面，今天突然提示： 代码如下: Microsoft VBScript 运行时错误 错误 '800a01a8&
- 如下所示：logging: config: classpath:spring-logback.xml pattern: console: &
- 当一个页面上有一百个表单项，你是怎么获取上面的值勤的？这是一段简单的代码，你试试这段代码，试过后，欢迎留言说一下你的想法？index.asp
- 本篇文章是一篇Vue.js的教程，目标在于用一种常见的业务场景——分页/无限加载，帮助读者更好的理解Vue.js中的一些设计思想。与许多To
- 关于带权随机数为了帮助理解，先来看三类随机问题的对比：1.已有n条记录，从中选取m条记录，选取出来的记录前后顺序不管。实现思路：按行遍历所有
- 如下所示： matplotlib.pyplot.hist( x, bins=10, range=None, normed=Fa
- php本身没有提供返回毫秒数的函数，但提供了一个microtime()函数，该函数返回一个array，包含两个元素，一个是秒数，一个是小数表
- MySQL中，有两种方式生成有序结果集：一是使用filesort，二是按索引顺序扫描。利用索引进行排序操作是非常快的，而且可以利用同一索引同
- 实例如下：<!DOCTYPE html><html><head><script src="
- Varchar 对每个英文(ASCII)字符都占用2个字节，对一个汉字也只占用两个字节char 对英文(ASCII)字符占用1个字节，对一个
- 导语前段时间不是制作了一款升级版本五子棋的嘛！但是居然有粉丝私信我说：“准备拿到代码玩一下ok过去了！太难了准备放收藏夹落灰q@q~”所噶，
- 动态生成的IFRAME，设置SRC时的，不同位置带来的影响。以下所说的是在IE7下运行的。IE6下也是同样。在这个blog中，直接点击运行代
- 周期置换密码参考教材：《现代密码学教程》P47 3.1.2加密解密过程周期置换密码是将明文p串按固定长度m分组.然后对每组中的子串按1，2&
- 实例如下所示：# -*- coding:utf-8 -*- #os模块中包含很多操作文件和目录的函数 import os #获取目标文件夹的
- 不知道有多少人是被这个头图骗进来的：）事情的起因是这样的，上周有同学问小编，看着小编的示例代码敲代码，感觉自己也会写了，如果不看的话，七七八
