viper配置框架的介绍支持zookeeper的读取和监听
作者:Go语言中文网 发布时间:2024-04-27 15:32:12
viper作为配置框架,其功能非常的强大,我们没有理由不去了解一下。我们先看官网对它的功能简介:
viper是完整配置解决方案,他可以处理所有类型和格式的配置文件,他有如下功能:
设置默认配置
支持读取 JSON TOML YAML HCL 和 Java 属性配置文件
监听配置文件变化,实时读取读取配置文件内容
读取环境变量值
读取远程配置系统 (etcd Consul) 和监控配置变化
读取命令 Flag 值
读取 buffer 值
读取确切值
乍一看,未免有相见恨晚之感,可仔细一想,不免脑袋里有另外一种声音:不会不支持读取 zookeeper
吧?好吧,至少我是这样的。
基于这种想法,当然要去立马尝试,如下:
viper.AddRemoteProvider("zookeeper", "xx.xx.xx.xx:2181", "/viper/test")
返回结果是:
Unsupported Remote Provider Type zookeeper
果不其然,于是追踪 viper.AddRemoteProvider
的源码,发现viper只支持如下几种
var SupportedRemoteProviders = []string{"etcd", "consul", "firestore"}
如果就此打住,未免有点太可惜,作为偏执狂,总想着能否来改造下viper,让其支持 zookeeper
,于是在issue上找是否有人遇到同样的问题,还整让我找到了, 传送 。但是不完整,且稍微有点bug。所以根据他的基础上,我做了些调整。进入正题,我们开始修改viper源码。说明下,我的viper版本是最新的 1.7.0
修改源码
1、添加zookeeper.go
添加的位置: github.com/bketelsen/crypt/zookeeper
, zookeeper
目录需要自己创建, github.com/bketelsen/crypt
是viper的依赖包,会自动下载
文件内容:
package zookeeper
import (
"errors"
"fmt"
zk "github.com/samuel/go-zookeeper/zk"
//"github.com/xordataexchange/crypt/backend"
"github.com/bketelsen/crypt/backend"
"strings"
"time"
)
type Client struct {
client *zk.Conn
waitIndex uint64
}
func New(machines []string) (*Client, error) {
zkclient, _, err := zk.Connect(machines, time.Second)
if err != nil {
return nil, err
}
return &Client{zkclient, 0}, nil
}
func (c *Client) Get(key string) ([]byte, error) {
resp, _, err := c.client.Get(key)
if err != nil {
return nil, err
}
return []byte(resp), nil
}
func nodeWalk(prefix string, c *Client, vars map[string]string) error {
l, stat, err := c.client.Children(prefix)
if err != nil {
return err
}
if stat.NumChildren == 0 {
b, _, err := c.client.Get(prefix)
if err != nil {
return err
}
vars[prefix] = string(b)
} else {
for _, key := range l {
s := prefix + "/" + key
_, stat, err := c.client.Exists(s)
if err != nil {
return err
}
if stat.NumChildren == 0 {
b, _, err := c.client.Get(s)
if err != nil {
return err
}
vars[s] = string(b)
} else {
nodeWalk(s, c, vars)
}
}
}
return nil
}
func (c *Client) GetValues(key string, keys []string) (map[string]string, error) {
vars := make(map[string]string)
for _, v := range keys {
v = fmt.Sprintf("%s/%s", key, v)
v = strings.Replace(v, "/*", "", -1)
_, _, err := c.client.Exists(v)
if err != nil {
return vars, err
}
if v == "/" {
v = ""
}
err = nodeWalk(v, c, vars)
if err != nil {
return vars, err
}
}
return vars, nil
}
func (c *Client) List(key string) (backend.KVPairs, error) {
var list backend.KVPairs
resp, stat, err := c.client.Children(key)
if err != nil {
return nil, err
}
if stat.NumChildren == 0 {
return list, nil
}
entries, err := c.GetValues(key, resp)
if err != nil {
return nil, err
}
for k, v := range entries {
list = append(list, &backend.KVPair{Key: k, Value: []byte(v)})
}
return list, nil
}
func (c *Client) createParents(key string) error {
flags := int32(0)
acl := zk.WorldACL(zk.PermAll)
if key[0] != '/' {
return errors.New("Invalid path")
}
payload := []byte("")
pathString := ""
pathNodes := strings.Split(key, "/")
for i := 1; i < len(pathNodes); i++ {
pathString += "/" + pathNodes[i]
_, err := c.client.Create(pathString, payload, flags, acl)
// not being able to create the node because it exists or not having
// sufficient rights is not an issue. It is ok for the node to already
// exist and/or us to only have read rights
if err != nil && err != zk.ErrNodeExists && err != zk.ErrNoAuth {
return err
}
}
return nil
}
func (c *Client) Set(key string, value []byte) error {
err := c.createParents(key)
if err != nil {
return err
}
_, err = c.client.Set(key, []byte(value), -1)
return err
}
func (c *Client) Watch(key string, stop chan bool) <-chan *backend.Response {
respChan := make(chan *backend.Response, 0)
go func() {
for {
resp, _, watch, err := c.client.GetW(key)
if err != nil {
respChan <- &backend.Response{nil, err}
time.Sleep(time.Second * 5)
}
select {
case e := <-watch:
if e.Type == zk.EventNodeDataChanged {
resp, _, err = c.client.Get(key)
if err != nil {
respChan <- &backend.Response{nil, err}
}
c.waitIndex = 0
respChan <- &backend.Response{[]byte(resp), nil}
}
}
}
}()
return respChan
}
这个文件是实现 ConfigManager
接口,我们在上图中看到 etcd
, consul
, filestore
,均有实现该接口,接口的定义很简单
type ConfigManager interface {
Get(key string) ([]byte, error)
List(key string) (KVPairs, error)
Set(key string, value []byte) error
Watch(key string, stop chan bool) <-chan *Response
}
2、修改config.go
文件的位置: github.com/bketelsen/crypt/config/config.go
,如下图
在 func NewStandardEtcdConfigManager(machines []string) (ConfigManager, error)
方法下面添加如下方法:
// NewStandardZookeeperConfigManager returns a new ConfigManager backed by Zookeeper.
// Data will be encrypted.
func NewStandardZookeeperConfigManager(machines []string) (ConfigManager, error) {
store, err := zookeeper.New(machines)
if err != nil {
return nil, err
}
return NewStandardConfigManager(store)
}
在 func NewEtcdConfigManager(machines []string, keystore io.Reader) (ConfigManager, error)
方法下面添加如下方法:
// NewZookeeperConfigManager returns a new ConfigManager backed by zookeeper.
// Data will be encrypted.
func NewZookeeperConfigManager(machines []string, keystore io.Reader) (ConfigManager, error) {
store, err := zookeeper.New(machines)
if err != nil {
return nil, err
}
return NewConfigManager(store, keystore)
}
这两个方法是初始化 ConfigManager
对象,也就是我们刚才添加的 zookeeper.go
文件的对象
3、修改remote.go
文件的位置: github.com/spf13/viper/remote/remote.go
,如下图
找到74行,用下面的代码替换 func getConfigManager(rp viper.RemoteProvider) (crypt.ConfigManager, error)
方法
func getConfigManager(rp viper.RemoteProvider) (crypt.ConfigManager, error) {
var cm crypt.ConfigManager
var err error
if rp.SecretKeyring() != "" {
var kr *os.File
kr, err = os.Open(rp.SecretKeyring())
if err != nil {
return nil, err
}
defer kr.Close()
switch rp.Provider() {
case "etcd":
cm, err = crypt.NewEtcdConfigManager([]string{rp.Endpoint()}, kr)
case "zookeeper":
cm, err = crypt.NewZookeeperConfigManager([]string{rp.Endpoint()}, kr)
case "firestore":
cm, err = crypt.NewFirestoreConfigManager([]string{rp.Endpoint()}, kr)
default:
cm, err = crypt.NewConsulConfigManager([]string{rp.Endpoint()}, kr)
}
} else {
switch rp.Provider() {
case "etcd":
cm, err = crypt.NewStandardEtcdConfigManager([]string{rp.Endpoint()})
case "zookeeper":
cm, err = crypt.NewStandardZookeeperConfigManager([]string{rp.Endpoint()})
case "firestore":
cm, err = crypt.NewStandardFirestoreConfigManager([]string{rp.Endpoint()})
default:
cm, err = crypt.NewStandardConsulConfigManager([]string{rp.Endpoint()})
}
}
if err != nil {
return nil, err
}
return cm, nil
}
细心的读者可能已经发现,其实就添加了两个case选项:
4、修改viper.go
文件的位置: github.com/spf13/viper/viper.go
,如下图
取+监听zookeeper(1)\image-20200521222843002.png)
找到两个 SupportedRemoteProviders
定义的定法,1.7.0版本的行号分别是:290,331。只要添加 zookeeper
,即可
SupportedRemoteProviders = []string{"etcd", "consul", "firestore", "zookeeper"}
来源:https://studygolang.com/articles/28829


猜你喜欢
- 问:如何自己制作验证码的head.fix和body.fix文件答:1 图象绘制完成后,将文件存为24位位图格式的BMP图象文件。 2 去除前
- MySQL的默认编码是Latin1,不支持中文,如何修改MySQL的默认编码呢,下面以gbk为例来说明(这里只介绍Windows环境下) 1
- 本文介绍了Python中Selenium模拟JQuery滑动解锁实例,分享给大家,也给自己留个笔记滑动解锁一直做UI自动化的难点之一,我补一
- 如果你是我的长期读者,那么你应该知道我在寻找一个完美备份程序,最后我写了一个基于bup的我自己的加密层。在写encbup的时候,我对仅仅恢复
- 排序这个词,我的第一感觉是几乎所有App都有排序的地方,淘宝商品有按照购买时间的排序、B站的评论有按照热度排序的...对于MySQL,一说到
- 思考题假设有一张订单表 order,主要包含了主键订单编码 order_no、订单状态 status、提交时间 create_time 等列
- 使用诸如Lock、RLock、Semphore之类的锁原语时,必须多加小心,锁的错误使用很容易导致死锁或相互竞争。依赖锁的代码应该保证当出现
- 因为我的某个好友在情人节的时候秀恩爱,所以我灵光一闪制作了qq消息轰炸并记录了下来。首先我的编程环境是:windows 10系统python
- tf.nn.conv2d与tf.layers.conv2d的区别在写CNN中注意到tensorflow目前有tf.nn.conv2d和tf.
- Python数据库编程之pymysql学习之前务必安装MySQL并已启动相关服务。一、pymsql的安装在python3的环境中直接使用以下
- 本文实例为大家分享了Vue点击显示不同图片的具体代码,供大家参考,具体内容如使用Vue中的以下知识点来显示效果①:v-for:循环遍历数据②
- 本文实例讲述了python中for语句简单遍历数据的方法。分享给大家供大家参考。具体如下:for name in ["kak&qu
- 不使用int()函数的情况下把字符串转换为数字,如把字符串"12345"转换为数字12345。方法一:利用str函数既然
- Redis 除了做缓存,还能干很多很多事情:分布式锁、限流、处理请求接口幂等性。。。太多太多了配置首先我们创建一个 Spring Boot
- 1. rangerange是python内置的一个类,该类型表示一个不可改变(immutable)的数字序列,常常用于在for循环中迭代一组
- 1.效果图:2.代码# 作用域 是 对象生效的区域(对象能被使用的区域)# 全局作用域在任意位置可生效# 局部作用域在函数内生效c = 20
- 代码如下:Create PROCEDURE Batch_Delete @TableName nvarchar(100), --表
- 连接远程服务器1、点击 Tools(工具),点击 部署Deployment(部署),点击Configuration(配置)2、新增一个SFT
- 下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最基础的内容html_doc = &qu
- 由于Oracle自身比较复杂,在Linux环境下安装要涉及很多方面的因素。本文分两个方面介绍在Linux RedHat 6.0环境下Orac