Golang使用CGO与Plugin技术运行加载C动态库
作者:??字节跳动技术团队??? 发布时间:2024-02-05 06:20:27
文章简介
本文介绍一种 Golang 程序在运行时加载 C 动态库的技术,跳过了 Golang 项目编译阶段需要链接 C 动态库的过程,提高了 Golang 项目开发部署的灵活性。
技术背景
Golang 程序调用 OpenCC 动态库的函数,执行文本繁体转简体操作。 需要在编译时不链接动态库,只在程序运行时加载 OpenCC 动态库。
OpenCC 库是使用 C++ 编写的繁简体转换程序,提供 C 语言 API 接口。 开源项目地址
CGO 技术是让 Golang 语言使用 C 语言代码的一种方式,可以在 Golang 程序编译的时候链接 C 动态库。C 语言经过数十年的发展,有丰富的开源项目。在 Golang 生态还不是很完善的情况下,我们经常需要使用一些成熟的C开源项目。
Plugin 是 Golang 1.8 版本引入了一个新的插件系统,允许程序员使用动态链接库构建松散耦合的模块化程序,在程序运行时动态加载和绑定。
本文循序渐进地讲解 2 种解决方案:
解决方案 1:使用 CGO 技术,编译时绑定 OpenCC 的接口。
解决方案 2:引入 Plugin 技术,程序运行时加载动态库。
解决方案1
方案 1 是最初的解决方案,使用 CGO 技术,在编译的时候绑定 OpenCC 的接口。
Golang -> CGO -> libopencc.so
编写CGO接口定义文件:
// opencc.h
#include <stdlib.h>
void* Opencc_New(const char *configFile);
void* Opencc_Delete(void *id);
const char *Opencc_Convert(void *id, const char *input);
void Opencc_Free_String(char *p);
// opencc.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "opencc/src/opencc.h"
const char *Convert(const char *input, const char *config) {
if(strlen(config) > 16) {
return 0;
}
char configFile[256] = "/usr/share/opencc/";
strcat(configFile, config);
strcat(configFile, ".json");
opencc_t p = opencc_open(configFile);
char *out = opencc_convert_utf8(p, input, strlen(input));
out[strlen(input)] = '\0';
opencc_close(p);
return out;
}
void Convert_free_string(char *p) {
opencc_convert_utf8_free(p);
}
void* Opencc_New(const char *configFile) {
return opencc_open(configFile);
}
void Opencc_Delete(void *id) {
opencc_close(id);
}
const char *Opencc_Convert(void *id, const char *input) {
char *output = opencc_convert_utf8(id, input, strlen(input));
output[strlen(input)] = '\0';
return output;
}
void Opencc_Free_String(char *p) {
opencc_convert_utf8_free(p);
}
// opencc.go
package opencc
import "unsafe"
// #cgo LDFLAGS: -L${SRCDIR}/output/lib -lopencc
// #include "opencc.h"
import "C"
func NewConverter(config string) unsafe.Pointer {
return C.Opencc_New(C.CString(config))
}
func Convert(p unsafe.Pointer, input string) string {
inputChars := C.CString(input)
outputChars := C.Opencc_Convert(p, inputChars)
defer C.Opencc_Free_String(inputChars)
defer C.Opencc_Free_String(outputChars)
result := C.GoString(outputChars)
return result
}
func Close(p unsafe.Pointer) {
C.Opencc_Delete(p)
}
func ConvertOneTime(input string, config string) string {
p := NewConverter(config)
defer Close(p)
return Convert(p, input)
}
func ConvertAsync(input string, config string, callback func(output string)) {
go func() {
callback(ConvertOneTime(input, config))
}()
}
// test.go 调用OpenCC动态库的函数。
package main
import "fmt"
import "your/repository/go-opencc"
const (
input = "中国鼠标软件打印机"
config_s2t = "/usr/share/opencc/s2t.json"
config_t2s = "/usr/share/opencc/t2s.json"
)
func main() {
fmt.Println("Test Converter class:")
c := opencc.NewConverter(config_s2t)
defer c.Close()
output := c.Convert(input)
fmt.Println(output)
fmt.Println("Test Convert function:")
s := opencc.Convert(input, config_s2t)
fmt.Println(s)
fmt.Println(opencc.Convert(s, config_t2s))
fmt.Println("Test ConvertAsync function:")
retChan := make(chan string)
opencc.ConvertAsync(input, config_s2t, func(output string) {
retChan <- output
})
fmt.Println(<- retChan)
}
方案 1,可以正确链接 libopencc.so 文件,并成功执行 Convert 函数进行繁简体转换。 但是有个问题,该方案在 Mac 系统上不容易进行编译,需要在 Mac 系统里安装 OpenCC 项目。假如调用 OpenCC 的项目有 10 人共同开发,就需要在 10 人的 Mac 电脑上进行编译,开发协作困难,不方便部署。
解决方案2
引入 Plugin 技术,程序运行时加载动态库。
Golang -> Plugin -> libgo_opencc.so -> CGO -> libopencc.so
编写 Plugin 动态链接库。
// opencc_lib.go
package main
import (
"unsafe"
opencc "your/repository/go-opencc"
)
type openccConverter string
// NewConverter 创建Converter
func (s openccConverter) NewConverter(config string) unsafe.Pointer {
return opencc.NewConverter(config)
}
// Convert 转换函数
func (s openccConverter) Convert(p unsafe.Pointer, input string) string {
return opencc.Convert(p, input)
}
// Close 释放Converter占用的内存资源(不再使用Converter了)
func (s openccConverter) Close(p unsafe.Pointer) {
opencc.Close(p)
}
// ConvertOneTime 转换函数(转换一次,该函数每次调用都会加载配置文件,有性能影响)
func (s openccConverter) ConvertOneTime(input string, config string) string {
return opencc.ConvertOneTime(input, config)
}
// OpenccConverter export symble
var OpenccConverter openccConverter
编译动态库 build.sh 创建 output 目录,编译生成 ./output/lib/libgo_opencc.so 动态库。
#!/bin/bash
mkdir -p output
cd opencc
./build.sh
cd ..
cp -rf opencc/output/* ./output
go build -buildmode=plugin -o ./output/lib/libgo_opencc.so ./lib/opencc_lib.go
使用 Plugin 加载 libgo_opencc.so,调用 OpenCC 的函数。
package main
import (
"os"
"plugin"
"testing"
"unsafe"
"fmt"
)
// 实现 opencc_lib.go 的接口
type OpenccConverter interface {
NewConverter(config string) unsafe.Pointer
Convert(p unsafe.Pointer, input string) string
Close(p unsafe.Pointer)
ConvertOneTime(input string, config string) string
}
func TestOpenccSo(t *testing.T) {
openccPlugin, pluginErr := plugin.Open("/your/path/to/go-opencc/output/lib/libgo_opencc.so")
if pluginErr != nil {
panic(pluginErr)
}
symbol, cerr := openccPlugin.Lookup("OpenccConverter")
if cerr != nil {
fmt.Errorf("%+v", cerr)
os.Exit(1)
}
plug, ok := symbol.(OpenccConverter)
if !ok {
fmt.Errorf("unexpected type from module symbol")
os.Exit(1)
}
config := "/usr/share/opencc/hk2s.json"
pointer := plug.NewConverter(config)
defer plug.Close(pointer)
input := "傳統漢字"
output := plug.Convert(pointer, input)
fmt.Printf("output: %s", output)
}
// 运行测试 TestOpenccSo,输出 “传统汉字”。
方案 2,实现了在程序运行时通过 Plugin 技术加载 libgo_opencc.so 动态库,再由 libgo_opencc.so 链接到 libopencc.so,即可在 Mac、Linux 系统上编译 Golang 程序,无需每台开发机都部署 OpenCC 项目。最终发布到生产环境时,由编译打包平台将 libgo_opencc.so 和 libopencc.so 一起打包发布。
来源:https://juejin.cn/post/7120176632693784607
猜你喜欢
- 一 概念1. 原理2. 好处不同项目可能用到的环境不同,运用虚拟环境能将不同环境分隔开二 virtualenvvirtual 虚拟的1. 安
- 依赖包:pip install paramiko源码demo:from time import *import paramiko# 定义一个
- 这个教程,我们将展示如何用python创建一个井字游戏。 其中我们将使用函数、数组、if条件语句、while循环语句和错误捕获等
- 前言本文的内容是总结一些MySQL的常见使用技巧,以供没有DBA的团队参考。如无特殊说明,存储引擎以InnoDB为准。MySQL的特点了解M
- 字典与json字符串区别# python 中的字典格式,是dict类型{'a': 'sd'}如果声明a =
- 绘制双变量联合分布图有时我们不仅需要查看单个变量的分 布,同时也需要查看变量之间的联系, 往往还需要进行预测等。这时就需要用到双变量联合分布
- 目录什么是 assert 断言断言和异常的使用场景使用断言的几个原则建议不使用断言的情况:总结什么是 assert 断言Assert sta
- 本文实例讲述了Python框架Flask的基本数据库操作方法。分享给大家供大家参考,具体如下:数据库操作在web开发中扮演着一个很重要的角色
- 正在看的ORACLE教程是:在ORACLE移动数据库文件。  
- 训练keras时遇到了一个问题,就是内存不足,将 .fit 改成 .fit_generator以后还是放不下一张图(我的图片是8192×81
- 前言段(segment)是一种在数据库中消耗物理存储空间的任何实体(一个段可能存在于多个数据文件中,因为物理的数据文件是组成逻辑表空间的基本
- 设法让用户happy吧~只要你的设计让用户乐了,产品的个性就得到了一次彰显,而用户对网站的情感就会获得一次升华,看看下面的知名网站的人性化设
- 我就废话不多说了,直接上代码吧!import numpy as npimport matplotlib.pyplot as pltx = n
- PostMessage()def keyHwnd(hwndEx, char): """  
- Unittest1.环境Unittest为Python内嵌的测试框架,不需要特殊配置,仅需要在File---settings---Tools
- 我就废话不多说了,还是直接看代码吧!from IPython.display import display,Latex,Math%matpl
- 不同类型的语言支持不同的数据类型,比如 Go 有 int32、int64、uint32、uint64 等不同的数据类型,这些类型占用的字节大
- 用pytorch训练一个神经网络时,我们通常会很关心模型的参数总量。下面分别介绍来两种方法求模型参数一 .求得每一层的模型参数,然后自然的可
- 初入计算机视觉遇到的一些坑1.pytorch中转tensorx=np.random.randint(10,100,(10,10,10))x=
- 阅读上一章:Chapter 7 锚点 Chapter 8 再谈清单先前在第一章,我们讨论过几种标记清单的做法,研究以<ul>和&