gearman + mysql方式实现持久化操作示例
作者:怀素真 发布时间:2024-01-16 14:00:22
本文实例讲述了gearman+mysql方式实现持久化操作。分享给大家供大家参考,具体如下:
1、为什么要持久化?
gearman的job server中的工作队列存储在内存中,一旦服务器有未处理的任务时重启或者宕机,那么这些任务就会丢失。
持久化存储队列可以允许添加后台任务,并将其存储在外部的持久型队列里(比如MySQL数据库)。
2、关于gearman的持久化的文章,建议可以看官方文档
http://gearman.org/manual/job_server/#persistent_queues
3、创建用于持久化的数据库和表
CREATE DATABASE gearman;
CREATE TABLE `gearman_queue` (
`unique_key` varchar(64) NOT NULL,
`function_name` varchar(255) NOT NULL,
`priority` int(11) NOT NULL,
`data` longblob NOT NULL,
`when_to_run` int(11),
PRIMARY KEY (`unique_key`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
4、创建gearman用户
> create user 'gearman'@'%' IDENTIFIED BY '123456';
> grant all on gearman.* TO 'gearman'@'%';
> flush privileges;
5、启动gearmand时指定持久化参数
> gearmand -q libdrizzle \
--libdrizzle-host=192.168.1.100 \
--libdrizzle-port=3306 \
--libdrizzle-user=gearman \
--libdrizzle-password=123456 \
--libdrizzle-db=gearman \
--libdrizzle-table=gearman_queue \
--libdrizzle-mysql
或者使用如下
> gearmand -q mysql \
--mysql-host=192.168.1.100 \
--mysql-port=3306 \
--mysql-user=gearman \
--mysql-password=123456 \
--mysql-db=gearman \
--mysql-table=gearman_queue
如果出现如下问题,说明你在编译安装gearman时没有把libdrizzle装上
gearmand: unrecognised option '--libdrizzle-host=192.168.1.100'
在如下网址,下载libdrizzle
https://launchpad.net/libdrizzle/+download
如:libdrizzle-5.1.4.tar.gz
安装libdrizzle
> tar xf libdrizzle-5.1.4.tar.gz
> cd libdrizzle-5.1.4
这里最好不要指定--prefix,因为你指定了其它目录,下面gearman编译时可能会找不到相关头文件和链接库,需要你手动添加软链接
> ./configure
> make && make install
然后我们重新编译安装gearman
> tar xf gearmand-1.1.12.tar.gz
> cd gearmand-1.1.12
如果configure的有哪些参数不清楚,可以用下面命令查看
> ./configure --help
这里需要安装mysql-devel,以便gearman支持mysql的持久化
> yum install mysql-server mysql-devel
因为我早先装过gearman,没有指定--prefix,所以这里也没有指定,有需要的可以自行指定
> ./configure
> make && make install
configure完成最后显示的一段信息
* LIBS:
* LDFLAGS Flags:
* Assertions enabled: no
* Debug enabled: no
* Warnings as failure: no
* Building with libsqlite3 no
* Building with libdrizzle yes
* Building with libmemcached not found
* Building with libpq no
* Building with tokyocabinet no
* Building with libmysql yes
* SSL enabled: no
* cyassl found: no
* openssl found: yes
* make -j: 2
* VCS checkout: no
* sphinx-build: :
最后可以看到libdrizzle和libmysql那地方显示yes
查看是否安装上
> gearmand --help
如果出现如下错误
gearmand: error while loading shared libraries: libdrizzle.so.9: cannot open shared object file: No such file or directory
请打开修改/etc/ld.so.conf
> vi /etc/ld.so.conf
加入如下一句话
/usr/local/lib
运行ldconfig
> ldconfig
再次运行上面的gearmand --help,如果出现如下信息,则安装成功
builtin:
libdrizzle:
--libdrizzle-host arg (=localhost) Host of server.
--libdrizzle-port arg (=3306) Port of server. (by default Drizzle)
--libdrizzle-uds arg Unix domain socket for server.
--libdrizzle-user arg (=root) User name for authentication.
--libdrizzle-password arg Password for authentication.
--libdrizzle-db arg (=gearman) Database to use.
--libdrizzle-table arg (=queue) Table to use.
--libdrizzle-mysql Use MySQL protocol.
MySQL:
--mysql-host arg (=localhost) MySQL host.
--mysql-port arg (=3306) Port of server. (by default 3306)
--mysql-user arg MySQL user.
--mysql-password arg MySQL user password.
--mysql-db arg MySQL database.
--mysql-table arg (=gearman_queue) MySQL table name.
通过libdrizzle启动gearmand如果出现如下问题
gearmand: Error while initializing the queue : libdrizzle
并且日志里面的记录是这样的
ERROR 2017-02-22 07:51:02.536574 [ main ] Failed to initialize libdrizzle:
initialize(QUEUE_ERROR) -> libgearman-server/queue.cc:246
不知道是不是mysql版本太高的原因,还是其他的原因,如果大家试了实在不行还是换另一个方式,另一方式我测试是成功的。
创建一个后台job
> gearman -f test -b 123456
查看数据库如下:
希望本文所述对大家MySQL数据库计有所帮助。
来源:https://www.cnblogs.com/jkko123/p/6503600.html
猜你喜欢
- 引用计数在Python源码中,每一个对象都是一个结构体表示,都有一个计数字段。typedef struct_object { i
- 一、进程之间的数据共享展望未来,基于消息传递的并发编程是大势所趋即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合,通过消息队列交换
- 如IP为192.168.1.111现要截取第二个.之前的值,得到结果192.168,很多网站都只显示前面2个值 &nb
- (1) os.system仅仅在一个子终端运行系统命令,而不能获取命令执行后的返回信息system(command) -> exit_
- 定义计算N的阶乘的函数1)使用循环计算阶乘def frac(n): r = 1 if n<=1:
- tcp.py # -*- coding: cp936 -*-import socketfrom struct import *from ti
- 1. 列表1.1 列表的定义List(列表) 是Python 中使用最频繁的数据类型,在其他语言中通常叫做数组专门用于存储一串 信息列表用[
- 原因:list 获得的数据为空: 显示值为 [ ]不同的判断--- is None----not两者结果不一样分析:总之:not 判断的是内
- 一.虚拟机端1.找到mysql的配置文件:sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf按"
- Numpy是什么很简单,Numpy是Python的一个科学计算的库,提供了矩阵运算的功能,其一般与Scipy、matplotlib一起使用。
- pycharm指定python路径,pycharm配置python环境的方法是:1、依次点击【File】、【Project Interpre
- 一、题目描述题目内容:题目示例:题目解析:1 <= nums.length <= 104-107 <= nums
- 本文实例讲述了Python 日志logging模块用法。分享给大家供大家参考,具体如下:demo.py(日志,输出到控制台):import
- HTTP-REFERER这个变量已经越来越不可靠了,完全就是可以伪造出来的东东。 以下是伪造方法:ASP/Visual Basic代码 di
- 本文实例讲述了Python3.5常见内置方法参数用法。分享给大家供大家参考,具体如下:Python的内置方法参数详解网站为:https://
- 1.利用装饰器在视图中拦截未登录的url@login_required(login_url='/user/login/')d
- 啥是依赖规范可以以各种形式指定项目的依赖项,取决于依赖项的类型以及安装项目可能需要的可选约束版本约束^ 约束编写规范允许的版本范围^1.2.
- 如果直接使用base64_encode和base64_decode方法的话,生成的字符串可能不适用URL地址。下面的方法可以解决该问题:UR
- 如何做一个只能从本站点才能访问的页面?可以用与防止盗链<%if left(Request.ServerVariables(&
- 在日常的工作中,保护数据免受未授权用户的侵犯是系统管理员特别关心的问题。如果你目前用的是MySQL,就可以使用一些方便的功能来保护系统,来大