使用logstash同步mysql数据到elasticsearch实现
作者:大数据技术派 发布时间:2024-01-26 17:40:59
标签:logstash,mysql,数据同步,elasticsearch
mysql建表test;
安装logstash(跟es版本一致)
# 下载
wget https://repo.huaweicloud.com/logstash/7.14.2/logstash-7.14.2-linux-x86_64.tar.gz
# 解压
tar -zxvf logstash-7.14.2-linux-x86_64.tar.gz
# 需要mysql-connector-java-5.1.40.jar,随便放到比如目录
# /var/lib/hadoop-hdfs/logstash-7.14.2/lib/mysql-connector-java-5.1.40.jar
新建es索引test
curl -u elastic:changeme -X PUT http://192.168.20.130:9200/test -H 'Content-Type: application/json' -d'
{
"settings" : {
"number_of_shards" : 1,
"number_of_replicas" : 1
},
"mappings" : {
"properties": {
"id": {
"type" : "long"
},
"type": {
"type": "keyword"
},
"keyword_1": {
"type": "text",
"analyzer" : "ik_smart"
},
"keyword_2": {
"type": "text",
"analyzer" : "ik_smart"
},
"keyword_3": {
"type": "text",
"analyzer" : "ik_smart"
},
"data": {
"type": "keyword"
},
"created_at": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
},
"updated_at": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
}
}
}
}'
编辑配置文件
vim ~/script/logstash/logstash_mysql2es.conf
input {
stdin{
}
jdbc{
# 连接的数据库地址和数据库,指定编码格式,禁用ssl协议,设定自动重连
# 此处10.112.103.2为MySQL所在IP地址,也是elastic search所在IP地址
jdbc_connection_string => "jdbc:mysql://192.168.13.28:3306/test?characterEncoding=UTF-8&useSSL=FALSE&autoReconnect=true"
#数据库用户名
jdbc_user => "root"
# 数据库用户名对应的密码
jdbc_password => "root"
# jar包存放位置
jdbc_driver_library => "/var/lib/hadoop-hdfs/logstash-7.14.2/lib/mysql-connector-java-5.1.40.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_default_timezone => "Asia/Shanghai"
jdbc_paging_enabled => "true"
jdbc_page_size => "320000"
lowercase_column_names => false
statement => "select id, type, tags, title from test"
}
}
filter {
# 移除无关的字段
mutate {
remove_field => ["@version", "@timestamp"]
}
}
output {
elasticsearch {
hosts => ["http://192.168.20.130:9200"]
user => "elastic"
password => "changeme"
index => "test"
document_type => "_doc"
# 将字段type和id作为文档id
document_id => "%{type}_%{id}"
}
stdout {
codec => json_lines
}
}
重要配置参数说明:
remove_field => ["@version", "@timestamp"]
: 默认logstash
会添加这两个字段,这里去掉;document_id => "%{type}_%{id}"
: 将两个字段拼接作为es的文档id;
启动任务
./logstash-7.14.2/bin/logstash -f script/logstash/logstash_mysql2es.conf
参考资料
Jdbc input plugin
Elasticsearch output plugin
通过logstash将mysql数据同步到elastic search
来源:https://juejin.cn/post/7176826365059006525


猜你喜欢
- 本文实例讲述了thinkphp实现发送邮件密码找回功能的方法。分享给大家供大家参考。具体实现方法如下:首先下载mail.class.php类
- 最近在学习python网络编程这一块,在写简单的socket通信代码时,遇到了struct这个模块的使用,当时不太清楚这到底有和作用,后来查
- Servermanager启动连接数据库错误运行mgrstart.bat报错如下解决办法:修改C:\Siemens\Teamcenter12
- python中有一个略微奇怪的表达式叫yield expression,本文就来探究一下这是个什么东西。一步一步来。iterablemyli
- 本文实例讲述了Python使用Matplotlib实现雨点图动画效果的方法。分享给大家供大家参考,具体如下:关键点win10安装ffmpeg
- 我们经常会用到表格数据,在做表格的时候,一般都喜欢隔行变色,使表格表现数据的时候非常的清晰。如图,我设计的一个表格表现的样式:在网上找到一个
- 一、文件操作pandas内置了10多种数据源读取函数,常见的就是CSV和EXCEL使用read_csv方法读取,结果为dataframe格式
- CSS的出现使网页制作者在对网页元素的控制方便许多,当然,有利必有弊,CSS只能对颜色、大小、距离等静
- 1、正则表达式包括两部分①定义正则表达式的规则;②正则表达式的模式(i/g/m);2、声明正则表达式① 字面量声明: var reg = /
- 本文将详细解释这些函数的使用方法。首先,我们介绍Python语言中类似于Windows系统的dir命令的列出文件功能,然后描述如何测试一个文
- Django auth 应用模块在设计开发任何一个站点的时候都需要有“用户”的概念,从用户的注册、登
- 具体流程:① 导入相应的包,下载训练集和测试集对应需要的图像数据。②进行图像数据的变换,使图像数据转化成pytorch可识别并计算的张量数据
- 我就废话不多说了,大家还是直接看代码吧~package mainimport ("fmt""net/url&q
- 一、关于m3u8:m3u8是苹果公司推出一种视频播放标准,是m3u的一种,不过编码方式是utf-8,是一种文件检索格式,将视频切割成一小段一
- 目录完整项目地址:首页安装特点完整项目地址:https://github.com/zsjtoby/DevOpsCloud欢迎使用极云监控系统
- 1. desc 命令 格式: desc tablename columnname 例子: desc `table` `mid` desc `
- 我就废话不多说了,大家还是直接看代码吧~#! /usr/bin/env python# -*- coding:utf-8 -*-import
- 一、源码分析Django 发布的 1.4 版本中包含了一些安全方面的重要提升。其中一个是使用 PBKDF2 密码加密算法代替了 SHA1 。
- 1查找字符位置函数: strpos($str,search,[int]):查找search在$str中的第一次位置从int开始; strip
- 本文实例讲述了js文本框输入内容智能提示效果代码。分享给大家供大家参考。具体如下:运行效果截图如下:大体思路:1.监听文本框事件。这里是用的