网络编程
位置：首页>> 网络编程>> Python编程>> python批量导入数据进Elasticsearch的实例

python批量导入数据进Elasticsearch的实例

作者：小威xiaowei2　　发布时间：2022-06-29 16:08:02　

标签：python,导入,数据,Elasticsearch

ES在之前的博客已有介绍，提供很多接口，本文介绍如何使用python批量导入。ES官网上有较多说明文档，仔细研究并结合搜索引擎应该不难使用。

先给代码


#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
line = line.strip().split(' ')
action={
"_index":"image",
"_type":"imagetable",
"_id":i,
"_source":{
 u"图片名":line[0].decode('utf8'),
 u"来源":line[1].decode('utf8'),
 u"权威性":line[2].decode('utf8'),
 u"大小":line[3].decode('utf8'),
 u"质量":line[4].decode('utf8'),
 u"类别":line[5].decode('utf8'),
 u"型号":line[6].decode('utf8'),
 u"国别":line[7].decode('utf8'),
 u"采集人":line[8].decode('utf8'),
 u"所属部门":line[9].decode('utf8'),
 u"关键词":line[10].decode('utf8'),
 u"访问权限":line[11].decode('utf8')
 }
}
i+=1
actions.append(action)
if(len(actions)==500):
helpers.bulk(es, actions)
del actions[0:len(actions)]
if (len(actions) > 0):
helpers.bulk(es, actions)

每句话的含义还是很明显的，这里需要说几点，首先是index.txt是以utf8编码的，所以需要decode('utf8')转换成unicode对象，并且“图片名”前需要加u，否则ES会报错

导入的速度还是很快的，2000多条记录每秒。

来源：https://blog.csdn.net/u012236368/article/details/51284587

0
投稿

猜你喜欢

手机版 网络编程 asp之家 www.aspxhome.com