kafka-python批量发送数据的实例
作者：rongyongfeikai2 发布时间：2023-04-24 04:40:23
标签：kafka,python,数据
如下所示：
from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
'''
向kafka解析队列发送数据
'''
client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
producer = SimpleProducer(client, async=False)
curcount = len(datas)/PARTNUM
for i in range(0, PARTNUM):
start = i*curcount
if i != PARTNUM - 1:
end = (i+1)*curcount
curdata = datas[start:end]
producer.send_messages(TOPICNAME, *curdata)
else:
curdata = datas[start:]
producer.send_messages(TOPICNAME, *curdata)
producer.stop()
client.close()
其中PARTNUM为topic的partition的数目，这样保证批量发送的数据均匀的落在kafka的partition中。
来源：https://blog.csdn.net/rongyongfeikai2/article/details/54576340
0
投稿猜你喜欢
- Dreamweaver出现乱码，大致为两种情况：一是没有标明主页制作所用的文字，这种情况下很简单就可以
- 本文实例讲述了php中使用key,value,current,next和prev函数遍历数组的方法。分享给大家供大家参考。具体分析如下：ph
- 一般来说，通过c.Request.FormFile()获取文件的时候，所有内容都全部读到了内存。如果是个巨大的文件，则可能内存会爆掉；且，有
- SQL Server内存会不断增加当 SQL Server 数据库引擎在 Microsoft? Windows NT? 或 Windows?
打包pyinstaller 02.py --noconsole --hidden-import PySide2.QtXml报错0：The &- 在Python中存储数据到文件中时，简单的做法是调用open函数执行文件写入操作，但是这样做的话，当我们要重新读取文件内容时，就会出现类型不
- 我们用Select的onchange事件时,常会遇到这样一个问题,那就是连续选相同一项时,不触发onchange事件.select的onch
- 我们有时候为了测试会虚拟创建一些用户，这时候我们可能会通过写sql脚本的形式，但如果没有理清增加用户的注意事项等，往往造出来的数据不能用，比
- 我就废话不多说了，大家还是直接看代码吧~from docx import Documentfrom docx import RTimport
- 今天学到了如何使用Python的smtplib库发送邮件，中间也是遇到了各种各样的错误和困难，还好都一一的解决了。下面来谈一谈我的这段经历。
- 这篇文章主要介绍了python如何使用socketserver模块实现并发聊天,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定
- 如果使用Python做大型海量数据批量任务时，并且backend用mongodb做数据储存时，常常面临大量读写数据库的情况。尤其是大量更新任
- 一、简介urllib 库，它是 Python 内置的 HTTP 请求库，不需要额外安装即可使用，它包含四个模块：`request` 请求模块
- 通常我们的网站里面会加载一些js代码，统计啊，google广告啊，百度同盟啊，阿里妈妈广告代码啊，一堆，最后弄得页面加载速度很慢，很慢。解决
- SQL Server 2005 远程连接配置TCP/IP属性.Surface Area Configuration –> Databa
- 一、Django密码存储和加密方式#算法+迭代+盐+加密<algorithm>$<iterations>$<s
- 在使用matplotlib模块时画坐标图时，往往需要对坐标轴设置很多参数，这些参数包括横纵坐标轴范围、坐标轴刻度大小、坐标轴名称等 在mat
- Analyze Table MySQL 的Optimizer（优化元件）在优化SQL语句时，首先需要收集一些相关信息，其中就包括表的card
- 在Python中如何实现单例模式？这可以说是一个经典的Python面试题了。这回我们讲讲实现Python中实现单例模式的n种方式，和它的原理
- axios是通过Promise实现对ajax技术的一种封装，就像jquery对ajax的封装一样，axios回来的数据是promise，aj
