Python访问MongoDB,并且转换成Dataframe的方法
作者:宝山方圆 发布时间:2022-07-18 20:32:07
标签:Python,MongoDB,Dataframe
如下所示:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site :
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition
import pymongo
import pandas as pd
def _connect_mongo(host, port, username, password, db):
""" A util for making a connection to mongo. """
if username and password:
mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
conn = pymongo.MongoClient(mongo_uri)
else:
conn = pymongo.MongoClient(host, port)
return conn[db]
def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
""" Read from Mongo and Store into DataFrame. """
# Connect to MongoDB
db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)
# Make a query to the specific DB and Collection
cursor = db[collection].find(query).limit(10)
# Expand the cursor and construct the DataFrame
df = pd.DataFrame(list(cursor))
df.to_csv("abc.csv", encoding="utf_8_sig") # 处理中文乱码问题
if no_id:
del df['_id']
return df
read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")
小结:
1. 解决了pymongo访问MongoDB的问题
2. 解决了查询的数据转成dataframe的问题
3. 解决了dataframe写入到csv的问题
4. 解决了中文乱码问题。
来源:https://www.cnblogs.com/zhzhang/p/9305920.html
0
投稿
猜你喜欢
- 什么是上采样上采样,在深度学习框架中,可以简单的理解为任何可以让你的图像变成更高分辨率的技术。 最简单的方式是重采样和插值:将输入图片inp
- isset(PHP 3, PHP 4, PHP 5 )isset -- 检测变量是否设置描述bool isset ( mixed var [
- 一、简介我们在这里采用Python中的matplotlib来实现曲线图形的绘制。matplotlib是著名的python绘图库,它提供了一整
- LyScript 插件默认提供了一个get_disasm_code()方法可以直接获取到指定行数的反汇编代码,但如果需要自定义获取或者是需要
- 你的SQL Server最近是否运行不正常?不,我指的不是我们肯定会遇到的通常的数据库和操作系统问题。我的意思是,你是否经历过服务器的反应迟
- 一、输出指令ASP的输出指令<% =expression %>显示表达式的值。这个输出指令等同于使用Resp
- <%Dim sc4Json Sub InitScriptControlSet sc
- python是一款简单易用的编程语言,特别是其第三方库,能够方便我们快速进入工作,但其第三方库的安装困扰很多人.现在安装python时,已经
- 如下所示: out = subprocess.getstatusoutput('adb shell pm
- 系统环境:64位win7企业版python2.7.102016.08.16修改内容:1)read_until()函数是可以设置timeout
- Array.prototype._ = function(){var _p = 0;var _v = 0;(function(){ 
- 对于每个类型拥有的值范围以及并且指定日期何时间值的有效格式的描述见7.3.6 日期和时间类型。 1、这里是一个使用日期函数的例子。
- 1. 需求vs现状1.1 需求要求做一个ERP后台辅助管理的程序,有以下几项基本要求:1. 基本的增删改查功能2. 基于对象的权限控制(如:
- 1、信息表新建立一个字段,并用0、1的方法判断信息的状态。 2、新建一个页面,定时刷新,并查询表中是否有字段值为0的记录。 3、当管理员点击
- 知道python有这几个内置方法,但一直以来用的都不多,最近重新看了一下,重新记录一下。map()会根据提供的函数对指定序列进行映射,pyt
- 定义流的作用是使用统一的方式处理文件、网络和数据压缩等共用同一套函数和用法的操作。简单而言,流是具有流式行为的资源对象。因此,流可以线性读写
- 最近关心电子商务比较多,阿里系产品目前还是业内标杆,值得学习的对象。前几天Jack Ma对支付宝用户体验的严厉批评,成为业内交流热点,据说原
- 介绍毫无疑问,任何一个试图使用 CSS 的网页设计师和开发人员都会发现不同的浏览器要求不同的样式声明。这些烦恼归咎于各浏览器及其各版本不同程
- 使用.net2005自带的SQL-Express连接不上。解决方法:1.网络防火墙阻止数据库连接;2.默认SQL-Express没有启动Sa
- 目录前言super的用法super的原理Python super()使用注意事项混用super与显式类调用不同种类的参数总结前言Python