pandas和spark dataframe互相转换实例详解
作者：yaominghui 发布时间：2022-12-12 20:26:38
标签：pandas,spark,dataframe
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
.builder \
.getOrCreate()
spark_df = spark.createDataFrame(pandas_df)
spark的dataframe转pandas的dataframe
import pandas as pd
pandas_df = spark_df.toPandas()
由于pandas的方式是单机版的，即toPandas()的方式是单机版的，所以参考breeze_lsw改成分布式版本：
import pandas as pd
def _map_to_pandas(rdds):
return [pd.DataFrame(list(rdds))]
def topas(df, n_partitions=None):
if n_partitions is not None: df = df.repartition(n_partitions)
df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
df_pand = pd.concat(df_pand)
df_pand.columns = df.columns
return df_pand
pandas_df = topas(spark_df)
0
投稿猜你喜欢
想买mate40，但总是抢不到，所以想试着能不能写个脚本代码。第一步：把想要抢购的商品加进购物车，注意：脚本是对购物车内全部商品进行下单操作- 原文：Five quick JavaScript tips真是五个很quick的小提示：1.只在<form>元素上使用submi
- 如果是感应触发.就选onmouseover如果是点击触发.就选onclick [把它们两互相替换,就可随时变为感应
- 1、不指定开始和结束的索引[:]，这样得到的切片就可以包含整个列表，然后给切片一个新的变量，从而实现复制列表。2、创建原始列表的副本，两个列
- Asp(Active Server Pages)是Web服务器端脚本编写环境,可以使用Vbscript/Jscript两种脚本来编写.作为我
- 本文实例讲述了php隐藏IP地址后两位显示为星号的方法。分享给大家供大家参考。具体实现方法如下：我们在很多的公共网站中都会有碰到显示用户的I
- 使用access数据库时可能用到的数据转换:类型转换涵数:函数 返回类型 expression 参数范围CBool Boolean 任何有效
- 起源：.clearfix:after {visibility: hidden;display: block;font-size: 0;con
- 本文实例讲解了php表单验证的实现方法，分享给大家供大家参考，具体内容如下1.PHP表单处理welcome.html<html>
- Flask是一个Python编写的Web 微框架，让我们可以使用Python语言快速实现一个网站或Web服务。本文参考自Flask官方文档，
- 一、字符串与字节数组？字符串是 Go 语言中最常用的基础数据类型之一，本质上是只读的字符型数组，虽然字符串往往都被看做是一个整体，但是实际上
- 一、python判断文件和文件夹是否存在、创建文件夹 >>> import os>>> os.path.
- 如下所示：# -*- coding: UTF-8 -*-import numpy as npimport osfrom scipy.misc
- 为什么选择Python进行数据分析？Python是一门动态的、面向对象的脚本语言，同时也是一门简约，通俗易懂的编程语言。Python入门简单
- window.opener 的用法 window.opener 返回的是创建当前窗口的那个窗口的引用，比如点击了a.htm上的一
- 一、multiprocess模块multiprocess不是一个模块而是python中一个操作、管理进程的包。子模块分为四个部分：创建进程部
- 不论是做WEB设计还是做交互模型,最快确立创意与设计效果的最好办法就是用笔在纸上绘制出来。不过从事IT行业的人很少一部分是来自美术学院。当然
- 一、什么是模块容器 -> 数据的封装函数 -> 语句的封装类 -> 方法和属性的封装模块 -> 模块就是程序，模块就
- 下面是滚动条css代码参数介绍：scrollbar-3d-light-color 设置或检索滚动条亮边框颜色 scrollbar-highl
- think-queue是ThinkPHP官方提供的一个消息队列服务，是专门支持队列服务的扩展包。think-queue消息队列适用于大并发或
