将string类型的数据类型转换为spark rdd时报错的解决方法
作者：gavenyeah 发布时间：2023-05-03 00:35:12
标签：python,string,spark,rdd,报错
在将string类型的数据类型转换为spark rdd时，一直报这个错，StructType can not accept object ％r in type ％s” ％ (obj, type(obj)))
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
查了半天的资料，问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case，终于把问题解决。记录一下！
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
上面的问题办法是，将sc.parallelize([list0])中的list0再转成一个整体list，问题即可解决。
来源：https://blog.csdn.net/y999666/article/details/78649760
0
投稿猜你喜欢
- 和设计师打过交道的人一定也见到过少数极品，不是扎着小辫子留着小胡子，就是剃了光头抽根烟，通常说起来一套一套的人作品都很一般般，而作品一般般的
本文主要介绍Python3.6及TensorFlow的安装和配置流程。一、Python官网下载自己电脑和系统对应的Python安装包。&nb- 注意转义字符\的使用\\,\",\$ 注意使用8进制或16进制字符表示 \xf6 echo "H\xf6me"
- 这里所谓的复杂表单，是指表单中包含多种不同的输入类型，比如下拉列表框、单行文本、多行文本、数值等。在经常需要更换这类表单的场合，需要有一个表
- 今天开始学习 YUI，加强一下对 JavaScript 的理解。1. 命名空间 YAHOO
- 今天开始学习python，首先环境安装1.在https://www.python.org/downloads/下载python2.X或者3.
- 我用 ip=Request.ServerVariables
- K-Means聚类算法介绍K-Means又称为K均值聚类算法，属于聚类算法中的一种，而聚类算法在机器学习算法中属于无监督学习，在业务中常常会
- 计模式的目的是让代码易维护、易扩展，不能为了模式而模式，因此一个简单的工具脚本是不需要用到任何模式的。简单工厂模式又叫静态工厂方法模式，工厂
- 虽然现在有许多网页制作工具能让您轻松地完成工作,但如果使用HTML则可以得到更大控制权,下面介绍几个小技巧。1.使用语句来控制文字排版比用好
- 问题：在Jupyter Notebook中使用args传递参数时出现错误：原始代码：args = parser.parse_args()us
- phpqrcode类库官网下载地址： https://sourceforge.net/projects/phpqrcode/1.我们先看看p
- 使用jmail组件发送邮件：Function JMail(Send_From,Send_To,Send_Subject,Send_
- 今天的这篇文章是讲XHTML中的细节部分的，这篇续述的主题就是ID与CLASS怎么用，在标题中有提及使用原则与技巧，这里的使用原则与技巧是我
- MySql5.0以后均支持存储过程，最近有空，研究了一下这个格式：CREATE PROCEDURE 过程名 ([过程参数[,...]])[特
- 背景每次加载数据都要重新Load，想通过加入的注解方式开发缓存机制，每次缓存不用写代码了缺点：目前仅支持一个返回值，虽然能弄成字典，但是已经
- 可视性的问题几乎在每次不同产品的用户测试中都会出现：用户总是对页面的某些元素、功能视若无睹，或根本无视。基于此，对这个问题进行了一番小小的研
- python excel文件(.xls文件)如何处理xlrd 用于读取文件，xlwt 用于写入文件,xlutils 是两个工具包的桥梁，也就
- 如何制作一个防止多次刷新计数的图片计数器？请问如何做一个专业的图片计数器？ <％countlong
- 有三种方法，一是用微软提供的扩展库win32com来操作IE，二是用selenium的webdriver，三是用python自带的HTMLP
