将string类型的数据类型转换为spark rdd时报错的解决方法
作者：gavenyeah 发布时间：2023-05-03 00:35:12
标签：python,string,spark,rdd,报错
在将string类型的数据类型转换为spark rdd时，一直报这个错，StructType can not accept object ％r in type ％s” ％ (obj, type(obj)))
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
查了半天的资料，问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case，终于把问题解决。记录一下！
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
上面的问题办法是，将sc.parallelize([list0])中的list0再转成一个整体list，问题即可解决。
来源：https://blog.csdn.net/y999666/article/details/78649760
0
投稿猜你喜欢
目录前言创建对象方式一：方式二：更新对象方式一：方式二：方式三：查询检索全部对象：条件过滤：方式一：方式二：检索单个对象：总结前言上篇已经介- 前言项目需求是跟用户当前位置判断是否在给定的地理位置范围内，符合位置限制才可以打卡，其中的位置范围是一个或多个不规则的多边形。如下图，判断用
- 如何远程注册DLL？试试下面的代码：<％ Response.Buffer = True ％&g
- 简介  在现在的移动端App中，由于开发效率、需求频繁变更的需求情况下，经常有相关的运营需求，经常要进行更新，如果全部采用
- 在安装wordpress的时候，按照里面的readme.html的步骤进行安装，但是在访问wp-admin/install.php的时候就出
- 程序代码： '关键字的搜索 str="select * from tableNam
- 如果你有对触发器和事务的概念，有些了解，这篇文章，对你来说会是很简单，或能让你更进一步的了解触发器里面的一些故事，和触发器中事务个故事。在这
- pydev debugger: process 10341 is connecting无法debu今天在Pycharm中debug时无法正常
- SQL 中的运算符 1算术运算符:+:加运算,求两个数或表达式想加的和-:减运算,求两个数或表达式相减的差*,乘运算,求两个数或表
- :is 动态组件使用 v-bind:is=”组件名”，会自动去找匹配的组件名，如果没有，则不显示；<div id="app&
- 简介几年前，我用C#写了一个RSS阅读器，但是我想如果把它做成一个SPA（单页应用）效果会更好。 Angular使一些事情变得简单，RSS阅
- pycharm sql语句警告产生原因为没有配置数据库，配置数据库，似乎没什么作用那么，直接去掉他的警告提示找到setting->ed
- 在golang中要实现对数据库的操作， 一个比较好用的方式就是使用XORM，xorm是一个简单而强大的Go语言ORM库，通过它可以使数据库操
- 大家好，常用探索性数据分析方法很多，比如常用的 Pandas DataFrame 方法有 .head()、.tail()、.info()、.
- 本文实例讲述了Python实现读取机器硬件信息的方法。分享给大家供大家参考，具体如下：本人最近新学python ，用到关于机器的相关信息，经
- 前面一篇我们已经把unittest的常用用法都已经讲过了，可能很多小伙伴有个疑问，unittest框架怎么做数据驱动呢？这节我们就来学习一下
- 目录process模块1、在python中启动一个子进程2、给子进程传递参数3、同时开多个子进程4、join的用法5、多进程之间的数据是否隔
- github源码地址：https://github.com/kuishou68/python各类图表的实现效果爬取的说说内容个性化说说内容词
- 关于跨域这个话题，很早就答应过要分享，但是因为懒，一直拖着，直到D2上有人谈起了“完美跨域”。“跨域”应该已经算不上什么难题了，只是提起“完
- 一、效果展示文件上传和展示：文件搜索：文件下载：删除文件：二、关键代码#urls.pyfrom django.urls import pat
