2018即将推出的Apache Spark 2.4都有哪些新功能
作者：青色的海牛 发布时间：2023-11-04 03:46:21
标签：Apache,Spark,2.4,新功能
本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。
新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
支持 Scala 2.12。
点击 示说网 ，即可下载此PPT。
总结
以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能网站的支持！
来源：https://www.cnblogs.com/slidestalk/archive/2018/09/28/9718116.html
0
投稿猜你喜欢
- 北京时间11月17日消息，据国外媒体报道，俄罗斯有关机构表示，若动视暴雪的新作《使命召唤：现代战争2》不做修改，那么就可能遭到被封杀的命运。
- 11月20日下午消息，搜狐IT今日从播放软件暴风影音内部获悉，该公司在10月份首次实现盈亏平衡，当月收入突破1000万元。内部员工透露，暴风
- 以下是一些来自专业机构研究结果的窍门，希望可以为改进你的网站设计提供些意见：1.对比图像，文字更具吸引力与你所认为的相反，在浏览一个网站的时
- 作为企业的信息化安全人员，其主要任务就是如何在保障服务器性能的前提下提高服务器的安全性。而要做到这一点，服务器的访问权限控制策略无疑是其中的
- 问题现象：通过vmware8的完全克隆功能快速创建一台版本为CentOS 6.4的linux虚拟机。创建后症状：启动之后使用ifconfig
- 北京时间9月30日消息，据科技博客iLounge日前报道，消息人士透露苹果计划在2010年1月19日或者之前宣布其平板电脑，该消息人士还透露
- 今天在检查博客附件的时候发现有以前上传的一个注册表导入脚本reg文件丢了，重新上传的时候居然报错了。仔细看了才发现是之前安装的Waterma
- 有一阵子着实对Ubuntu的网络配置很迷惑，耐下心来仔细上网找了找，有点小心得，总结一下。先说下大概的配置过程，再去细究一些情况。一、配置大
- 内容摘要：拥有大量的历史积累的各种论坛系统中的内容往往很难被搜索引擎收录，BBS2BLOG是一个bbs改造思路：通过对现有BBS加入按“个人
- 如果你打算做站长，哪么你面临的第一件事就是注册域名。千辛万苦终于选定了自己心仪的域名，但是到哪里注册呢？这个问题其实一点也不比选择域名来的简
- 时间过得也真快，一转眼我的网络推广博客上线已经整整三个月了，在这三个月里面体会蛮多的，从上线后短时间内被百度谷歌收录，并且几个关键字也取得好
没有人喜欢垃圾信息，除了制造者本人。如果你正运行着一个 WordPress 博客系统，你可能已经至少安装了一个垃圾信息控制部件，但- 阿里妈妈上线了。进入转了一圈，发现阿里妈妈与”传统”网络广告(例如Google Adsense、Yahoo的巴拿马系统等)还是区别很大。阿里
- 一、概述Zabbix 是一个企业级的分布式开源监控方案。能够监控各种网络参数以及服务器健康性和完整性。支持灵活的通知机制，提供出色的报告和数
- 本期教程就分三部分为大家讲解Discuz! 7.0升级到Discuz! 7.1的过程：升级前的准备、升级中的注意事项以及升级后需要进行的一些
- 1、对于论坛的优化来说是比较难的，主动性太差，一般在不计用户体验的情况下点击率达到3％已经很不容易了。2、对于论坛来说，我们的目标就是尽可能
- 前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介
- 本文为大家分享了Ubuntu server版安装图文教程，供大家参考，具体内容如下创建虚拟机步骤1、 创建虚拟机2、 登录系统3. 先启用r
- 为了方便广大网友从ftp站点查找资料，我们特意向您介绍这份国内大学ftp服务器站点列表，希望对你有用。成都信息工程学院ftp://xsc.c
- 全新推出的Discuz! 7.2版本从用户注册登陆应用、社区论坛前后管理两方面着眼，增加和改进了30多处与社区门户运营密切的功能与细节，实现
