详解IntelliJ IDEA创建spark项目的两种方式
作者：梦岚如雪 发布时间：2023-12-05 05:48:21
Intellij是进行scala开发的一个非常好用的工具，可以非常轻松查看scala源码，当然用它来开发Java也是很爽的，之前一直在用scala ide和eclipse，现在换成intellij简直好用到飞起，但是有些人不知道怎么用intellij去创建一个spark项目，这里介绍两种
1、选择File->new Project->Java->Scala,这里scala版本是2.11.8
2 .之后一路点击next，直到finish，创建完的项目见下图，这时候已经可以创建scala文件了，接下来就可以添加spark相关的jar包了，从官网下载http://spark.apache.org/downloads.html，我这里用的是spark-2.2.1-bin-hadoop2.7，你可以根据自己需要选择相应的版本，下载完压缩包后解压
3 . 选择File->Project Structure->Libraries,点击+，选择Java，选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹，将该文件夹下的jar包全部引进该项目，见下图
4 . 之后在libraries中点击+，选择scala sdk，这里选择系统版本的scala，为2.11.8版本,添加见下图
5 . 添加完毕后Project Structure类似于下面这种格式
6 .现在该项目有了spark的jar和scala的sdk，之后创建一个scala文件进行测试,代码及运行结果见下图
7 .出现上面这些内容表明Intellij创建spark项目成功，总结一下这种方式需要引入scala sdk以及spark的jar包，还有另外一种方式是见下图，选择File->New Project->Scala->IDEA，选择next
8 .之后指定项目名称和项目所处位置，点击finish，创建项目
9 .这时候创建的项目如下，这种情况下可以直接右键new 创建scala文件，不需要在额外添加scala sdk
10 .接下来的操作和上面那种一样，添加spark jar包即可，添加完后测试一下
11 .成功输出，表明Intellij创建spark项目成功，当然前提是intellij安装了scala插件，在File->Settings->Plugins,搜索scala，根据查找的结果进行安装后重启intellij即可，下图是我已经安装好的
来源：https://blog.csdn.net/a532672728/article/details/79455024
0
投稿猜你喜欢
intellij idea是一款非常优秀的软件开发工具，它拥有这强大的插件体系，可以帮助开发者完成很多重量级的功能。今天，我们来学习一下如何- Springboot上传文件时提示405问题描述：上传文件时请求不通，状态码返回405，如下图： 问题分析：405 Method
- 我在5月份的时候就申请了洞态IAST企业版内测，算是比较早的一批用户了。聊聊几个我比较在意的问题，比如API接口覆盖率、第三方开源组件检测以
- 建造者模式（Builder Pattern）使用多个简单的对象一步一步构建成一个复杂的对象。这种类型的设计模式属于创建型模式，它提供了一种创
- 悲观锁和乐观锁是面试高频问题之一，本文将对悲观锁和乐观锁简单的进行一个介绍。悲观锁（Pessimistic Locking）悲观锁在并发环境
- JDK 1.5开始提供ScheduledThreadPoolExecutor类，ScheduledThreadPoolExecutor类继承
- Spring boot项目结合docker容器用，打了个jar包，启动的时候竟然说：no main manifest attribute,
- 前言：学习过我的mall项目的应该知道，mall-admin模块是使用SpringSecurity+JWT来实现登录认证的，而mall-po
- 这篇文章主要介绍了Java数组索引异常产生及解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- maven-compiler-plugin编译Java源码，一般只需设置编译的jdk版本<plugin> <g
- 前言相信很多Java开发都遇到过一个面试题：Resource和Autowired的区别是什么？这个问题的答案相信基本都清楚，但是这两者在Sp
- 本文实例讲述了Java接口的简单定义与实现方法。分享给大家供大家参考，具体如下：1、接口是Java中最终要的概念，接口可以理解为一种特殊的类
- 父类空间优先于子类对象产生在每次创建子类对象时，先初始化父类空间，再创建其子类对象本身。目的在于子类对象中包含了其对应的父类空间，便可以包含
- 大多数情况下你不需要访问者模式，但当一旦需要访问者模式时，那就是真的需要它了，这是设计模式创始人的原话。可以看出应用场景比较少，但需要它的时
- 完整代码已上传到GitHub。Web端体验地址：http://47.116.72.33/（只剩一个月有效期）apk下载地址：https://
- 0、前言本文主要对几种常见Java序列化方式进行实现。包括Java原生以流的方法进行的序列化、Json序列化、FastJson序列化、Pro
- Maven 错误找不到符号问题，通常有三种原因: 1. 可能项目编码格式不统一。 2. 可能项目编码使用的JDK版本不统一。 3
- 这篇文章主要介绍了JDBC自定义连接池过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参
- 很多时候我们开发的软件需要向用户提供软件参数设置功能，例如我们常用的QQ，用户可以设置是否允许陌生人添加自己为好友。对于软件配置参数的保存，
- 前言现在的项目一般是拆分成一个个独立的模块，当在其他项目中想要使用独立出来的这些模块，只需要在其pom.xml使用<dependenc
