详解IntelliJ IDEA创建spark项目的两种方式
作者：梦岚如雪 发布时间：2023-12-05 05:48:21
Intellij是进行scala开发的一个非常好用的工具，可以非常轻松查看scala源码，当然用它来开发Java也是很爽的，之前一直在用scala ide和eclipse，现在换成intellij简直好用到飞起，但是有些人不知道怎么用intellij去创建一个spark项目，这里介绍两种
1、选择File->new Project->Java->Scala,这里scala版本是2.11.8
2 .之后一路点击next，直到finish，创建完的项目见下图，这时候已经可以创建scala文件了，接下来就可以添加spark相关的jar包了，从官网下载http://spark.apache.org/downloads.html，我这里用的是spark-2.2.1-bin-hadoop2.7，你可以根据自己需要选择相应的版本，下载完压缩包后解压
3 . 选择File->Project Structure->Libraries,点击+，选择Java，选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹，将该文件夹下的jar包全部引进该项目，见下图
4 . 之后在libraries中点击+，选择scala sdk，这里选择系统版本的scala，为2.11.8版本,添加见下图
5 . 添加完毕后Project Structure类似于下面这种格式
6 .现在该项目有了spark的jar和scala的sdk，之后创建一个scala文件进行测试,代码及运行结果见下图
7 .出现上面这些内容表明Intellij创建spark项目成功，总结一下这种方式需要引入scala sdk以及spark的jar包，还有另外一种方式是见下图，选择File->New Project->Scala->IDEA，选择next
8 .之后指定项目名称和项目所处位置，点击finish，创建项目
9 .这时候创建的项目如下，这种情况下可以直接右键new 创建scala文件，不需要在额外添加scala sdk
10 .接下来的操作和上面那种一样，添加spark jar包即可，添加完后测试一下
11 .成功输出，表明Intellij创建spark项目成功，当然前提是intellij安装了scala插件，在File->Settings->Plugins,搜索scala，根据查找的结果进行安装后重启intellij即可，下图是我已经安装好的
来源：https://blog.csdn.net/a532672728/article/details/79455024
0
投稿猜你喜欢
首先我们要做的就是先把IIS（Internet信息服务）打开，我用的是win8 的系统，所以这里以win8系统的操作来讲一、IIS的一些事先- 本文较为详细的讲述了在WCF数据访问中使用缓存提高Winform字段中文显示速度的方法，分享给大家供大家参考之用。具体方法如下：在我们开发基
- 前言最近在学习spring，抽空会将学习的知识总结下面，本文我们会接触spring 4的新功能：@Conditional注解。在之前的spr
- 当我提交项目输入中文描述信息的时候，发现IDEA 的 Terminal无法显示中文信息，显示的是下面这样的因为我的终端设置了git.bash
- 回调在 * 中定义为：在计算机程序设计中，回调函数，是指通过函数参数传递到其他代码的，某一块可执行代码的引用。其目的是允许底层代码调用在高
- 这是一个自定义view画圆，对于初学自定义view的小伙伴这是一个很好的帮助。 看图代码：package sjx.com.custonvie
- 专栏介绍本系列专栏会以虹猫蓝兔七侠传的故事为例来给大家详细分析所有模式，希望能给大家带来帮助！本期介绍模式： 简单工厂模式案例： 一个天外陨
- 一、Lambda表达式 1.1 函数式编程思想概述在数学中，函数就是有输入量、输出量的一套计算方案，也就是“拿
- SpringBoot控制配置类加载顺序@Configuration配置被加载进容器的方式大体上可分为3种手动：构建ApplicationCo
- Maven的安装安装Maven之前要确保已经安装好了jdk，并且配置好了环境变量JAVA_HOME。具体安装步骤如下：1. 从ap
- package cn.hp.util;import java.sql.*;public class JDBCUtils { &
- 这篇文章主要介绍了如何通过Java实现时间轴过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- spring 容器的创建对应 SpringApplication 中 run 中调用的 createApplicationContext 方
- 循环队列结构队列特点队列为一种特殊的线性表，特殊之处在于它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作，
- 不好意思哦，上一篇Android自学开发第六篇代码控制界面挖了个坑，如果运行不起来的同学，请注意查看本篇文章。Android Project
- 依赖的jar包：spring相关jar包版本：4.3.1.RELEASE<dependency> &l
- 一，我们使用两个域名互相访问的时候会提示跨域，原因在哪里呢？如下图跨域，我们探究下是什么原因导致浏览器报这个错呢？二，我们研究下看看请求是否
- 首先来看一下效果： 大体思路如下： 总体布局用了一个自定义的ViewGroup，里面包了两个View（top Vie
- /*同步函数当函数中的代码全部放在了同步代码块中，那么这个函数就是同步函数*///同步函数的锁是this锁，this是一个引用，this指向
- 上篇博文：Java-多线程的使用equals与==1. ==的使用1.1 概述⭕ 用于基本类型比较值时:只要两个变量的值相等，即为true。
