SPARK的安装和部署

Spark 1.6.0 单机安装配置

一、       约束条件如下

Spark runs on Java7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. Youwill need to use a compatible Scala version (2.10.x).

Spark 1.6  + Scala 2.10

二、   依赖安装

1、JDK 1.8+  （前置安装）

 

2、HADOOP 2.6.0+（前置安装）

 

3、SCALA 2.10.+

http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz

4、Spark -1.6.0 –bin-Hadoop

http://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz

 

三、依赖安装

n  配置ssh localhost

确保已经安装openssh-server

yum –y install openssh-server

n  无密码登陆配置

ssh-keygen -t rsa

cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

如果已经生成过密钥，只需执行后两行命令。测试ssh localhost

 

四、安装scala

n  解压scala安装包到任意目录：

cd /opt/scala

tar -xzvfscala-2.10.6.tgz

n  编辑环境变量

vim /etc/profile

exportSCALA_HOME=/home/tom/scala-2.10.6

exportPATH=$SCALA_HOME/bin:$PATH

n  使环境变量生效

source/etc/profile

n  查看是否成功：

scala -version

 

五、安装SPARK

n  解压spark安装包到任意目录：

cd /opt/spark

tar -xzvfspark-1.6.0-bin-hadoop2.6.tgz

mvspark-1.6.0-bin-hadoop2.6 spark-1.6.0

vim /etc/profile

n  在 /etc/profile 文件的末尾添加环境变量：

exportSPARK_HOME=/opt/spark

exportPATH=$SPARK_HOME/bin:$PATH

n  保存并更新 /etc/profile ：

source/etc/profile

 

六、配置SPARK

n  在conf目录下复制并重命名 spark-env.sh.template 为 spark-env.sh ：

cpspark-env.sh.template spark-env.sh

vim spark-env.sh

n  在 spark-env.sh 中添加：

export JAVA_HOME=/opt/jdk1.8/

exportSPARK_MASTER_IP=localhost

exportSPARK_WORKER_MEMORY=1G

 

七、启动与测试SPARK

n  启动

$SPARK_HOME/sbin/start-all.sh

n  测试Spark是否安装成功：

$SPARK_HOME/bin/run-exampleSparkPi

n  得到结果：

Pi is roughly 3.14716

n  检查页面： 是否安装成功

http://localhost :8080

接下来介绍分布式安装配置，这得感谢科多大数据的老师提供的资料，干货拿走不谢

Spark 1.6.0分布式安装配置

 

一、             *配置解释：

JAVA_HOME 指定 Java 安装目录； 

SCALA_HOME 指定 Scala 安装目录； 

SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址； 

SPARK_WORKER_MEMORY 指定的是 Worker 节点能够分配给Executors 的最大内存大小； 

#HADOOP_CONF_DIR 指定 Hadoop 集群配置文件目录。 

 

二、             基于单机集群：

一、主节点配置：

1，  添加配置到 spark-env.sh文件

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

2，  将 slaves.template 拷贝到 slaves， 编辑其内容为：

hadoop1

hadoop2

hadoop3

(不同机器名的，记得更改)

 

二、从节点配置

 

拷贝主节点配置到其他节点，并且修改环境变量

 

三、             启动集群

1) 启动  Master 节点

运行 start-master.sh

2) 启动  Slave 节点

运行 start-slaves.sh

 

 

四、             验证集群

通过 8080端口能够看到  worker数量为 3