spark local模式安装

1、解压，编辑spark-env.sh文件

[html] view plain copy

print?

1. [root@spark0 conf]# cp spark-env.sh.template spark-env.sh  
2. [root@spark0 conf]# vim spark-env.sh  
3. SPARK_MASTER_IP=192.168.6.2  

2、设置主节点IP地址：

3、设置从节点IP地址：

添加IP地址：

4、启动：

[html] view plain copy

print?

1. sbin/start-all.sh   

查看进程：

5、启动spark-shell：

[html] view plain copy

print?

1. bin/spark-shell   

6、运行一个简单的例子：

[html] view plain copy

print?

1. val rdd=sc.textFile("/home/spark0/spark.txt").collect  

7、网页 http://192.168.6.2:4040/jobs/ 查看任务：