ubuntu18.04安装spark（伪分布式）

在安装spark之前，首先需要安装配置Hadoop

Scala安装：

下载地址：https://www.scala-lang.org/download/2.11.8.html

下载好后解压到：/usr/local/

sudo tar zxvf scala-2.11.8.tgz -C /usr/local/

删除安装包：

rm scala-2.11.8.tgz

进入到减压目录并重命名：

    cd /usr/local/
     
    sudo mv scala-2.11.8 scala

配置环境变量：

sudo vim /etc/profile

    JAVA_HOME=/usr/local/java/jdk1.8.0_201
    SCALA_HOME=/usr/local/scala
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin
    export SCALA_HOME
    export JAVA_HOME
    export PATH

source /etc/profile

测试：scala -version

################################################################################################
Spark安装：

下载地址：http://spark.apache.org/downloads.html

下载好后解压到：/usr/local/

sudo tar zxvf spark-2.4.0-bin-hadoop2.7.tgz  -C /usr/local/

删除安装包：

rm /home/wx/下载/spark-2.4.0-bin-hadoop2.7.tgz

进入到减压目录并重命名：

    cd /usr/local/
    sudo mv spark-2.4.0-bin-hadoop2.7 spark

配置环境：

sudo vim /etc/profile

    JAVA_HOME=/usr/local/java/jdk1.8.0_201
    SCALA_HOME=/usr/local/scala
    SPARK_HOME=/usr/local/spark
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
    export SCALA_HOME
    export SPARK_HOME
    export JAVA_HOME
    export PATH

source /etc/profile

配置配置spark-env.sh

进入到spark/conf/

cd spark/conf/

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

    export JAVA_HOME=/usr/local/java/jdk1.8.0_201
    export HADOOP_HOME=/usr/local/hadoop
    export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
    export SCALA_HOME=/usr/local/scala
    export SPARK_HOME=/usr/local/spark
    export SPARK_MASTER_IP=127.0.0.1
    export SPARK_MASTER_PORT=7077
    export SPARK_MASTER_WEBUI_PORT=8099
    export SPARK_WORKER_CORES=3
    export SPARK_WORKER_INSTANCES=1
    export SPARK_WORKER_MEMORY=5G
    export SPARK_WORKER_WEBUI_PORT=8081
    export SPARK_EXECUTOR_CORES=1
    export SPARK_EXECUTOR_MEMORY=1G
    export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

java，hadoop等具体路径根据自己实际环境设置。

配置Slave

cp slaves.template  slaves

vim slaves

默认就是localhost

 启动（前提是hadoop伪分布已经启动，就是上面的jps后出现那几个）：
启动sbin目录下的start-master.sh以及start-slaves.sh

cd /usr/local/spark/sbin/
./start-master.sh
./start-slaves.sh

Spark的web界面：http://127.0.0.1:8099/

启动bin目录下的spark-shell
wx@wx-Dell-System-Vostro-5460:/usr/local/spark$ cd ./bin/
wx@wx-Dell-System-Vostro-5460:/usr/local/spark/bin$ ./spark-shell

可以看到已经进入到scala环境，此时就可以编写代码啦！！！！！！！！！

spark-shell的web界面http://127.0.0.1:4040

当然为了方便，还可以配置修改BASH配置：

sudo vim /etc/bash.bashrc

    export SPARK_HOME=/usr/local/spark
     
    export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH

source /etc/bash.bashrc

以后就可以方便使用了。
简略日志：

spark将所有日志都会输出，很详细，所以屏幕打印很多，由于混合了很多日志不利于寻找程序执行的结果，所以要将info，改为warn，这样打印结果简单明了了许多。

cd $SPARK_HOME/conf

cp log4j.properties.template log4j.properties

sudo vim log4j.properties

 以上介绍了进入scala编程环境，如果想要使用python环境开发，可以参考：https://blog.csdn.net/weixin_42001089/article/details/82383856