主要是修改配置文件 spark-env.sh

vim conf/spark-env.sh

JAVA_HOME=/opt/env/jdk1.8.0_202
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181 -Dspark,deploy.zookeeper.dir=/spark"


修改完毕后,将安装包复制到其它机器上

在hadoop1上执行

./sbin/start-all.sh

在hadoop2上执行

./sbin/start-master.sh

然后访问 http://hadoop1:8989/

状态为 ALIVE

http://hadoop2:8989/

状态为:STANDBY

将hadoop1上的master杀死

hadoop2上的master状态就变为 ALIVE状态

在hadoop1上再启动master

./sbin/start-master.sh

hadoop1上的master的状态就变成了 STANDBY

高可用下提交作业

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop1:7077,hadoop2:7077 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

 

最后修改于 2022-07-25 17:30:20
如果觉得我的文章对你有用,请随意赞赏
扫一扫支付
上一篇