主要是修改配置文件 spark-env.sh
vim conf/spark-env.sh
JAVA_HOME=/opt/env/jdk1.8.0_202
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181 -Dspark,deploy.zookeeper.dir=/spark"
修改完毕后,将安装包复制到其它机器上
在hadoop1上执行
./sbin/start-all.sh
在hadoop2上执行
./sbin/start-master.sh
然后访问 http://hadoop1:8989/
状态为 ALIVE
http://hadoop2:8989/
状态为:STANDBY
将hadoop1上的master杀死
hadoop2上的master状态就变为 ALIVE状态
在hadoop1上再启动master
./sbin/start-master.sh
hadoop1上的master的状态就变成了 STANDBY
高可用下提交作业
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop1:7077,hadoop2:7077 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10
最后修改于 2022-07-25 17:30:20
如果觉得我的文章对你有用,请随意赞赏
扫一扫支付

