三云时光

三云时光

spark配置历史服务

1、修改 spark-defaults.conf vim conf/spark-defaults.conf 添加如下内容 spark.eventLog.enabled true s


云哥  2022-07-26 阅读全文

spark yarn模式运行应用

修改hadoop配置文件 修改yarn配置文件 vim hadoop-3.2.3/etc/hadoop/yarn-site.xml 添加如下内容 <!-- 是否启动一个线程检查每个任务正式用


云哥  2022-07-26 阅读全文

spark高可用配置

主要是修改配置文件 spark-env.sh vim conf/spark-env.sh JAVA_HOME=/opt/env/jdk1.8.0_202 SPARK_MASTER_WEBUI_PORT


云哥  2022-07-25 阅读全文