修改hadoop配置文件
修改yarn配置文件
vim hadoop-3.2.3/etc/hadoop/yarn-site.xml
添加如下内容
<!-- 是否启动一个线程检查每个任务正式用的物理内存,如果任务超出分配值,则直接将其杀掉,默认是 true -->
<property>
<name>yarn.nodemanager.pmem-chech-enabled</name>
<value>false</value>
</property>
<!-- 是否启动一个线程检查每个任务正式用的虚拟内存,如果任务超出分配值,则直接将其杀掉,默认是 true -->
<property>
<name>yarn.nodemanager.vmem-chech-enabled</name>
<value>false</value>
</property>
2、修改spark环境文件
vim conf/spark-env.sh 添加如下配置 YARN_CONF_DIR=/opt/env/hadoop-3.2.3/etc/hadoop
提交作业 bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/jars/spark-examples_2.12-3.1.3.jar \ 10
最后修改于 2022-07-26 18:51:41
如果觉得我的文章对你有用,请随意赞赏
扫一扫支付

