修改hadoop配置文件

修改yarn配置文件

vim hadoop-3.2.3/etc/hadoop/yarn-site.xml

添加如下内容

<!--  是否启动一个线程检查每个任务正式用的物理内存，如果任务超出分配值，则直接将其杀掉，默认是 true     -->
<property>
        <name>yarn.nodemanager.pmem-chech-enabled</name>
        <value>false</value>
</property>

<!--  是否启动一个线程检查每个任务正式用的虚拟内存，如果任务超出分配值，则直接将其杀掉，默认是 true     -->
<property>
        <name>yarn.nodemanager.vmem-chech-enabled</name>
        <value>false</value>
</property>

2、修改spark环境文件

vim conf/spark-env.sh
添加如下配置
YARN_CONF_DIR=/opt/env/hadoop-3.2.3/etc/hadoop

提交作业
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10