修改hadoop配置文件

修改yarn配置文件
vim hadoop-3.2.3/etc/hadoop/yarn-site.xml

添加如下内容


<!--  是否启动一个线程检查每个任务正式用的物理内存,如果任务超出分配值,则直接将其杀掉,默认是 true     -->
<property>
        <name>yarn.nodemanager.pmem-chech-enabled</name>
        <value>false</value>
</property>

<!--  是否启动一个线程检查每个任务正式用的虚拟内存,如果任务超出分配值,则直接将其杀掉,默认是 true     -->
<property>
        <name>yarn.nodemanager.vmem-chech-enabled</name>
        <value>false</value>
</property>

2、修改spark环境文件

vim conf/spark-env.sh
添加如下配置
YARN_CONF_DIR=/opt/env/hadoop-3.2.3/etc/hadoop
提交作业
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

 

 

最后修改于 2022-07-26 18:51:41
如果觉得我的文章对你有用,请随意赞赏
扫一扫支付
上一篇