三云时光

三云时光

专注前沿技术科技-人工智能-大数据-金融科技-投资理财

UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V

System.setProperty("hadoop.home.dir", "D:\\env\\hadoop-3.2.0") System.load("


云哥  2022-08-03 阅读全文

java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException

版本:flink-1.13.6 启动yarn-session.sh时报错 下载jar包放入lib下即可 wget https://repo.maven.apache.org/maven2/org/ap


云哥  2022-07-29 阅读全文

spark配置历史服务

1、修改 spark-defaults.conf vim conf/spark-defaults.conf 添加如下内容 spark.eventLog.enabled true s


云哥  2022-07-26 阅读全文

spark yarn模式运行应用

修改hadoop配置文件 修改yarn配置文件 vim hadoop-3.2.3/etc/hadoop/yarn-site.xml 添加如下内容 <!-- 是否启动一个线程检查每个任务正式用


云哥  2022-07-26 阅读全文

spark高可用配置

主要是修改配置文件 spark-env.sh vim conf/spark-env.sh JAVA_HOME=/opt/env/jdk1.8.0_202 SPARK_MASTER_WEBUI_PORT


云哥  2022-07-25 阅读全文

zookeeper集群部署

下载地址 https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 修改配置 vim c


云哥  2022-07-25 阅读全文