三云时光

三云时光

Flink模拟延迟数据处理过程

使用侧边数据输出流输出严重迟到的数据 import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; impo


云哥  98  2022-10-08 阅读全文

java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException

版本:flink-1.13.6 启动yarn-session.sh时报错 下载jar包放入lib下即可 wget https://repo.maven.apache.org/maven2/org/ap


云哥  118  2022-07-29 阅读全文

Flink yarnSession模式部署

首先我们需要部署好hadoop集群, hadoop-3.2.3部署过程 2、配置环境变量 export JAVA_HOME=/opt/env/jdk1.8.0_202 export KE_HOME=/


云哥  175  2022-05-24 阅读全文

消费kafka数据,flink经过清洗,计算后然后写入Elastic

消费kafka数据,flink经过清洗,计算后然后写入Elastic, 注意这里使用的elasticsearch是7.5.1版本,下载地址 https://www.elastic.co/cn/down


云哥  178  2022-04-27 阅读全文

Flink sql 函数

将秒转换为日期类型 TO_TIMESTAMP_LTZ(epochSeconds, 0) SECOND(timestamp) // 返回 秒 MINUTE(timestamp) // 返回 分钟 HOU


云哥  548  2021-10-21 阅读全文

flink JDBC SQL 连接器

1、csv连接器 CREATE TABLE employee_information ( emp_id INT, name VARCHAR, dept_id INT ) WIT


云哥  478  2021-10-21 阅读全文