Danner Blog

Took the sourest lemon that life has to offer and turned it into something resembling lemonade.

Flink SQL 执行流程(二)

Flink 1.12.1 Flink SQL 解析和执行流程如下，本节剖析 Operation -> Transformation 的具体流程。在上一节Flink SQL 执行流程(一) 将 SQL 解析成 Operation 树，本文关注逻辑计划树 -> 物理计划树 -> Transformation。接着上一节返回 CatalogSinkModifyOpe...

Posted by danner on December 13, 2020

Flink SQL 执行流程(一)

Flink 1.12.1 Flink SQL 解析和执行流程如下，本节剖析 SQL -> Operation 树的具体流程。 val env = StreamExecutionEnvironment.getExecutionEnvironment val settings = EnvironmentSettings.newInstance() .useBlinkPlanne...

Posted by danner on December 10, 2020

Flink SQL 之 Calcite

参考资料 Apache Calcite 处理流程详解（一） Flink SQL with Calcite Apache Calcite学习资料基于calcite做傻瓜式的sql优化(一) [calcite教程01-calcite的基本概念喜延的个人博客](https://lixiyan4633.gitee.io/2020/03/18/c...

Posted by danner on December 8, 2020

Doris 学习资料

Doris简史-为分析而生的11年 Apache Doris：基于 MPP 的交互式SQL数据仓库，可用于 OLAP Apache Doris 在美团点评的实践活动回顾｜ Apache Doris 的过去、现在与未来

Posted by danner on December 7, 2020

Flink CEP之动态规则

参考资料 Apache Flink 实战教程：CEP 实战一个Flink-Cep使用案例 Flink-Cep实现规则动态更新 Flink-cep 动态改变规则案例基于Flinkcep-1.11.2 动态规则修改实践

Posted by danner on December 5, 2020

Flink SQL 之 LookupTableSource

Flink 1.11 数仓建设的雪花模型：事实表 + 维表，维表是对事实表中某列数据的补全(商品id 补全商品名称、类型等)。维表是动态表，表里所存储的数据有可能不变，也有可能定时更新，但是更新频率不是很频繁。在实际生产中，维表一般是通过离线加工后存储。既然维表数据会有更新，在实时处理过程也是需要更新维表。Flink 的 Operator 层，可以通过以下操作更新维表：预加载维表...

Posted by danner on November 30, 2020

Flink SQL 之 MySQL Catalog

Flink 1.11 1.11 版本为止，真正能实现的 Catalog 只有 HiveCatalog 和 PostgresCatalog。JDBC catalog 提供了接⼝连接到各种关系数据库，使得 Flink 能够⾃动检索表，不⽤⽤户⼿动输⼊和修改。 MySQL 没有实现，本文带大家实现下。在实现 MySQL catalog 前先看看 PostgresCatalog，是 Abstr...

Posted by danner on November 25, 2020

Flink Interval Join

Flink 1.11 在流处理中，每条流到来的时间是不确定的，那如何才能保证流能 join 呢？答案是通过缓存流的数据，这样就能保证每条数据都能参与 join。但缓存每条流的数据的代价是很大，所以在 state 中有 TTL(数据过了生命周期后删除)的概念。一些特殊的场景：统计下单后一小时付款的订单的，其实我们只需要保留1小时的数据即可(但这里不能简单的定义 TTL 为1小时，因为两条流的...

Posted by danner on November 20, 2020

Flink SQL 之 Catalog

Flink 1.11 Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。sql 在解析过程必然与 Catalog 交互，才能生成逻辑计划。 Catalog 是接口类，与外部数据源交互需要实现对应的 Catalog 。常用的数据源 Flink 都已实现 Catalog，可以在 Flink 直接与之交互(其实 JDBCCa...

Posted by danner on November 15, 2020

Flink CEP 超时监控和原理

Flink 1.11 介绍 Complex Event Processing 复杂事件处理，Flink 提供CEP 库对其进行处理。Flink 在实现CEP时借鉴了 Efficient Pattern Matching over Event Streams 中NFA的模型，了解 NFA 的状态转移流程非常重要。 Flink CEP 内部是用 NFA（非确定有限自动机）来实现的，由点...

Posted by danner on November 12, 2020