Danner Blog

Took the sourest lemon that life has to offer and turned it into something resembling lemonade.

Flink 启动流程之 yarn-session

之前介绍的 start-cluster 启动的是 Flink Standalone 模式，接下来看 Flink On Yarn 是如何启动。 yarn-session Flink On Yarn 的 Session 模式，运行一个长服务，适用于运行时间短的任务。 # yarn-session.sh bin=`dirname "$0"` bin=`cd "$bin"; pwd` # ...

Posted by danner on June 30, 2020

Flink 启动流程之 TaskManager

Flink 1.10 TaskManagerRunner 之前分析的 start-cluster 脚本中，启动TaskManager 是去执行 org.apache.flink.runtime.taskexecutor.TaskManagerRunner // org.apache.flink.runtime.taskexecutor.TaskManagerRunner /** * ...

Posted by danner on June 27, 2020

数据平台学习资料

收集于互联网，侵权请联系元数据饿了么元数据管理实践之路大数据平台-元数据管理系统解析数据资产管理实践——元数据管理与数据治理数据治理数据企业数据全生命周期管理与治理数据治理推不动？这篇万字实操范例可能帮到你全链路数据治理在网易严选的实践

Posted by danner on June 24, 2020

数据库系统基础教程学习进度

书籍英文名，斯坦福课程资料 Topic FCDB/3 涉及章节 Progress Date Intro to DBMS’s, Relational Model, SQL Data Definition, XML 1, 2.1–2.3 100% ...

Posted by danner on June 16, 2020

Flink 学习资料

版本迭代修改代码150万行！Apache Flink 1.9.0做了这些重大修改！ Flink 1.10 新特性研究 102万行代码，1270 个问题，Flink 新版发布了什么？深度解读 Flink 1.11：流批一体 Hive 数仓大数据+AI Meetup-20200614 重磅！Apache Flink 1.11 功能抢先看！ Flink 1.11 Release...

Posted by danner on June 8, 2020

Flink 启动流程之 JobManager

Flink 1.10 StandaloneSessionClusterEntrypoint：Entry point for the standalone session cluster // org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint public class Standalo...

Posted by danner on June 4, 2020

Flink 启动流程之 start-cluster

start-cluster.sh bin=`dirname "$0"` bin=`cd "$bin"; pwd` # 执行同目录下的 config.sh：读取 conf 目录下配置文件 # 并定义一些函数：TMSlaves，readMasters，readSlaves 供调用 . "$bin"/config.sh # 启动 JobManager，分是否为 HA shopt -s noca...

Posted by danner on June 3, 2020

Flink 之 Retract

实时计算过程中上游数据可能会有修改，此时下游数据也需要做相应的更正，这种功能在 Flink 中称为 Retract。 object RetractStreamApp { def main(args: Array[String]): Unit = { val timeStamp = misc.getLongTime("2020-03-05 00:00:00") val ...

Posted by danner on June 2, 2020

FlumeToHDFS 故障案例

Flume 落盘到 HDFS 是在大数据非常普遍的场景，在生产中我们遇到个问题，特此记录。现象 Flume 采集数据落到 Hive 小时分区目录，Hive T+1 ETL。出故障那天发现 Hive 表数据比业务表少个上万条记录，然后重新 ETL 加工后数据找回。这说明数据本来就是在 Hive 目录下，只是在 T+1 加工数据时没参与，而手动加工时缺失的数据参与 ETL 了。分析 ...

Posted by danner on May 28, 2020

深入剖析 Flink Straming WC流程

Flink 版本：1.10 def main(args: Array[String]) { // Checking input parameters val params = ParameterTool.fromArgs(args) // set up the execution environment val env = StreamExecution...

Posted by danner on May 26, 2020