Apache Flink 1.14 新特性预览 - OSCHINA
在引擎层面,API 层面和算子的执行层面上做到了真正的流与批用同一套机制运行。但是在任务具体的执行模式上会有 2 种不同的模式: 下图是不同的执行模式: 对于无限的数据流,统一采用了流的执行模式。流的执行模式指的是所有计算节点是通过 Pipeline 模式去连接的,Pipeline 是指上游和下游计算任务是同时运行的,随着上游不断产出数据,下游同时在不断消费数据。这种全 Pipeline 的执行方式可以: 通过 eventTime 表示数据是什么时候产生的; 通过 watermark 得知在哪个时间点,数据已经到达了; 通过 state 来维护计算中间状态; 通过 Checkpoint 做容错的处理。 这两种各有优劣,可以根据作业的具体场景来进行选择。 对于有限的数据集有 2 种执行模式,我...阅读全文