Flink sql 流批一体的应用

[Jacob <17...@163.com>]

Hi all

现有一个场景：

消费kafka消息，逐条处理加工每条kafka数据，每隔15分钟将不同数据写进hive表（多张表）
之后，对上面的多张表进行一系列join merge等操作写到新表，生成最终的数据。


这样的场景如果用Flink去处理，是不是需要启动两个flink job，一个处理流数据，一个处理批数据
因为两个执行环境不一样
流处理：
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
批处理：
EnvironmentSettings settings =
EnvironmentSettings.newInstance().inBatchMode().build();
TableEnvironment tableEnv = TableEnvironment.create(settings);

有没有可能让这两部分合二为一呢，放在同一个job执行？



-----
Thanks!
Jacob
--
Sent from: http://apache-flink.147419.n8.nabble.com/