You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "wanglei2@geekplus.com.cn" <wa...@geekplus.com.cn> on 2020/03/12 04:37:21 UTC

flinkSQL join 表的历史信息保存在哪里保存多久

两个从 kafka 创建的表：

tableA： key  valueA
tableB： key  valueB 

用 flink sql 提交job 运行： select  tableA.key, tableA.valueA，tableB.valueB from tableA join tableB on tableA.key = tableB.key;
这两个表的历史数据在 flink 中存在哪里？存多久呢？

比如我 tableA key1 先出现，很长时间以后（一个月）tableB key1 才出现，这时候还能 join 上吗？
 
谢谢，
王磊



wanglei2@geekplus.com.cn

Re: Re: flinkSQL join表的历史信息保存在哪里保存多久

Posted by "wanglei2@geekplus.com.cn" <wa...@geekplus.com.cn>.
Thanks, it works.


wanglei2@geekplus.com.cn
 
Sender: sunfulin
Send Time: 2020-03-12 14:19
Receiver: user-zh; wanglei2
cc: jinhai.me
Subject: Re:Re: Re: flinkSQL join表的历史信息保存在哪里保存多久


这样来用：
StreamTableEnvironment.getConfig().setIdleStateRetentionTime(min, max);




在 2020-03-12 14:11:31，"wanglei2@geekplus.com.cn" <wa...@geekplus.com.cn> 写道：
>
>这个文档是最新的吗，我直接在 IDEA 里面写这三行代码。
>StreamQueryConfig Deprecated, tableEnv 没有 queryConfig() 方法
>StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
>StreamQueryConfig qConfig = tableEnv.queryConfig();
>
>
>
>wanglei2@geekplus.com.cn 
>
> 
>Sender: jinhai wang
>Send Time: 2020-03-12 13:44
>Receiver: user-zh@flink.apache.org
>Subject: Re: flinkSQL join表的历史信息保存在哪里保存多久
>应该是withIdleStateRetentionTime参数的配置时间。具体文档：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time
> 
> 
>在 2020/3/12 下午12:37，“wanglei2@geekplus.com.cn”<wa...@geekplus.com.cn> 写入:
> 
>    
>    两个从 kafka 创建的表：
>    
>    tableA： key  valueA
>    tableB： key  valueB 
>    
>    用 flink sql 提交job 运行： select  tableA.key, tableA.valueA，tableB.valueB from tableA join tableB on tableA.key = tableB.key;
>    这两个表的历史数据在 flink 中存在哪里？存多久呢？
>    
>    比如我 tableA key1 先出现，很长时间以后（一个月）tableB key1 才出现，这时候还能 join 上吗？
>     
>    谢谢，
>    王磊
>    
>    
>    
>    wanglei2@geekplus.com.cn 
>    
>

Re:Re: Re: flinkSQL join表的历史信息保存在哪里保存多久

Posted by sunfulin <su...@163.com>.



这样来用：
StreamTableEnvironment.getConfig().setIdleStateRetentionTime(min, max);







在 2020-03-12 14:11:31，"wanglei2@geekplus.com.cn" <wa...@geekplus.com.cn> 写道：
>
>这个文档是最新的吗，我直接在 IDEA 里面写这三行代码。
>StreamQueryConfig Deprecated, tableEnv 没有 queryConfig() 方法
>StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
>StreamQueryConfig qConfig = tableEnv.queryConfig();
>
>
>
>wanglei2@geekplus.com.cn 
>
> 
>Sender: jinhai wang
>Send Time: 2020-03-12 13:44
>Receiver: user-zh@flink.apache.org
>Subject: Re: flinkSQL join表的历史信息保存在哪里保存多久
>应该是withIdleStateRetentionTime参数的配置时间。具体文档：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time
> 
> 
>在 2020/3/12 下午12:37，“wanglei2@geekplus.com.cn”<wa...@geekplus.com.cn> 写入:
> 
>    
>    两个从 kafka 创建的表：
>    
>    tableA： key  valueA
>    tableB： key  valueB 
>    
>    用 flink sql 提交job 运行： select  tableA.key, tableA.valueA，tableB.valueB from tableA join tableB on tableA.key = tableB.key;
>    这两个表的历史数据在 flink 中存在哪里？存多久呢？
>    
>    比如我 tableA key1 先出现，很长时间以后（一个月）tableB key1 才出现，这时候还能 join 上吗？
>     
>    谢谢，
>    王磊
>    
>    
>    
>    wanglei2@geekplus.com.cn 
>    
>

Re: Re: flinkSQL join表的历史信息保存在哪里保存多久

Posted by "wanglei2@geekplus.com.cn" <wa...@geekplus.com.cn>.
这个文档是最新的吗，我直接在 IDEA 里面写这三行代码。
StreamQueryConfig Deprecated, tableEnv 没有 queryConfig() 方法
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
StreamQueryConfig qConfig = tableEnv.queryConfig();



wanglei2@geekplus.com.cn 

 
Sender: jinhai wang
Send Time: 2020-03-12 13:44
Receiver: user-zh@flink.apache.org
Subject: Re: flinkSQL join表的历史信息保存在哪里保存多久
应该是withIdleStateRetentionTime参数的配置时间。具体文档：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time
 
 
在 2020/3/12 下午12:37，“wanglei2@geekplus.com.cn”<wa...@geekplus.com.cn> 写入:
 
    
    两个从 kafka 创建的表：
    
    tableA： key  valueA
    tableB： key  valueB 
    
    用 flink sql 提交job 运行： select  tableA.key, tableA.valueA，tableB.valueB from tableA join tableB on tableA.key = tableB.key;
    这两个表的历史数据在 flink 中存在哪里？存多久呢？
    
    比如我 tableA key1 先出现，很长时间以后（一个月）tableB key1 才出现，这时候还能 join 上吗？
     
    谢谢，
    王磊
    
    
    
    wanglei2@geekplus.com.cn

Re: flinkSQL join表的历史信息保存在哪里保存多久

Posted by jinhai wang <ji...@gmail.com>.
应该是withIdleStateRetentionTime参数的配置时间。具体文档：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time


在 2020/3/12 下午12:37，“wanglei2@geekplus.com.cn”<wa...@geekplus.com.cn> 写入:

    
    两个从 kafka 创建的表：
    
    tableA： key  valueA
    tableB： key  valueB 
    
    用 flink sql 提交job 运行： select  tableA.key, tableA.valueA，tableB.valueB from tableA join tableB on tableA.key = tableB.key;
    这两个表的历史数据在 flink 中存在哪里？存多久呢？
    
    比如我 tableA key1 先出现，很长时间以后（一个月）tableB key1 才出现，这时候还能 join 上吗？
     
    谢谢，
    王磊
    
    
    
    wanglei2@geekplus.com.cn