You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by cs <58...@qq.com> on 2021/04/12 03:29:47 UTC

回复：Re: CheckpointedFunction#snapshotState访问键控状态报错

我们需求这个状态需要可以被外部查询，quable state我们生产端口会屏蔽掉。所以只能在checkpoint的时候自己将状态输出到外部存储。但是感觉没有很好的api获取statetable里面实际kv状态

---原始邮件---
发件人:&quot;Yun Tang&quot;<myasuka@live.com&gt;
发送时间:2021年4月10日 星期六 下午9:50
收件人:&quot;user-zh&quot;<user-zh@flink.apache.org&gt;
主题:Re: CheckpointedFunction#snapshotState访问键控状态报错
Hi
&nbsp;&nbsp;snapshotState主要是给operator&nbsp;state用的，异常原因是keyed&nbsp;state&nbsp;访问时需要设置currentKey的，但是currentKey是当前正在处理的record的key，与snapshotState的执行时候的语义不一样，执行snapshotState方法的时候，是可以没有当前record的。
&nbsp;&nbsp;如果想要访问整个keyed&nbsp;state，可以通过&nbsp;KeyedStateBackend#getKeys(String&nbsp;state,&nbsp;N&nbsp;namespace)&nbsp;来访问，但还是不建议将keyed&nbsp;state写入到HBase，因为Flink更希望你是按照per&nbsp;record的访问，而不是全局访问，后者效率和性能都不好。
祝好
唐云
________________________________
From:&nbsp;cs&nbsp;<58683632@qq.com&gt;
Sent:&nbsp;Tuesday,&nbsp;April&nbsp;6,&nbsp;2021&nbsp;21:52
To:&nbsp;user-zh&nbsp;<user-zh@flink.apache.org&gt;
Subject:&nbsp;CheckpointedFunction#snapshotState访问键控状态报错
class&nbsp;A&nbsp;extends&nbsp;KeyedProcessFunction<String,&nbsp;Object,&nbsp;String&amp;gt;&nbsp;implements&nbsp;CheckpointedFunction&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;private&nbsp;MapState<String,&nbsp;LiveBean&amp;gt;&nbsp;liveBeanState;
&amp;nbsp;&nbsp;&nbsp;@Override
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;public&nbsp;void&nbsp;initializeState(FunctionInitializationContext&nbsp;context)&nbsp;throws&nbsp;Exception&nbsp;{
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;MapStateDescriptor<String,&nbsp;LiveBean&amp;gt;&nbsp;descriptor&nbsp;=&nbsp;new&nbsp;MapStateDescriptor<&amp;gt;(&quot;liveState&quot;,&nbsp;BasicTypeInfo.STRING_TYPE_INFO,&nbsp;TypeInformation.of(LiveBean.class));
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;this.liveBeanState&nbsp;=&nbsp;context.getKeyedStateStore().getMapState(descriptor);
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;}
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;@Override
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;public&nbsp;void&nbsp;snapshotState(FunctionSnapshotContext&nbsp;context)&nbsp;throws&nbsp;Exception&nbsp;{
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;Iterator<Map.Entry<String,&nbsp;LiveBean&amp;gt;&amp;gt;&nbsp;iter&nbsp;=&nbsp;liveBeanState.iterator();&nbsp;//&nbsp;-&amp;gt;&nbsp;Exception&nbsp;here
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;while&nbsp;(iter.hasNext())&nbsp;{
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;Map.Entry<String,&nbsp;LiveBean&amp;gt;&nbsp;e&nbsp;=&nbsp;iter.next();
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;hbaseDao.singlePut(&quot;table&quot;,&nbsp;StringUtils.reverse(e.getKey()),&nbsp;&quot;cf&quot;,&nbsp;&quot;info&quot;,&nbsp;JSON.toJSONString(e.getValue()));
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;}
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;}
}
异常信息如下
java.lang.NullPointerException:&nbsp;No&nbsp;key&nbsp;set.&nbsp;This&nbsp;method&nbsp;should&nbsp;not&nbsp;be&nbsp;called&nbsp;outside&nbsp;of&nbsp;a&nbsp;keyed&nbsp;context.
需要在checkpoint的时候将键控状态存入hbase，该如何处理呢

Re: 回复：Re: CheckpointedFunction#snapshotState访问键控状态报错

Posted by Yun Tang <my...@live.com>.
Hi，
如果想要可以被外部查询，更合适的方式是 queryable state，如果想要把数据同时存储在外部，更合适的方式其实是直接使用外部store，例如HBase，这样子数据的查询是实时的。
checkpoint时候再向外存储的话，一来更新不是及时的，而且数据有冗余存储（分别在Flink的state和外部存储中）。

如果非要想获取实际的kv数据，可以参照我前面说的 KeyedStateBackend#getKeys 或者 KeyedStateBackend#applyToAllKeys 这两个接口，你可以自己实现一个stream operator而不是function，这样就能看到里面的keyed statebackend了。

祝好
唐云
________________________________
From: cs <58...@qq.com>
Sent: Monday, April 12, 2021 11:29
To: user-zh <us...@flink.apache.org>
Subject: 回复：Re: CheckpointedFunction#snapshotState访问键控状态报错

我们需求这个状态需要可以被外部查询，quable state我们生产端口会屏蔽掉。所以只能在checkpoint的时候自己将状态输出到外部存储。但是感觉没有很好的api获取statetable里面实际kv状态

---原始邮件---
发件人:&quot;Yun Tang&quot;<myasuka@live.com&gt;
发送时间:2021年4月10日 星期六 下午9:50
收件人:&quot;user-zh&quot;<user-zh@flink.apache.org&gt;
主题:Re: CheckpointedFunction#snapshotState访问键控状态报错
Hi
&nbsp;&nbsp;snapshotState主要是给operator&nbsp;state用的，异常原因是keyed&nbsp;state&nbsp;访问时需要设置currentKey的，但是currentKey是当前正在处理的record的key，与snapshotState的执行时候的语义不一样，执行snapshotState方法的时候，是可以没有当前record的。
&nbsp;&nbsp;如果想要访问整个keyed&nbsp;state，可以通过&nbsp;KeyedStateBackend#getKeys(String&nbsp;state,&nbsp;N&nbsp;namespace)&nbsp;来访问，但还是不建议将keyed&nbsp;state写入到HBase，因为Flink更希望你是按照per&nbsp;record的访问，而不是全局访问，后者效率和性能都不好。
祝好
唐云
________________________________
From:&nbsp;cs&nbsp;<58683632@qq.com&gt;
Sent:&nbsp;Tuesday,&nbsp;April&nbsp;6,&nbsp;2021&nbsp;21:52
To:&nbsp;user-zh&nbsp;<user-zh@flink.apache.org&gt;
Subject:&nbsp;CheckpointedFunction#snapshotState访问键控状态报错
class&nbsp;A&nbsp;extends&nbsp;KeyedProcessFunction<String,&nbsp;Object,&nbsp;String&amp;gt;&nbsp;implements&nbsp;CheckpointedFunction&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;private&nbsp;MapState<String,&nbsp;LiveBean&amp;gt;&nbsp;liveBeanState;
&amp;nbsp;&nbsp;&nbsp;@Override
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;public&nbsp;void&nbsp;initializeState(FunctionInitializationContext&nbsp;context)&nbsp;throws&nbsp;Exception&nbsp;{
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;MapStateDescriptor<String,&nbsp;LiveBean&amp;gt;&nbsp;descriptor&nbsp;=&nbsp;new&nbsp;MapStateDescriptor<&amp;gt;(&quot;liveState&quot;,&nbsp;BasicTypeInfo.STRING_TYPE_INFO,&nbsp;TypeInformation.of(LiveBean.class));
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;this.liveBeanState&nbsp;=&nbsp;context.getKeyedStateStore().getMapState(descriptor);
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;}
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;@Override
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;public&nbsp;void&nbsp;snapshotState(FunctionSnapshotContext&nbsp;context)&nbsp;throws&nbsp;Exception&nbsp;{
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;Iterator<Map.Entry<String,&nbsp;LiveBean&amp;gt;&amp;gt;&nbsp;iter&nbsp;=&nbsp;liveBeanState.iterator();&nbsp;//&nbsp;-&amp;gt;&nbsp;Exception&nbsp;here
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;while&nbsp;(iter.hasNext())&nbsp;{
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;Map.Entry<String,&nbsp;LiveBean&amp;gt;&nbsp;e&nbsp;=&nbsp;iter.next();
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;hbaseDao.singlePut(&quot;table&quot;,&nbsp;StringUtils.reverse(e.getKey()),&nbsp;&quot;cf&quot;,&nbsp;&quot;info&quot;,&nbsp;JSON.toJSONString(e.getValue()));
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;}
&amp;nbsp;&nbsp;&amp;nbsp;&nbsp;}
}
异常信息如下
java.lang.NullPointerException:&nbsp;No&nbsp;key&nbsp;set.&nbsp;This&nbsp;method&nbsp;should&nbsp;not&nbsp;be&nbsp;called&nbsp;outside&nbsp;of&nbsp;a&nbsp;keyed&nbsp;context.
需要在checkpoint的时候将键控状态存入hbase，该如何处理呢