用Flink Table API和RocksDB不能正常升级状态数据结构

[Elvis Chen <el...@yelp.com.INVALID>]

我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
Caused by: org.apache.flink.util.StateMigrationException: The new state
serializer
(org.apache.flink.table.runtime.typeutils.RowDataSerializer@aad5b03a) must
not be incompatible with the old state serializer
(org.apache.flink.table.runtime.typeutils.RowDataSerializer@9d089984)
...

Re: [External] Re: 用Flink Table API和RocksDB不能正常升级状态数据结构

[Elvis Chen <el...@yelp.com.INVALID>]

感谢回复。我们在之前使用Flink 1.11的应用是可以支持增加带默认值的field。目前1.16的Table API无法兼容吗？

On Mon, Apr 17, 2023 at 11:21 PM Shammon FY <zj...@gmail.com> wrote:

> Hi
>
> 目前增减列数据会导致状态无法兼容
>
> Best,
> Shammon FY
>
>
> On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen <el...@yelp.com.invalid>
> wrote:
>
> > 我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
> >
> >
> queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
> > Caused by: org.apache.flink.util.StateMigrationException: The new state
> > serializer
> > (org.apache.flink.table.runtime.typeutils.RowDataSerializer@aad5b03a)
> must
> > not be incompatible with the old state serializer
> > (org.apache.flink.table.runtime.typeutils.RowDataSerializer@9d089984)
> > ...
> >
>

Re: 用Flink Table API和RocksDB不能正常升级状态数据结构

[Shammon FY <zj...@gmail.com>]

Hi

目前增减列数据会导致状态无法兼容

Best,
Shammon FY


On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen <el...@yelp.com.invalid>
wrote:

> 我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
>
> queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
> Caused by: org.apache.flink.util.StateMigrationException: The new state
> serializer
> (org.apache.flink.table.runtime.typeutils.RowDataSerializer@aad5b03a) must
> not be incompatible with the old state serializer
> (org.apache.flink.table.runtime.typeutils.RowDataSerializer@9d089984)
> ...
>