You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 引领 <yr...@163.com> on 2020/09/11 09:55:50 UTC
关于flink cdc 测试时遇到的几种问题，比较疑惑，各位大佬求帮助
1、在checkpoint后，用ck恢复时报错。
org.apache.kafka.connect.errors.ConnectException: com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException: Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000, eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19, dataLength=25879, nextPosition=721073164, flags=0}
2、关于flink cdc读取数据后，并执行join【加载维表的操作】后，写入mysql中。并发调不上去，一直是1
我已在配置文件中做了相应的设置，包括sql-client中
taskmanager.numberOfTaskSlots: 5 # The parallelism used for programs that did not specify and other parallelism. parallelism.default: 5
我的sql是:
Insert into orders Select * from order o join sku s FOR SYSTEM_TIME as of o.proc_time s on o.sku_id = s.id
提前感谢各位大佬回复
Re: 关于flink cdc 测试时遇到的几种问题，比较疑惑，各位大佬求帮助
Posted by godfrey he <go...@gmail.com>.
sql
client的默认并发为1，如果没有在sql-client-defaults.yaml显示设置parallelism，代码里面的默认并发为1.因此需要显示的设置
sql-client-defaults.yaml的parallelism
Jark Wu <im...@gmail.com> 于2020年9月15日周二 上午11:43写道：
> Hi,
>
> 请问
> 1. 有完整的异常栈吗？ 你是怎么从 ck 恢复的呢？ 用的什么命令？
> 2. 是的。因为 source 只能并发1。先写到 kafka，再从 kafka 同步是可以的。
>
> Best,
> Jark
>
> On Fri, 11 Sep 2020 at 17:56, 引领 <yr...@163.com> wrote:
>
> >
> >
> > 1、在checkpoint后，用ck恢复时报错。
> > org.apache.kafka.connect.errors.ConnectException:
> >
> com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException:
> > Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000,
> > eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19,
> dataLength=25879,
> > nextPosition=721073164, flags=0}
> > 2、关于flink cdc读取数据后，并执行join【加载维表的操作】后，写入mysql中。并发调不上去，一直是1
> > 我已在配置文件中做了相应的设置，包括sql-client中
> > taskmanager.numberOfTaskSlots: 5 # The parallelism used for
> > programs that did not specify and other parallelism.
> > parallelism.default: 5
> >
> >
> > 我的sql是:
> >
> >
> > Insert into orders Select * from order o join sku s FOR SYSTEM_TIME
> as
> > of o.proc_time s on o.sku_id = s.id
> >
> >
> > 提前感谢各位大佬回复
> >
> >
> >
> >
> >
> >
>
Re: 关于flink cdc 测试时遇到的几种问题，比较疑惑，各位大佬求帮助
Posted by Jark Wu <im...@gmail.com>.
Hi,
请问
1. 有完整的异常栈吗？ 你是怎么从 ck 恢复的呢？ 用的什么命令？
2. 是的。因为 source 只能并发1。先写到 kafka，再从 kafka 同步是可以的。
Best,
Jark
On Fri, 11 Sep 2020 at 17:56, 引领 <yr...@163.com> wrote:
>
>
> 1、在checkpoint后，用ck恢复时报错。
> org.apache.kafka.connect.errors.ConnectException:
> com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException:
> Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000,
> eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19, dataLength=25879,
> nextPosition=721073164, flags=0}
> 2、关于flink cdc读取数据后，并执行join【加载维表的操作】后，写入mysql中。并发调不上去，一直是1
> 我已在配置文件中做了相应的设置，包括sql-client中
> taskmanager.numberOfTaskSlots: 5 # The parallelism used for
> programs that did not specify and other parallelism.
> parallelism.default: 5
>
>
> 我的sql是:
>
>
> Insert into orders Select * from order o join sku s FOR SYSTEM_TIME as
> of o.proc_time s on o.sku_id = s.id
>
>
> 提前感谢各位大佬回复
>
>
>
>
>
>