You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Jeff <zi...@126.com> on 2023/04/16 11:58:01 UTC

sink mysql id自增表数据会丢失

sink数据到mysql catalog内的表时,当表只一个自增主键id无其唯一索引时,同一批写入的数据只会保存一条,其它数据会丢失。 


 mysql内表ddl:

create table test (id bigint primary key auto_increment , passport varchar);


flink sql:
insert into mysql_catalog.test select 0, passport from source_table;
 
之所以select 0是表示使用物理表的自增值。

Re: Re: Re: sink mysql id自增表数据会丢失

Posted by Shammon FY <zj...@gmail.com>.
退订请发送任意邮件到 user-zh-unsubscribe@flink.apache.org
<us...@flink.apache.org>,可以参考
https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list

On Wed, Apr 19, 2023 at 9:31 AM 王国成 <ta...@163.com> wrote:

> 退订
>
>
>
>
>
>
>
>
>
>
>
> 在 2023-04-19 09:15:09,"Shammon FY" <zj...@gmail.com> 写道:
> >如果想让mysql生成自增主键,可以在flink ddl的table里不增加主键字段,然后flink作业直接写入数据到table就可以了
> >
> >On Tue, Apr 18, 2023 at 5:38 PM Jeff <zi...@126.com> wrote:
> >
> >> 在sink时指定字段不可以不包括自增主键的列。
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 在 2023-04-17 07:29:16,"Shammon FY" <zj...@gmail.com> 写道:
> >> >Hi
> >> >
> >> >如果想使用mysql的自增主键,应该是在插入的时候不要写自增主键的列吧,可以在insert的时候直接指定需要插入的列试试?
> >> >
> >> >On Sun, Apr 16, 2023 at 7:58 PM Jeff <zi...@126.com> wrote:
> >> >
> >> >> sink数据到mysql catalog内的表时,当表只一个自增主键id无其唯一索引时,同一批写入的数据只会保存一条,其它数据会丢失。
> >> >>
> >> >>
> >> >>  mysql内表ddl:
> >> >>
> >> >> create table test (id bigint primary key auto_increment , passport
> >> >> varchar);
> >> >>
> >> >>
> >> >> flink sql:
> >> >> insert into mysql_catalog.test select 0, passport from source_table;
> >> >>
> >> >> 之所以select 0是表示使用物理表的自增值。
> >>
>

Re:Re: Re: sink mysql id自增表数据会丢失

Posted by 王国成 <ta...@163.com>.
退订











在 2023-04-19 09:15:09,"Shammon FY" <zj...@gmail.com> 写道:
>如果想让mysql生成自增主键,可以在flink ddl的table里不增加主键字段,然后flink作业直接写入数据到table就可以了
>
>On Tue, Apr 18, 2023 at 5:38 PM Jeff <zi...@126.com> wrote:
>
>> 在sink时指定字段不可以不包括自增主键的列。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2023-04-17 07:29:16,"Shammon FY" <zj...@gmail.com> 写道:
>> >Hi
>> >
>> >如果想使用mysql的自增主键,应该是在插入的时候不要写自增主键的列吧,可以在insert的时候直接指定需要插入的列试试?
>> >
>> >On Sun, Apr 16, 2023 at 7:58 PM Jeff <zi...@126.com> wrote:
>> >
>> >> sink数据到mysql catalog内的表时,当表只一个自增主键id无其唯一索引时,同一批写入的数据只会保存一条,其它数据会丢失。
>> >>
>> >>
>> >>  mysql内表ddl:
>> >>
>> >> create table test (id bigint primary key auto_increment , passport
>> >> varchar);
>> >>
>> >>
>> >> flink sql:
>> >> insert into mysql_catalog.test select 0, passport from source_table;
>> >>
>> >> 之所以select 0是表示使用物理表的自增值。
>>

Re: Re: sink mysql id自增表数据会丢失

Posted by Shammon FY <zj...@gmail.com>.
如果想让mysql生成自增主键,可以在flink ddl的table里不增加主键字段,然后flink作业直接写入数据到table就可以了

On Tue, Apr 18, 2023 at 5:38 PM Jeff <zi...@126.com> wrote:

> 在sink时指定字段不可以不包括自增主键的列。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2023-04-17 07:29:16,"Shammon FY" <zj...@gmail.com> 写道:
> >Hi
> >
> >如果想使用mysql的自增主键,应该是在插入的时候不要写自增主键的列吧,可以在insert的时候直接指定需要插入的列试试?
> >
> >On Sun, Apr 16, 2023 at 7:58 PM Jeff <zi...@126.com> wrote:
> >
> >> sink数据到mysql catalog内的表时,当表只一个自增主键id无其唯一索引时,同一批写入的数据只会保存一条,其它数据会丢失。
> >>
> >>
> >>  mysql内表ddl:
> >>
> >> create table test (id bigint primary key auto_increment , passport
> >> varchar);
> >>
> >>
> >> flink sql:
> >> insert into mysql_catalog.test select 0, passport from source_table;
> >>
> >> 之所以select 0是表示使用物理表的自增值。
>

Re:Re: sink mysql id自增表数据会丢失

Posted by Jeff <zi...@126.com>.
在sink时指定字段不可以不包括自增主键的列。

















在 2023-04-17 07:29:16,"Shammon FY" <zj...@gmail.com> 写道:
>Hi
>
>如果想使用mysql的自增主键,应该是在插入的时候不要写自增主键的列吧,可以在insert的时候直接指定需要插入的列试试?
>
>On Sun, Apr 16, 2023 at 7:58 PM Jeff <zi...@126.com> wrote:
>
>> sink数据到mysql catalog内的表时,当表只一个自增主键id无其唯一索引时,同一批写入的数据只会保存一条,其它数据会丢失。
>>
>>
>>  mysql内表ddl:
>>
>> create table test (id bigint primary key auto_increment , passport
>> varchar);
>>
>>
>> flink sql:
>> insert into mysql_catalog.test select 0, passport from source_table;
>>
>> 之所以select 0是表示使用物理表的自增值。

Re: sink mysql id自增表数据会丢失

Posted by Shammon FY <zj...@gmail.com>.
Hi

如果想使用mysql的自增主键,应该是在插入的时候不要写自增主键的列吧,可以在insert的时候直接指定需要插入的列试试?

On Sun, Apr 16, 2023 at 7:58 PM Jeff <zi...@126.com> wrote:

> sink数据到mysql catalog内的表时,当表只一个自增主键id无其唯一索引时,同一批写入的数据只会保存一条,其它数据会丢失。
>
>
>  mysql内表ddl:
>
> create table test (id bigint primary key auto_increment , passport
> varchar);
>
>
> flink sql:
> insert into mysql_catalog.test select 0, passport from source_table;
>
> 之所以select 0是表示使用物理表的自增值。