You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 孙冬燕 <su...@alibaba-inc.com.INVALID> on 2023/03/24 02:58:25 UTC
回复：flink写入mysql数据异常
退订
------------------------------------------------------------------
发件人：小昌同学 <cc...@163.com>
发送时间：2023年3月24日(星期五) 10:57
收件人：user-zh <us...@flink.apache.org>
抄 送：user-zh <us...@flink.apache.org>
主 题：回复： flink写入mysql数据异常
您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
谢谢大佬的指导
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Jane Chan<qi...@gmail.com> |
| 发送日期 | 2023年3月23日 20:40 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink写入mysql数据异常 |
附件还是没有收到哦.
Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [,
column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1]
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries <https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries >
On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 <cc...@163.com> wrote:
您好，我刚刚重新上传了附件；是的，Flink
SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导
小昌同学
ccc0606fighting@163.com
<https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> <https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> >
---- 回复的原邮件 ----
发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
发送日期 2023年3月23日 15:42
收件人 <us...@flink.apache.org> <us...@flink.apache.org>
主题 Re: flink写入mysql数据异常
Hi,
没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的 DDL 声明主键,
并且与数据库中物理表主键保持一致. 可以参考 [1].
[1]
https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86 <https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86 >
On Thu, Mar 23, 2023 at 2:54 PM 小昌同学 <cc...@163.com> wrote:
大佬，你好，代码上传在附件中了；
就是我想实现flink sql写MySQL时能支持update吗 类似ON DUPLICATE KEY UPDATE 的语法？
小昌同学
ccc0606fighting@163.com
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D <https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D >
---- 回复的原邮件 ----
发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
发送日期 2023年3月23日 14:23
收件人 <us...@flink.apache.org> <us...@flink.apache.org>
主题 Re: flink写入mysql数据异常
可以把完整 SQL 发出来看看
祝好!
Jane
On Thu, Mar 23, 2023 at 1:39 PM 小昌同学 <cc...@163.com> wrote:
使用flink
sql多表关联实时的将数据写入到mysql，mysql中定义了联合主键，查看日志发现为啥相同的数据插入到mysql表中，一条是insert
,另外一条是delete啊，我想实现的是upsert，这样该怎么操作啊
| |
小昌同学
|
|
ccc0606fighting@163.com
|
Re: flink写入mysql数据异常
Posted by Shammon FY <zj...@gmail.com>.
Hi
退订发送邮件到 user-zh-unsubscribe@flink.apache.org
On Fri, Mar 24, 2023 at 1:23 PM 孙冬燕 <su...@alibaba-inc.com.invalid> wrote:
> 退订
> ------------------------------------------------------------------
> 发件人：小昌同学 <cc...@163.com>
> 发送时间：2023年3月24日(星期五) 13:22
> 收件人：user-zh <us...@flink.apache.org>
> 抄 送：user-zh <us...@flink.apache.org>
> 主 题：回复： flink写入mysql数据异常
> 好滴呀，谢谢您的建议；
>
> https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP#
> <
> https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP#
> > 邀请你共同编辑文档《Flink SQL写入到mysql的问题》
> 我创建了一个语雀，我将代码以及问题都写在文档里了，麻烦大佬们帮忙看一下问题呀
> | |
> 小昌同学
> |
> |
> ccc0606fighting@163.com
> |
> ---- 回复的原邮件 ----
> | 发件人 | Shammon FY<zj...@gmail.com> |
> | 发送日期 | 2023年3月24日 13:08 |
> | 收件人 | <us...@flink.apache.org> |
> | 主题 | Re: flink写入mysql数据异常 |
> Hi
> 你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里
> Best,
> Shammon FY
> On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕 <su...@alibaba-inc.com.invalid>
> wrote:
> 退订
> ------------------------------------------------------------------
> 发件人：小昌同学 <cc...@163.com>
> 发送时间：2023年3月24日(星期五) 10:57
> 收件人：user-zh <us...@flink.apache.org>
> 抄 送：user-zh <us...@flink.apache.org>
> 主 题：回复： flink写入mysql数据异常
> 您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
> 您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
> 谢谢大佬的指导
> | |
> 小昌同学
> |
> |
> ccc0606fighting@163.com
> |
> ---- 回复的原邮件 ----
> | 发件人 | Jane Chan<qi...@gmail.com> |
> | 发送日期 | 2023年3月23日 20:40 |
> | 收件人 | <us...@flink.apache.org> |
> | 主题 | Re: flink写入mysql数据异常 |
> 附件还是没有收到哦.
> Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [,
> column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1]
> [1]
>
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
> <
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
> >
> <
>
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
> <
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
> >
> On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 <cc...@163.com> wrote:
> 您好，我刚刚重新上传了附件；是的，Flink
> SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导
> 小昌同学
> ccc0606fighting@163.com
> <
>
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
> <
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
> >
> <
>
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
> <
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
> >
> ---- 回复的原邮件 ----
> 发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
> 发送日期 2023年3月23日 15:42
> 收件人 <us...@flink.apache.org> <us...@flink.apache.org>
> 主题 Re: flink写入mysql数据异常
> Hi,
> 没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的 DDL 声明主键,
> 并且与数据库中物理表主键保持一致. 可以参考 [1].
> [1]
>
> https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
> <
> https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
> >
> <
>
> https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
> <
> https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
> >
> On Thu, Mar 23, 2023 at 2:54 PM 小昌同学 <cc...@163.com> wrote:
> 大佬，你好，代码上传在附件中了；
> 就是我想实现flink sql写MySQL时能支持update吗 类似ON DUPLICATE KEY UPDATE 的语法？
> 小昌同学
> ccc0606fighting@163.com
> <
>
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
> <
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
> >
> <
>
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
> <
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
> >
> ---- 回复的原邮件 ----
> 发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
> 发送日期 2023年3月23日 14:23
> 收件人 <us...@flink.apache.org> <us...@flink.apache.org>
> 主题 Re: flink写入mysql数据异常
> 可以把完整 SQL 发出来看看
> 祝好!
> Jane
> On Thu, Mar 23, 2023 at 1:39 PM 小昌同学 <cc...@163.com> wrote:
> 使用flink
> sql多表关联实时的将数据写入到mysql，mysql中定义了联合主键，查看日志发现为啥相同的数据插入到mysql表中，一条是insert
> ,另外一条是delete啊，我想实现的是upsert，这样该怎么操作啊
> | |
> 小昌同学
> |
> |
> ccc0606fighting@163.com
> |
>
回复：flink写入mysql数据异常
Posted by 孙冬燕 <su...@alibaba-inc.com.INVALID>.
退订
------------------------------------------------------------------
发件人：小昌同学 <cc...@163.com>
发送时间：2023年3月24日(星期五) 13:22
收件人：user-zh <us...@flink.apache.org>
抄 送：user-zh <us...@flink.apache.org>
主 题：回复： flink写入mysql数据异常
好滴呀，谢谢您的建议；
https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP# <https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP# > 邀请你共同编辑文档《Flink SQL写入到mysql的问题》
我创建了一个语雀，我将代码以及问题都写在文档里了，麻烦大佬们帮忙看一下问题呀
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Shammon FY<zj...@gmail.com> |
| 发送日期 | 2023年3月24日 13:08 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink写入mysql数据异常 |
Hi
你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里
Best,
Shammon FY
On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕 <su...@alibaba-inc.com.invalid>
wrote:
退订
------------------------------------------------------------------
发件人：小昌同学 <cc...@163.com>
发送时间：2023年3月24日(星期五) 10:57
收件人：user-zh <us...@flink.apache.org>
抄 送：user-zh <us...@flink.apache.org>
主 题：回复： flink写入mysql数据异常
您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
谢谢大佬的指导
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Jane Chan<qi...@gmail.com> |
| 发送日期 | 2023年3月23日 20:40 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink写入mysql数据异常 |
附件还是没有收到哦.
Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [,
column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1]
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries <https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries >
<
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries <https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries >
On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 <cc...@163.com> wrote:
您好，我刚刚重新上传了附件；是的，Flink
SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导
小昌同学
ccc0606fighting@163.com
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> <https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> >
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> <https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> >
---- 回复的原邮件 ----
发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
发送日期 2023年3月23日 15:42
收件人 <us...@flink.apache.org> <us...@flink.apache.org>
主题 Re: flink写入mysql数据异常
Hi,
没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的 DDL 声明主键,
并且与数据库中物理表主键保持一致. 可以参考 [1].
[1]
https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86 <https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86 >
<
https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86 <https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86 >
On Thu, Mar 23, 2023 at 2:54 PM 小昌同学 <cc...@163.com> wrote:
大佬，你好，代码上传在附件中了；
就是我想实现flink sql写MySQL时能支持update吗 类似ON DUPLICATE KEY UPDATE 的语法？
小昌同学
ccc0606fighting@163.com
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D <https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D >
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D <https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D >
---- 回复的原邮件 ----
发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
发送日期 2023年3月23日 14:23
收件人 <us...@flink.apache.org> <us...@flink.apache.org>
主题 Re: flink写入mysql数据异常
可以把完整 SQL 发出来看看
祝好!
Jane
On Thu, Mar 23, 2023 at 1:39 PM 小昌同学 <cc...@163.com> wrote:
使用flink
sql多表关联实时的将数据写入到mysql，mysql中定义了联合主键，查看日志发现为啥相同的数据插入到mysql表中，一条是insert
,另外一条是delete啊，我想实现的是upsert，这样该怎么操作啊
| |
小昌同学
|
|
ccc0606fighting@163.com
|
回复： flink写入mysql数据异常
Posted by 小昌同学 <cc...@163.com>.
好滴呀，谢谢您的建议；
https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP# 邀请你共同编辑文档《Flink SQL写入到mysql的问题》
我创建了一个语雀，我将代码以及问题都写在文档里了，麻烦大佬们帮忙看一下问题呀
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Shammon FY<zj...@gmail.com> |
| 发送日期 | 2023年3月24日 13:08 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink写入mysql数据异常 |
Hi
你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里
Best,
Shammon FY
On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕 <su...@alibaba-inc.com.invalid>
wrote:
退订
------------------------------------------------------------------
发件人：小昌同学 <cc...@163.com>
发送时间：2023年3月24日(星期五) 10:57
收件人：user-zh <us...@flink.apache.org>
抄 送：user-zh <us...@flink.apache.org>
主 题：回复： flink写入mysql数据异常
您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
谢谢大佬的指导
| |
小昌同学
|
|
ccc0606fighting@163.com
|
---- 回复的原邮件 ----
| 发件人 | Jane Chan<qi...@gmail.com> |
| 发送日期 | 2023年3月23日 20:40 |
| 收件人 | <us...@flink.apache.org> |
| 主题 | Re: flink写入mysql数据异常 |
附件还是没有收到哦.
Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [,
column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1]
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
<
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 <cc...@163.com> wrote:
您好，我刚刚重新上传了附件；是的，Flink
SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导
小昌同学
ccc0606fighting@163.com
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
---- 回复的原邮件 ----
发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
发送日期 2023年3月23日 15:42
收件人 <us...@flink.apache.org> <us...@flink.apache.org>
主题 Re: flink写入mysql数据异常
Hi,
没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的 DDL 声明主键,
并且与数据库中物理表主键保持一致. 可以参考 [1].
[1]
https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
<
https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
On Thu, Mar 23, 2023 at 2:54 PM 小昌同学 <cc...@163.com> wrote:
大佬，你好，代码上传在附件中了；
就是我想实现flink sql写MySQL时能支持update吗 类似ON DUPLICATE KEY UPDATE 的语法？
小昌同学
ccc0606fighting@163.com
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
<
https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
---- 回复的原邮件 ----
发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
发送日期 2023年3月23日 14:23
收件人 <us...@flink.apache.org> <us...@flink.apache.org>
主题 Re: flink写入mysql数据异常
可以把完整 SQL 发出来看看
祝好!
Jane
On Thu, Mar 23, 2023 at 1:39 PM 小昌同学 <cc...@163.com> wrote:
使用flink
sql多表关联实时的将数据写入到mysql，mysql中定义了联合主键，查看日志发现为啥相同的数据插入到mysql表中，一条是insert
,另外一条是delete啊，我想实现的是upsert，这样该怎么操作啊
| |
小昌同学
|
|
ccc0606fighting@163.com
|
Re: flink写入mysql数据异常
Posted by Shammon FY <zj...@gmail.com>.
Hi
你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里
Best,
Shammon FY
On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕 <su...@alibaba-inc.com.invalid>
wrote:
> 退订
> ------------------------------------------------------------------
> 发件人：小昌同学 <cc...@163.com>
> 发送时间：2023年3月24日(星期五) 10:57
> 收件人：user-zh <us...@flink.apache.org>
> 抄 送：user-zh <us...@flink.apache.org>
> 主 题：回复： flink写入mysql数据异常
> 您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
> 您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
> 谢谢大佬的指导
> | |
> 小昌同学
> |
> |
> ccc0606fighting@163.com
> |
> ---- 回复的原邮件 ----
> | 发件人 | Jane Chan<qi...@gmail.com> |
> | 发送日期 | 2023年3月23日 20:40 |
> | 收件人 | <us...@flink.apache.org> |
> | 主题 | Re: flink写入mysql数据异常 |
> 附件还是没有收到哦.
> Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [,
> column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1]
> [1]
>
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
> <
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
> >
> On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 <cc...@163.com> wrote:
> 您好，我刚刚重新上传了附件；是的，Flink
> SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导
> 小昌同学
> ccc0606fighting@163.com
> <
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
> <
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D>
> >
> ---- 回复的原邮件 ----
> 发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
> 发送日期 2023年3月23日 15:42
> 收件人 <us...@flink.apache.org> <us...@flink.apache.org>
> 主题 Re: flink写入mysql数据异常
> Hi,
> 没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的 DDL 声明主键,
> 并且与数据库中物理表主键保持一致. 可以参考 [1].
> [1]
>
> https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
> <
> https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
> >
> On Thu, Mar 23, 2023 at 2:54 PM 小昌同学 <cc...@163.com> wrote:
> 大佬，你好，代码上传在附件中了；
> 就是我想实现flink sql写MySQL时能支持update吗 类似ON DUPLICATE KEY UPDATE 的语法？
> 小昌同学
> ccc0606fighting@163.com
> <
>
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
> <
> https://dashi.163.com/projects/signature-manager/detail/index.html?ftlId=1&name=%E5%B0%8F%E6%98%8C%E5%90%8C%E5%AD%A6&uid=ccc0606fighting%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D
> >
> ---- 回复的原邮件 ----
> 发件人 Jane Chan<qi...@gmail.com> <qi...@gmail.com>
> 发送日期 2023年3月23日 14:23
> 收件人 <us...@flink.apache.org> <us...@flink.apache.org>
> 主题 Re: flink写入mysql数据异常
> 可以把完整 SQL 发出来看看
> 祝好!
> Jane
> On Thu, Mar 23, 2023 at 1:39 PM 小昌同学 <cc...@163.com> wrote:
> 使用flink
> sql多表关联实时的将数据写入到mysql，mysql中定义了联合主键，查看日志发现为啥相同的数据插入到mysql表中，一条是insert
> ,另外一条是delete啊，我想实现的是upsert，这样该怎么操作啊
> | |
> 小昌同学
> |
> |
> ccc0606fighting@163.com
> |
>