Flink SQL 1.12 批量数据导入，如果加速性能

[WuKong <wu...@foxmail.com>]

Hi：
    我目前有个场景， 需要通过基于Flink SQL 进行历史数据导入， 比如Source 端是一张MYSQL 表， Sink端 也是一张MSYQL 表， 我通过Flink SQL 无论怎么加大并行度， 都是单并行度导入，速率很慢， 请问有什么需要配置的吗？ 或者其他解决方案 可以基于SQL进行大批量数据导入，数十亿量级。



---
Best,
WuKong

Re: Re: Flink SQL 1.12 批量数据导入，如果加速性能

[WuKong <wu...@foxmail.com>]

Hi：
 就是最简单的 定义一个Source table 一个Sink table 相同的Schema , 比如 insert into tableB select * from tableA ; 执行启8个并行度的话， 会有个7个并行度是Finish 状态 只有一个 在串行的导入数据， 其中schema 例如：


CREATE TABLE tableA  (
columnOne STRING,
columnTwo BIGINT,
PRIMARY KEY (`columnTwo `) NOT ENFORCED
) WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:mysql://xxxxx/xxxx?useUnicode=true&characterEncoding=UTF-8',
  'table-name' = 'table-name',
  'username' = 'xxx',
  'password' = 'xxx',
  'driver' = 'com.mysql.jdbc.Driver'
);


CREATE TABLE tableB  (
columnOne STRING,
columnTwo BIGINT,
PRIMARY KEY (`columnTwo `) NOT ENFORCED
) WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:mysql://xxxxx/xxxx?useUnicode=true&characterEncoding=UTF-8',
  'table-name' = 'table-name',
  'username' = 'xxx',
  'password' = 'xxx',
  'driver' = 'com.mysql.jdbc.Driver'
);



---
Best,
WuKong
 
发件人： Caizhi Weng
发送时间： 2021-10-26 12:43
收件人： flink中文邮件组
主题： Re: Flink SQL 1.12 批量数据导入，如果加速性能
Hi！
 
我通过 Flink SQL 无论怎么加大并行度， 都是单并行度导入
 
 
你是如何加大并行度的？除 source 外其他节点也是单并行度吗，还是说可以成功加大？能否分享一下你的 SQL 便于解答？
 
WuKong <wu...@foxmail.com> 于2021年10月26日周二 上午11:36写道：
 
> Hi：
>     我目前有个场景， 需要通过基于Flink SQL 进行历史数据导入， 比如Source 端是一张MYSQL 表， Sink端
> 也是一张MSYQL 表， 我通过Flink SQL 无论怎么加大并行度， 都是单并行度导入，速率很慢， 请问有什么需要配置的吗？ 或者其他解决方案
> 可以基于SQL进行大批量数据导入，数十亿量级。
>
>
>
> ---
> Best,
> WuKong
>

Re: Flink SQL 1.12 批量数据导入，如果加速性能

[Caizhi Weng <ts...@gmail.com>]

Hi！

我通过 Flink SQL 无论怎么加大并行度， 都是单并行度导入


你是如何加大并行度的？除 source 外其他节点也是单并行度吗，还是说可以成功加大？能否分享一下你的 SQL 便于解答？

WuKong <wu...@foxmail.com> 于2021年10月26日周二 上午11:36写道：

> Hi：
>     我目前有个场景， 需要通过基于Flink SQL 进行历史数据导入， 比如Source 端是一张MYSQL 表， Sink端
> 也是一张MSYQL 表， 我通过Flink SQL 无论怎么加大并行度， 都是单并行度导入，速率很慢， 请问有什么需要配置的吗？ 或者其他解决方案
> 可以基于SQL进行大批量数据导入，数十亿量级。
>
>
>
> ---
> Best,
> WuKong
>