flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

[me <me...@lishiyu.cn>]

flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1
tableEnv.executeSql("insert into dwd_security_log select * from " + table)
实际写入hive之后，查看hdfs上写入的文件为19M,这是60秒内写入hive的，flink流式写入hive通过checkpotin来把数据刷入hive中。


请问大家只有有什么提升写入速度的参数或者方式吗？

Re: flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

[Rui Li <li...@gmail.com>]

Hi,

实时写hive有一个已知的性能问题：https://issues.apache.org/jira/browse/FLINK-19121
建议打一个这个patch再试试。

On Tue, Sep 29, 2020 at 7:12 PM Jun Zhang <82...@qq.com> wrote:

> 你的kafka的分区数是多少，把flink的并行度加大到kafka的分区数。
>
>
>
> Best&nbsp;&nbsp;Jun
>
>
> ------------------ 原始邮件 ------------------
> 发件人: me <me@lishiyu.cn&gt;
> 发送时间: 2020年9月29日 19:08
> 收件人: user-zh <user-zh@flink.apache.org&gt;
> 主题: 回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1
>
>
>
> flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1
> tableEnv.executeSql("insert into dwd_security_log select * from " + table)
>
> 实际写入hive之后，查看hdfs上写入的文件为19M,这是60秒内写入hive的，flink流式写入hive通过checkpotin来把数据刷入hive中。
>
>
> 请问大家只有有什么提升写入速度的参数或者方式吗？



-- 
Best regards!
Rui Li

回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

[Jun Zhang <82...@qq.com>]

你的kafka的分区数是多少，把flink的并行度加大到kafka的分区数。



Best  Jun


------------------ 原始邮件 ------------------
发件人: me <me@lishiyu.cn&gt;
发送时间: 2020年9月29日 19:08
收件人: user-zh <user-zh@flink.apache.org&gt;
主题: 回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1



flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1
tableEnv.executeSql("insert into dwd_security_log select * from " + table)
实际写入hive之后，查看hdfs上写入的文件为19M,这是60秒内写入hive的，flink流式写入hive通过checkpotin来把数据刷入hive中。


请问大家只有有什么提升写入速度的参数或者方式吗？