You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by 小学生 <20...@qq.com> on 2020/10/19 05:19:34 UTC

pyflink下同时读查mysql优化求助

各位大佬，我现在通过pyflink实时将kafka的消息获取，一条线直接进入mysql，另一条线通过udf去查该mysql的历史数据进行计算，当数据量达到1百万的时候，性能就下降了。怎么优化呢

Re:pyflink下同时读查mysql优化求助

Posted by hailongwang <18...@163.com>.

Hi，
  我理解主要是在写入或者查询的网络IO上。对于写入的化，可以批量写入，减少网络IO。
查询的话，如果数据特点比较适合做缓存的话，可以增加 LRU 缓存，异步查询等。
Best，
Hailong Wang
在 2020-10-19 12:19:34，"小学生" <20...@qq.com> 写道：
>各位大佬，我现在通过pyflink实时将kafka的消息获取，一条线直接进入mysql，另一条线通过udf去查该mysql的历史数据进行计算，当数据量达到1百万的时候，性能就下降了。怎么优化呢