You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 潘建军 <jj...@icloud.com.INVALID> on 2020/11/18 03:41:07 UTC

使用jdbccatalog读取pg数据时,sql语句中的where条件没办法带到数据库执行吗?

您好!

我在使用catalog的时候,遇到以下两个问题,麻烦帮忙看看,谢谢!
1、我定义了一个pg的catalog,运行一下查询语句,在数据库捕捉到的语句没有where条件, 这会导致sql语句很慢,然后会发生OOM, 有办法解决吗?我的写法是否有问题,  看起来像是flink把整个表读出来,再java层面过滤了。
以下是我的代码:

以下是数据库跟踪到的sql:




2、我定义了一个hive的catalog和一个Pg的catalog,  想将pg的数据直接抽到hive中, 但是数据量一大,就会发现OOM,帮忙看看我的代码是否存在问题?    在执行的时候,我看hdfs的文件没有持续在写入, 看起来像要把pg都读在内存,然后都写入到hive。