请教大神们关于flink-sql中数据赋值问题

[site <si...@163.com>]

看了官网的示例，发现sql中传入的值都是固定的，我有一个场景是从kafka消息队列接收查询条件，然后通过flink-sql映射hbase表进行查询并写入结果表。我使用了将消息队列映射表再join数据表的方式，回想一下这种方式很不妥，有什么好的方法实现sql入参的动态查询呢？

Re:Re:请教大神们关于flink-sql中数据赋值问题

[site <si...@163.com>]

目前用的就是流处理方式，在map function中进行的hbaseQuery，但是这种在数据量超大的情况下处理效率太差了，每次来消息都要把hbase数据全部下载一次。<br/>UDF的方式，这两天我在where条件中使用了一下，但是仍不能像处理流那样灵活使用，因为kafka流不能与hbase流进行join，所以只能处理一次流消息，毕竟流在这个场景下是作为条件输入的，感觉用flink-sql在这种场景下比较受限。
在 2020-11-07 02:37:29，"hailongwang" <18...@163.com> 写道：
>Hi si_tianqiang,
>
>
>自定义 UDF 可以解决你的问题吗？
>比如 接收 kakfa 的数据字段定义成 hbaseQuery，然后自定义 UDF 去根据 query 查询数据。
>
>
>Best，
>Hailong Wang
>
>
>
>
>在 2020-11-06 10:41:53，"site" <si...@163.com> 写道：
>>看了官网的示例，发现sql中传入的值都是固定的，我有一个场景是从kafka消息队列接收查询条件，然后通过flink-sql映射hbase表进行查询并写入结果表。我使用了将消息队列映射表再join数据表的方式，回想一下这种方式很不妥，有什么好的方法实现sql入参的动态查询呢？

Re:请教大神们关于flink-sql中数据赋值问题

[hailongwang <18...@163.com>]

Hi si_tianqiang,


自定义 UDF 可以解决你的问题吗？
比如 接收 kakfa 的数据字段定义成 hbaseQuery，然后自定义 UDF 去根据 query 查询数据。


Best，
Hailong Wang




在 2020-11-06 10:41:53，"site" <si...@163.com> 写道：
>看了官网的示例，发现sql中传入的值都是固定的，我有一个场景是从kafka消息队列接收查询条件，然后通过flink-sql映射hbase表进行查询并写入结果表。我使用了将消息队列映射表再join数据表的方式，回想一下这种方式很不妥，有什么好的方法实现sql入参的动态查询呢？