You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by chanamper <ch...@163.com> on 2020/04/04 10:15:12 UTC

Flink keyby数据倾斜问题

Dear All,
    大家好，请教一下。目前针对Java Api的方式，对于Flink keyby情况存在key数据倾斜有啥实现优化思路吗？看官方文档目前在table api和sql层面，有Minibatch Aggregation和Local Global Aggregation方式的实现，针对Java Api的方式有啥办法可以达到local global aggregation的效果吗？
      多谢！

回复：Flink keyby数据倾斜问题

Posted by ch...@163.com.

多谢，我试试哈！


| |
陈建平
|
|
邮箱：chanamper@163.com
|

签名由 网易邮箱大师 定制

在2020年04月05日 22:18，戴嘉诚 写道：
你好
      可以参考一下这个链接的思路

https://blog.csdn.net/IT_Lee_J_H/article/details/88641894

发自我的iPhone

> 在 2020年4月4日，18:15，chanamper <ch...@163.com> 写道：
>
> Dear All,
>    大家好，请教一下。目前针对Java Api的方式，对于Flink keyby情况存在key数据倾斜有啥实现优化思路吗？看官方文档目前在table api和sql层面，有Minibatch Aggregation和Local Global Aggregation方式的实现，针对Java Api的方式有啥办法可以达到local global aggregation的效果吗？
>      多谢！

dayofweek异常

Posted by allanqinjy <al...@163.com>.

hi，
   在flink中使用hql函数的时候 dayofweek  报错，编译都没有通过。我的使用方式 
用yyyy-MM-dd也是一样的错误。哪位大神遇到过！
DAYOFWEEK(to_date(from_unixtime (unix_timestamp(cast(dt as string),'yyyyMMdd'),'yyyy-MM-dd HH:mm:ss')))


，Cannot apply 'EXTRACT' to arguments of type 'EXTRACT(<INTERVAL DOW> FROM <VARCHAR(2147483647)>)'. Supported form(s): 'EXTRACT(<DATETIME_INTERVAL> FROM <DATETIME_INTERVAL>)'
10-04-2020 16:26:14 CST user_visit_terminal_prefer_7d INFO - 'EXTRACT(<DATETIME_INTERVAL> FROM <DATETIME>)'
10-04-2020 16:26:14 CST user_visit_terminal_prefer_7d INFO - 	at org.apache.flink.table.planner.calcite.FlinkPlannerImpl.org$apache$flink$table$planner$calcite$FlinkPlannerImpl$$validate(FlinkPlannerImpl.scala:130)
10-04-2020 16:26:14 CST user_visit_terminal_prefer_7d INFO - 	at org.apache.flink.table.planner.calcite.FlinkPlannerImpl.validate(FlinkPlannerImpl.scala:105)

Re: Flink keyby数据倾斜问题

Posted by 戴嘉诚 <a7...@gmail.com>.

你好 
       可以参考一下这个链接的思路 

https://blog.csdn.net/IT_Lee_J_H/article/details/88641894

发自我的iPhone

> 在 2020年4月4日，18:15，chanamper <ch...@163.com> 写道：
> 
> Dear All,
>    大家好，请教一下。目前针对Java Api的方式，对于Flink keyby情况存在key数据倾斜有啥实现优化思路吗？看官方文档目前在table api和sql层面，有Minibatch Aggregation和Local Global Aggregation方式的实现，针对Java Api的方式有啥办法可以达到local global aggregation的效果吗？
>      多谢！

Re: Flink keyby数据倾斜问题

Posted by Congxian Qiu <qc...@gmail.com>.

Hi
DataStream API 暂时没有 local aggregation 的功能，不过 FLIP-44[1] 曾经打算做这个事情.
在没有这个功能的时候，可以尝试给 key 拼前缀或者后缀（首先给 key 拼一些前缀/后缀，等计算之后再把前缀/后缀去掉进行聚合）来达到类似的效果

[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-44%3A+Support+Local+Aggregation+in+Flink
Best,
Congxian


chanamper <ch...@163.com> 于2020年4月4日周六 下午6:15写道：

> Dear All,
>     大家好，请教一下。目前针对Java Api的方式，对于Flink
> keyby情况存在key数据倾斜有啥实现优化思路吗？看官方文档目前在table api和sql层面，有Minibatch
> Aggregation和Local Global Aggregation方式的实现，针对Java Api的方式有啥办法可以达到local global
> aggregation的效果吗？
>       多谢！