flink sql使用HepPlanner进行编译优化

[terry Huang <xw...@gmail.com>]

大佬们好，目前Flink sql使用calcite 的Volcano
Planner进行逻辑计划优化，但是我们的实践下来觉得编译时间有点长，我们准备使用HepPlanner来做优化。请问，这么做是否会带来致命问题或者flink
sql 使用Volcano planner的原因是什么呢

Re: flink sql使用HepPlanner进行编译优化

[terry Huang <xw...@gmail.com>]

flink sql的不确定性优化相比于批处理看起来是比较少的，另外我们使用的版本(flink-1.8)的实现并没有统计信息，因此我们在尝试使用
Hep Planner来提高编译速度。不知道是否会导致其它问题，比如语义变化等

Caizhi Weng <ts...@gmail.com> 于2021年7月14日周三 上午10:08写道：

> Hi！
>
> Hep planner 是一个 rule based 的 planner，较多用于确定性的优化上。Volcano planner 是一个 cost
> based 的 planner，多用于不确定性的优化（例如 join 方式的选择，build 端的选择等），需要靠统计信息等进行决策。目前 Flink
> 两者均有应用。
>
> terry Huang <xw...@gmail.com> 于2021年7月13日周二 下午7:31写道：
>
> > 大佬们好，目前Flink sql使用calcite 的Volcano
> >
> >
> Planner进行逻辑计划优化，但是我们的实践下来觉得编译时间有点长，我们准备使用HepPlanner来做优化。请问，这么做是否会带来致命问题或者flink
> > sql 使用Volcano planner的原因是什么呢
> >
>

Re: flink sql使用HepPlanner进行编译优化

[Caizhi Weng <ts...@gmail.com>]

Hi！

Hep planner 是一个 rule based 的 planner，较多用于确定性的优化上。Volcano planner 是一个 cost
based 的 planner，多用于不确定性的优化（例如 join 方式的选择，build 端的选择等），需要靠统计信息等进行决策。目前 Flink
两者均有应用。

terry Huang <xw...@gmail.com> 于2021年7月13日周二 下午7:31写道：

> 大佬们好，目前Flink sql使用calcite 的Volcano
>
> Planner进行逻辑计划优化，但是我们的实践下来觉得编译时间有点长，我们准备使用HepPlanner来做优化。请问，这么做是否会带来致命问题或者flink
> sql 使用Volcano planner的原因是什么呢
>