You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by Dream-底限 <zh...@akulaku.com> on 2020/07/13 03:30:53 UTC

flink sql 侧输出

hi、
大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？

Re: flink sql 侧输出

Posted by Dream-底限 <zh...@akulaku.com>.

hi、
好的，感谢

On Mon, Jul 13, 2020 at 12:07 PM Jark Wu <im...@gmail.com> wrote:

> Hi,
>
> Flink SQL/Table 目前还不支持 side output。不过有一个实验性的功能可以处理延迟数据，
> 你可以给你的作业配上:
>
> table.exec.emit.late-fire.enabled = true
> table.exec.emit.late-fire.delay = 1min
>
> 同时 TableConfig#setIdleStateRetentionTime 需要配上，表示窗口状态允许保留多久，即 window
> allowLateness 。
>
> 具体可以看下 org.apache.flink.table.planner.plan.utils.WindowEmitStrategy 这个类。
>
> Best,
> Jark
>
> On Mon, 13 Jul 2020 at 11:31, Dream-底限 <zh...@akulaku.com> wrote:
>
> > hi、
> > 大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
> > api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？
> >
>

Re: flink sql 侧输出

Posted by Jark Wu <im...@gmail.com>.

Hi,

Flink SQL/Table 目前还不支持 side output。不过有一个实验性的功能可以处理延迟数据，
你可以给你的作业配上:

table.exec.emit.late-fire.enabled = true
table.exec.emit.late-fire.delay = 1min

同时 TableConfig#setIdleStateRetentionTime 需要配上，表示窗口状态允许保留多久，即 window
allowLateness 。

具体可以看下 org.apache.flink.table.planner.plan.utils.WindowEmitStrategy 这个类。

Best,
Jark

On Mon, 13 Jul 2020 at 11:31, Dream-底限 <zh...@akulaku.com> wrote:

> hi、
> 大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
> api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？
>