You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "18765295908@163.com" <18...@163.com> on 2022/01/08 11:10:24 UTC

关于时间窗口的问题

您好:
请教一个问题,
例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。

我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。
每个key都有一个属于自己的时间窗口,不会受其他分组key的影响,并且可以为每个key的时间窗口设置一个基于数量和时间的触发器,当满足数量时触发或者时间到了触发。

经过测试发现,现在设置的时间窗口里面会有不同key的数据在一起
每个分组是否有属于自己的时间窗口。


数量窗口的逻辑是每个key都有一个属于自己key的数量窗口,
例如:设置一个数量为3的滚动窗口,输入1,2,3,4,不会触发窗口执行,但是继续输入两条1的数据,会输出三个1的数据。

请问时间窗口可以实现类似数量窗口这样的逻辑吗。

public class Test {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        DataStreamSource<String> dataSource = env.socketTextStream("localhost", 7788);
        SingleOutputStreamOperator<OrderItem> map = dataSource.map(new MapFunction<String, OrderItem>() {
            @Override
            public OrderItem map(String s) throws Exception {
                String[] split = s.split(",");
                return new OrderItem(split[0].trim(), Double.parseDouble(split[1].trim()), Long.parseLong(split[2].trim()));
            }
        });

        // 时间窗口测试代码
        SingleOutputStreamOperator<OrderItem> warter = map.assignTimestampsAndWatermarks(
                WatermarkStrategy.<OrderItem>forBoundedOutOfOrderness(Duration.ofSeconds(0))
                        .withTimestampAssigner((event, timestamp) -> event.getTimeStamp()));
        SingleOutputStreamOperator<String> timeWindow = warter.keyBy(data -> data.getOrderId())
                .window(TumblingEventTimeWindows.of(Time.seconds(5)))
                .process(new ProcessWindowFunction<OrderItem, String, String, TimeWindow>() {
                    SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

                    @Override
                    public void process(String key,
                                        ProcessWindowFunction<OrderItem, String, String, TimeWindow>.Context context,
                                        Iterable<OrderItem> iterable,
                                        Collector<String> collector) throws Exception {
                        Iterator<OrderItem> iterator = iterable.iterator();
                        StringBuilder sb = new StringBuilder();
                        sb.append("key -> " + key + "窗口开始时间:" + sdf.format(new Date(context.window().getStart())) + "\t\n");
                        while (iterator.hasNext()) {
                            OrderItem next = iterator.next();
                            sb.append(next + "\t\n");
                        }
                        sb.append("窗口结束时间:" + sdf.format(new Date(context.window().getEnd())));
                        collector.collect(sb.toString());
                    }
                });

        timeWindow.print();
        env.execute();

    }
}

Re: 关于时间窗口的问题

Posted by "18703416172@163.com" <18...@163.com>.
你好,我理解你的意思了。
可以看下 flink-cep 相关内容, 利用模式匹配去实现

> 2022年1月8日 下午7:10,18765295908@163.com 写道:
> 
> 您好:
> 请教一个问题,
> 例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。
> 
> 我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。
> 每个key都有一个属于自己的时间窗口,不会受其他分组key的影响,并且可以为每个key的时间窗口设置一个基于数量和时间的触发器,当满足数量时触发或者时间到了触发。
> 
> 经过测试发现,现在设置的时间窗口里面会有不同key的数据在一起
> 每个分组是否有属于自己的时间窗口。
> 
> 
> 数量窗口的逻辑是每个key都有一个属于自己key的数量窗口,
> 例如:设置一个数量为3的滚动窗口,输入1,2,3,4,不会触发窗口执行,但是继续输入两条1的数据,会输出三个1的数据。
> 
> 请问时间窗口可以实现类似数量窗口这样的逻辑吗。
> 
> public class Test {
>    public static void main(String[] args) throws Exception {
>        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>        env.setParallelism(1);
>        DataStreamSource<String> dataSource = env.socketTextStream("localhost", 7788);
>        SingleOutputStreamOperator<OrderItem> map = dataSource.map(new MapFunction<String, OrderItem>() {
>            @Override
>            public OrderItem map(String s) throws Exception {
>                String[] split = s.split(",");
>                return new OrderItem(split[0].trim(), Double.parseDouble(split[1].trim()), Long.parseLong(split[2].trim()));
>            }
>        });
> 
>        // 时间窗口测试代码
>        SingleOutputStreamOperator<OrderItem> warter = map.assignTimestampsAndWatermarks(
>                WatermarkStrategy.<OrderItem>forBoundedOutOfOrderness(Duration.ofSeconds(0))
>                        .withTimestampAssigner((event, timestamp) -> event.getTimeStamp()));
>        SingleOutputStreamOperator<String> timeWindow = warter.keyBy(data -> data.getOrderId())
>                .window(TumblingEventTimeWindows.of(Time.seconds(5)))
>                .process(new ProcessWindowFunction<OrderItem, String, String, TimeWindow>() {
>                    SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
> 
>                    @Override
>                    public void process(String key,
>                                        ProcessWindowFunction<OrderItem, String, String, TimeWindow>.Context context,
>                                        Iterable<OrderItem> iterable,
>                                        Collector<String> collector) throws Exception {
>                        Iterator<OrderItem> iterator = iterable.iterator();
>                        StringBuilder sb = new StringBuilder();
>                        sb.append("key -> " + key + "窗口开始时间:" + sdf.format(new Date(context.window().getStart())) + "\t\n");
>                        while (iterator.hasNext()) {
>                            OrderItem next = iterator.next();
>                            sb.append(next + "\t\n");
>                        }
>                        sb.append("窗口结束时间:" + sdf.format(new Date(context.window().getEnd())));
>                        collector.collect(sb.toString());
>                    }
>                });
> 
>        timeWindow.print();
>        env.execute();
> 
>    }
> }


Re: flink sql 如何提高下游并发度?

Posted by chang li <li...@gmail.com>.
可以的,提供一个思路,读取了kafka的数据后,直接输出原生的字节流后,接一层map算子做序列化相关工作,map算子的并发度你可以自己控制,这样kafka拉取就不会是瓶颈,大量的计算工作放到了map中,而map的并发度是可以自己控制的

Caizhi Weng <ts...@gmail.com> 于2022年1月11日周二 11:11写道:

> Hi!
>
> 可以设置 parallelism.default 为需要的并发数。
>
> Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
>
> > 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
>

回复: flink sql 如何提高下游并发度?

Posted by JasonLee <17...@163.com>.
hi


是 10 目前 source 还不支持单独设置并发度,但是 sink 是支持的,当然如果没有单独设置的话 sink 也是 10


Best
JasonLee


在2022年01月11日 16:52,RS<ti...@163.com> 写道:
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source是10的话,那还有7个线程就空闲了?



在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
Hi!

可以设置 parallelism.default 为需要的并发数。

Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:

当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

Re: 回复: flink sql 如何提高下游并发度?

Posted by venn <wx...@163.com>.
flink 1.12 及以上版本  sql kafka sink 支持参数: sink.parallelism  指定 sink 
的并行度

On 2022/1/11 17:06, 许友昌 wrote:
> hi,
>
>
> 设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。
>
> 在2022年1月11日 16:53,RS<ti...@163.com> 写道:
> Hi,
> 请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
> 如果source是10的话,那还有7个线程就空闲了?
>
>
>
> 在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
> Hi!
>
> 可以设置 parallelism.default 为需要的并发数。
>
> Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
>
> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?


回复: flink sql 如何提高下游并发度?

Posted by 许友昌 <18...@163.com>.
hi,


设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。 

在2022年1月11日 16:53,RS<ti...@163.com> 写道:
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source是10的话,那还有7个线程就空闲了?



在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
Hi!

可以设置 parallelism.default 为需要的并发数。

Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:

当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

Re:Re: flink sql 如何提高下游并发度?

Posted by RS <ti...@163.com>.
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source是10的话,那还有7个线程就空闲了?



在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
>Hi!
>
>可以设置 parallelism.default 为需要的并发数。
>
>Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
>
>> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

Re: flink sql 如何提高下游并发度?

Posted by Caizhi Weng <ts...@gmail.com>.
Hi!

可以设置 parallelism.default 为需要的并发数。

Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:

> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

Re: flink sql 如何提高下游并发度?

Posted by Chang Li <li...@gmail.com>.
可以的,提供一个思路,读取了kafka的数据后,直接输出原生的字节流后,接一层map算子做序列化相关工作,map算子的并发度你可以自己控制,这样kafka拉取就不会是瓶颈,大量的计算工作放到了map中,而map的并发度是可以自己控制的

Jeff <zi...@126.com> 于2022年1月9日周日 19:45写道:

> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

flink sql 如何提高下游并发度?

Posted by Jeff <zi...@126.com>.
当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?