You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "18765295908@163.com" <18...@163.com> on 2022/01/08 11:10:24 UTC
关于时间窗口的问题
您好:
请教一个问题,
例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。
我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。
每个key都有一个属于自己的时间窗口,不会受其他分组key的影响,并且可以为每个key的时间窗口设置一个基于数量和时间的触发器,当满足数量时触发或者时间到了触发。
经过测试发现,现在设置的时间窗口里面会有不同key的数据在一起
每个分组是否有属于自己的时间窗口。
数量窗口的逻辑是每个key都有一个属于自己key的数量窗口,
例如:设置一个数量为3的滚动窗口,输入1,2,3,4,不会触发窗口执行,但是继续输入两条1的数据,会输出三个1的数据。
请问时间窗口可以实现类似数量窗口这样的逻辑吗。
public class Test {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStreamSource<String> dataSource = env.socketTextStream("localhost", 7788);
SingleOutputStreamOperator<OrderItem> map = dataSource.map(new MapFunction<String, OrderItem>() {
@Override
public OrderItem map(String s) throws Exception {
String[] split = s.split(",");
return new OrderItem(split[0].trim(), Double.parseDouble(split[1].trim()), Long.parseLong(split[2].trim()));
}
});
// 时间窗口测试代码
SingleOutputStreamOperator<OrderItem> warter = map.assignTimestampsAndWatermarks(
WatermarkStrategy.<OrderItem>forBoundedOutOfOrderness(Duration.ofSeconds(0))
.withTimestampAssigner((event, timestamp) -> event.getTimeStamp()));
SingleOutputStreamOperator<String> timeWindow = warter.keyBy(data -> data.getOrderId())
.window(TumblingEventTimeWindows.of(Time.seconds(5)))
.process(new ProcessWindowFunction<OrderItem, String, String, TimeWindow>() {
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
@Override
public void process(String key,
ProcessWindowFunction<OrderItem, String, String, TimeWindow>.Context context,
Iterable<OrderItem> iterable,
Collector<String> collector) throws Exception {
Iterator<OrderItem> iterator = iterable.iterator();
StringBuilder sb = new StringBuilder();
sb.append("key -> " + key + "窗口开始时间:" + sdf.format(new Date(context.window().getStart())) + "\t\n");
while (iterator.hasNext()) {
OrderItem next = iterator.next();
sb.append(next + "\t\n");
}
sb.append("窗口结束时间:" + sdf.format(new Date(context.window().getEnd())));
collector.collect(sb.toString());
}
});
timeWindow.print();
env.execute();
}
}
Re: 关于时间窗口的问题
Posted by "18703416172@163.com" <18...@163.com>.
你好,我理解你的意思了。
可以看下 flink-cep 相关内容, 利用模式匹配去实现
> 2022年1月8日 下午7:10,18765295908@163.com 写道:
>
> 您好:
> 请教一个问题,
> 例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。
>
> 我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。
> 每个key都有一个属于自己的时间窗口,不会受其他分组key的影响,并且可以为每个key的时间窗口设置一个基于数量和时间的触发器,当满足数量时触发或者时间到了触发。
>
> 经过测试发现,现在设置的时间窗口里面会有不同key的数据在一起
> 每个分组是否有属于自己的时间窗口。
>
>
> 数量窗口的逻辑是每个key都有一个属于自己key的数量窗口,
> 例如:设置一个数量为3的滚动窗口,输入1,2,3,4,不会触发窗口执行,但是继续输入两条1的数据,会输出三个1的数据。
>
> 请问时间窗口可以实现类似数量窗口这样的逻辑吗。
>
> public class Test {
> public static void main(String[] args) throws Exception {
> StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
> env.setParallelism(1);
> DataStreamSource<String> dataSource = env.socketTextStream("localhost", 7788);
> SingleOutputStreamOperator<OrderItem> map = dataSource.map(new MapFunction<String, OrderItem>() {
> @Override
> public OrderItem map(String s) throws Exception {
> String[] split = s.split(",");
> return new OrderItem(split[0].trim(), Double.parseDouble(split[1].trim()), Long.parseLong(split[2].trim()));
> }
> });
>
> // 时间窗口测试代码
> SingleOutputStreamOperator<OrderItem> warter = map.assignTimestampsAndWatermarks(
> WatermarkStrategy.<OrderItem>forBoundedOutOfOrderness(Duration.ofSeconds(0))
> .withTimestampAssigner((event, timestamp) -> event.getTimeStamp()));
> SingleOutputStreamOperator<String> timeWindow = warter.keyBy(data -> data.getOrderId())
> .window(TumblingEventTimeWindows.of(Time.seconds(5)))
> .process(new ProcessWindowFunction<OrderItem, String, String, TimeWindow>() {
> SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
>
> @Override
> public void process(String key,
> ProcessWindowFunction<OrderItem, String, String, TimeWindow>.Context context,
> Iterable<OrderItem> iterable,
> Collector<String> collector) throws Exception {
> Iterator<OrderItem> iterator = iterable.iterator();
> StringBuilder sb = new StringBuilder();
> sb.append("key -> " + key + "窗口开始时间:" + sdf.format(new Date(context.window().getStart())) + "\t\n");
> while (iterator.hasNext()) {
> OrderItem next = iterator.next();
> sb.append(next + "\t\n");
> }
> sb.append("窗口结束时间:" + sdf.format(new Date(context.window().getEnd())));
> collector.collect(sb.toString());
> }
> });
>
> timeWindow.print();
> env.execute();
>
> }
> }
Re: flink sql 如何提高下游并发度?
Posted by chang li <li...@gmail.com>.
可以的,提供一个思路,读取了kafka的数据后,直接输出原生的字节流后,接一层map算子做序列化相关工作,map算子的并发度你可以自己控制,这样kafka拉取就不会是瓶颈,大量的计算工作放到了map中,而map的并发度是可以自己控制的
Caizhi Weng <ts...@gmail.com> 于2022年1月11日周二 11:11写道:
> Hi!
>
> 可以设置 parallelism.default 为需要的并发数。
>
> Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
>
> > 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
>
回复: flink sql 如何提高下游并发度?
Posted by JasonLee <17...@163.com>.
hi
是 10 目前 source 还不支持单独设置并发度,但是 sink 是支持的,当然如果没有单独设置的话 sink 也是 10
Best
JasonLee
在2022年01月11日 16:52,RS<ti...@163.com> 写道:
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source是10的话,那还有7个线程就空闲了?
在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
Hi!
可以设置 parallelism.default 为需要的并发数。
Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re: 回复: flink sql 如何提高下游并发度?
Posted by venn <wx...@163.com>.
flink 1.12 及以上版本 sql kafka sink 支持参数: sink.parallelism 指定 sink
的并行度
On 2022/1/11 17:06, 许友昌 wrote:
> hi,
>
>
> 设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。
>
> 在2022年1月11日 16:53,RS<ti...@163.com> 写道:
> Hi,
> 请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
> 如果source是10的话,那还有7个线程就空闲了?
>
>
>
> 在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
> Hi!
>
> 可以设置 parallelism.default 为需要的并发数。
>
> Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
>
> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
回复: flink sql 如何提高下游并发度?
Posted by 许友昌 <18...@163.com>.
hi,
设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。
在2022年1月11日 16:53,RS<ti...@163.com> 写道:
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source是10的话,那还有7个线程就空闲了?
在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
Hi!
可以设置 parallelism.default 为需要的并发数。
Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re:Re: flink sql 如何提高下游并发度?
Posted by RS <ti...@163.com>.
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source是10的话,那还有7个线程就空闲了?
在 2022-01-11 11:10:41,"Caizhi Weng" <ts...@gmail.com> 写道:
>Hi!
>
>可以设置 parallelism.default 为需要的并发数。
>
>Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
>
>> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re: flink sql 如何提高下游并发度?
Posted by Caizhi Weng <ts...@gmail.com>.
Hi!
可以设置 parallelism.default 为需要的并发数。
Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道:
> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re: flink sql 如何提高下游并发度?
Posted by Chang Li <li...@gmail.com>.
可以的,提供一个思路,读取了kafka的数据后,直接输出原生的字节流后,接一层map算子做序列化相关工作,map算子的并发度你可以自己控制,这样kafka拉取就不会是瓶颈,大量的计算工作放到了map中,而map的并发度是可以自己控制的
Jeff <zi...@126.com> 于2022年1月9日周日 19:45写道:
> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
flink sql 如何提高下游并发度?
Posted by Jeff <zi...@126.com>.
当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?