【Windowing TVF】 GROUP BY window_start, window_end 没有输出

[wei_yuze <we...@qq.com.INVALID>]

您好！




我在使用Windowing table-valued functions (Windowing TVFs) 的时候，GROUP BY 中一旦加上 window_start, window_end 就没有输出，但也不报错。请问有哪位大佬知道是什么原因吗？

Lucas

Re:Flink Kafka Sink时间戳异常

[haishui <ha...@126.com>]

hi，


这个问题是因为经过窗口算子后StreamRecord中指定的时间时间戳被改成了window.maxTimestamp()，可以查看[1]中WindowOperator或EvictingWindowOperator中的emitWindowContents方法。


如果想要更改时间戳，可以实现一个ProcessFuncton
TimestampedCollector<T> collector = (TimestampedCollector<T>) out;
collector.setAbsoluteTimestamp(   <value.getTimestampField()>   );
collector.collect(value);


如果可以接受kafka内数据使用插入时间，则可以设置topic的log.message.timestamp.type=LogAppendTime







[1] https://github.com/apache/flink/tree/edac2adb9523adcb69e1dacc5fd4ea8f63480175/flink-streaming-java/src/main/java/org/apache/flink/streaming/runtime/operators/windowing








在 2023-02-27 18:03:38，"aiden" <18...@163.com> 写道：
>
>hi，我在使用1.16.0版本时遇到kafka sink 时间戳异常大的情况，以下分别为正常和异常数据
>正常：
>{
>      "partition": 0,
>      "offset": 16,
>      "msg": "xxxxx",
>      "timespan": 1677487065330,
>      "date": "2023-02-27 16:37:45"
>    }
>异常：
>    {
>      "partition": 0,
>      "offset": 17,
>      "msg": "xxxxxx",
>      "timespan": 9223372036854776000,
>      "date": "292278994-08-17 15:12:55"
>    }
>最终发现是由于使用了countWindow算子导致的，推测是由于这个算子窗口为GlobalWindow导致的，有什么方式可以避免这个异常吗？或者可以在序列化kafka sink时手动指定时间戳吗？

Flink Kafka Sink时间戳异常

[aiden <18...@163.com>]

hi，我在使用1.16.0版本时遇到kafka sink 时间戳异常大的情况，以下分别为正常和异常数据
正常：
{
      "partition": 0,
      "offset": 16,
      "msg": "xxxxx",
      "timespan": 1677487065330,
      "date": "2023-02-27 16:37:45"
    }
异常：
    {
      "partition": 0,
      "offset": 17,
      "msg": "xxxxxx",
      "timespan": 9223372036854776000,
      "date": "292278994-08-17 15:12:55"
    }
最终发现是由于使用了countWindow算子导致的，推测是由于这个算子窗口为GlobalWindow导致的，有什么方式可以避免这个异常吗？或者可以在序列化kafka sink时手动指定时间戳吗？

Re: 【Windowing TVF】 GROUP BY window_start, window_end 没有输出

[Weihua Hu <hu...@gmail.com>]

Hi,
可以详细描述下你的使用 case 吗？用的 SQL 语句是什么样子的


Best,
Weihua


On Mon, Feb 27, 2023 at 12:51 PM wei_yuze <we...@qq.com.invalid> wrote:

> 您好！
>
>
>
>
> 我在使用Windowing table-valued functions (Windowing TVFs) 的时候，GROUP BY 中一旦加上
> window_start, window_end 就没有输出，但也不报错。请问有哪位大佬知道是什么原因吗？
>
> Lucas