flink相关问题

[xyq <xi...@163.com>]

    hello 您好，
    打扰了请教几个问题,:

1.flink窗口的延时数据怎么处理 ，假如我的数据写入kafka或clickhouse，侧输出流可以做到吗？

2.flink怎么做到端到端恰好一次，是不是sink的组件本身得支持恰好一次，clickhouse支持恰好一次吗？

3.flink突然发现之前跑的数据有异常，怎么从之前恢复数据？

4.flink不借助外部组件怎么算日活跃人数（假设数据量还很大）？
5.kafka分区是6个，之前并行度一直给3，最近我数据变大好多，我调整到6，报内存溢出，我把taskmanager的内存也调大2倍，还是不行，居然报了我代码中有些问题，但是我并行度是3是没任何问题的，之前都跑了4个月了
以下是问题5的报错日志？报的是经纬度转省份城市那块，我是在hdfs是维护一个经纬度的region文件，来一条数据就去转

Re:flink相关问题

[chaojianok <ch...@163.com>]

这些问题一两句话也说不清楚，建议看看 Flink 官网的文档和博客。

















在 2020-06-01 11:08:27，"xyq" <xi...@163.com> 写道：
>    hello 您好，
>    打扰了请教几个问题,:
>
>1.flink窗口的延时数据怎么处理 ，假如我的数据写入kafka或clickhouse，侧输出流可以做到吗？
>
>2.flink怎么做到端到端恰好一次，是不是sink的组件本身得支持恰好一次，clickhouse支持恰好一次吗？
>
>3.flink突然发现之前跑的数据有异常，怎么从之前恢复数据？
>
>4.flink不借助外部组件怎么算日活跃人数（假设数据量还很大）？
>5.kafka分区是6个，之前并行度一直给3，最近我数据变大好多，我调整到6，报内存溢出，我把taskmanager的内存也调大2倍，还是不行，居然报了我代码中有些问题，但是我并行度是3是没任何问题的，之前都跑了4个月了
>以下是问题5的报错日志？报的是经纬度转省份城市那块，我是在hdfs是维护一个经纬度的region文件，来一条数据就去转
>
>