flink 集群

[李军 <ho...@163.com>]

想咨询下，自建flink集群，用什么方式 管理监控集群？ 还要job 任务需要更新的时候，jar包以什么方式更新，并且更新任务，什么方式更新任务，能保证老的任务正常关闭，新的衔接上；
求解释，有相关文资料吗

Re: flink 集群

[xin Destiny <nj...@gmail.com>]

监控的话，我推荐使用pushgateway+prometheus+grafana来构建，建议参考flink官网的metric方面；

这是我在网上看到的方案https://blog.csdn.net/cheyanming123/article/details/101298609

Terry Wang <zj...@gmail.com> 于2019年11月11日周一 下午2:55写道：

> Hi, 李军~
>
> 1. 自建集群是哪种方式？ 可以考虑通过yarn集群的per job模式来部署作业，集群的监控可以直接通过yarn的资源管理实现
> 2. 任务需要更新的时候 可以kill job，保留state
> 文件，重新提交新的jar包，新的jar包可以设置从老作业的checkPoint文件里恢复继续执行
>
> 相关资料可以参考 官方文档/flink china 的资料，希望能有所帮助~
>
> Best,
> Terry Wang
>
>
>
> > 2019年11月11日 13:38，李军 <ho...@163.com> 写道：
> >
> >
> >
> >
> >
> > 想咨询下，自建flink集群，用什么方式 管理监控集群？ 还要job
> 任务需要更新的时候，jar包以什么方式更新，并且更新任务，什么方式更新任务，能保证老的任务正常关闭，新的衔接上；
> > 求解释，有相关文资料吗
>
>

Re: flink 集群

[Terry Wang <zj...@gmail.com>]

Hi, 李军~

1. 自建集群是哪种方式？ 可以考虑通过yarn集群的per job模式来部署作业，集群的监控可以直接通过yarn的资源管理实现
2. 任务需要更新的时候 可以kill job，保留state 文件，重新提交新的jar包，新的jar包可以设置从老作业的checkPoint文件里恢复继续执行

相关资料可以参考 官方文档/flink china 的资料，希望能有所帮助~

Best,
Terry Wang



> 2019年11月11日 13:38，李军 <ho...@163.com> 写道：
> 
> 
> 
> 
> 
> 想咨询下，自建flink集群，用什么方式 管理监控集群？ 还要job 任务需要更新的时候，jar包以什么方式更新，并且更新任务，什么方式更新任务，能保证老的任务正常关闭，新的衔接上；
> 求解释，有相关文资料吗