You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 张锴 <zk...@gmail.com> on 2021/08/24 03:15:22 UTC
如何按照数据量，可用内存，核为flink job分配合适的资源
我们数据量大概一天6个T，只做一个简单的处理，不涉及计算，在资源够用的情况下，用命令行的方式启动flink job
需要给多少比较合适，比如jobmanager内存 ,taskmanager内存, slot , taskmanager数量 ，并行度p,
具体是怎么考虑的呢？
对于大规模的数据量经验还比较浅，有大佬给指明一下吗🙏
Re: 如何按照数据量，可用内存，核为flink job分配合适的资源
Posted by 张锴 <zk...@gmail.com>.
不是，你应该认错了
yidan zhao <hi...@gmail.com> 于2021年8月24日周二 下午12:50写道：
> 你是zhangkai30吗～
>
> 张锴 <zk...@gmail.com> 于2021年8月24日周二 上午11:16写道：
>
> > 我们数据量大概一天6个T，只做一个简单的处理，不涉及计算，在资源够用的情况下，用命令行的方式启动flink job
> > 需要给多少比较合适，比如jobmanager内存 ,taskmanager内存, slot , taskmanager数量 ，并行度p,
> > 具体是怎么考虑的呢？
> >
> > 对于大规模的数据量经验还比较浅，有大佬给指明一下吗🙏
> >
>
Re: 如何按照数据量，可用内存，核为flink job分配合适的资源
Posted by yidan zhao <hi...@gmail.com>.
你是zhangkai30吗～
张锴 <zk...@gmail.com> 于2021年8月24日周二 上午11:16写道：
> 我们数据量大概一天6个T，只做一个简单的处理，不涉及计算，在资源够用的情况下，用命令行的方式启动flink job
> 需要给多少比较合适，比如jobmanager内存 ,taskmanager内存, slot , taskmanager数量 ，并行度p,
> 具体是怎么考虑的呢？
>
> 对于大规模的数据量经验还比较浅，有大佬给指明一下吗🙏
>