You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "蒋佳成(Jiacheng Jiang)" <92...@qq.com> on 2020/04/23 09:04:27 UTC
回复：flink1.10基于win10搭建Standlone服务
查看日志估计是内存没有设置
------------------ 原始邮件 ------------------
发件人: "宇张"<zhangyu@akulaku.com>;
发送时间: 2020年4月23日(星期四) 下午5:03
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: flink1.10基于win10搭建Standlone服务
hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好吧，就是解压启动）
，然后执行start-cluster.bat启动服务，会弹出两个dos窗口，一个jm、一个tm（猜的），
但是几秒后tm 对应的dos窗口闪退导致程序没办法申请资源，这个不知道是flink问题还是win10问题，但是flink1.9是正常的
Re: flink1.10基于win10搭建Standlone服务
Posted by 宇张 <zh...@akulaku.com>.
现在搭建测试环境都要改配置文件了，感觉还是以前的小白式启动（解压运行）友好一点，哈哈
On Thu, Apr 23, 2020 at 5:23 PM 宇张 <zh...@akulaku.com> wrote:
> 呃，是的，某些设置的默认值都变为null了，所以tm启动报错，依次让设置这三个值，但这三个设置后报错变为下面的了，请问这个要怎么搞。。。。
> taskmanager.cpu.cores: 3
> taskmanager.memory.task.heap.size: 256mb
> taskmanager.memory.managed.size: 256mb
>
> org.apache.flink.configuration.IllegalConfigurationException: Failed to
> create TaskExecutorResourceSpec
> at
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:72)
> at
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.startTaskManager(TaskManagerRunner.java:356)
> at
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.<init>(TaskManagerRunner.java:152)
> at
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManager(TaskManagerRunner.java:308)
> at
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.lambda$runTaskManagerSecurely$2(TaskManagerRunner.java:322)
> at
> org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
> at
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManagerSecurely(TaskManagerRunner.java:321)
> at
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.main(TaskManagerRunner.java:287)
> Caused by: org.apache.flink.configuration.IllegalConfigurationException:
> The network memory min (64 mb) and max (1 gb) mismatch, the network memory
> has to be resolved and set to a fixed value before task executor starts
> at
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorNetworkConfigSet(TaskExecutorResourceUtils.java:100)
> at
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorResourceConfigSet(TaskExecutorResourceUtils.java:85)
> at
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:70)
> ... 7 more
>
> On Thu, Apr 23, 2020 at 5:04 PM 蒋佳成(Jiacheng Jiang) <92...@qq.com>
> wrote:
>
>> 查看日志估计是内存没有设置
>>
>>
>>
>>
>> ------------------ 原始邮件 ------------------
>> 发件人: "宇张"<zhangyu@akulaku.com>;
>> 发送时间: 2020年4月23日(星期四) 下午5:03
>> 收件人: "user-zh"<user-zh@flink.apache.org>;
>> 主题: flink1.10基于win10搭建Standlone服务
>>
>>
>>
>> hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好吧，就是解压启动）
>> ，然后执行start-cluster.bat启动服务，会弹出两个dos窗口，一个jm、一个tm（猜的），
>> 但是几秒后tm 对应的dos窗口闪退导致程序没办法申请资源，这个不知道是flink问题还是win10问题，但是flink1.9是正常的
>
>
Re: flink1.10基于win10搭建Standlone服务
Posted by 宇张 <zh...@akulaku.com>.
好吧，windows不在维护了。。。
https://issues.apache.org/jira/browse/FLINK-15925
On Thu, Apr 23, 2020 at 5:30 PM 蒋佳成(Jiacheng Jiang) <92...@qq.com>
wrote:
>
> Caused by: org.apache.flink.configuration.IllegalConfigurationException:
>
> The network memory min (64 mb) and max (1 gb) mismatch, the network memory
>
> has to be resolved and set to a fixed value before task executor starts
>
>
>
>
> 网络内存错误。1.10内存变了很多，你先看看文档
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "宇张"<zhangyu@akulaku.com>;
> 发送时间: 2020年4月23日(星期四) 下午5:23
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink1.10基于win10搭建Standlone服务
>
>
>
> 呃，是的，某些设置的默认值都变为null了，所以tm启动报错，依次让设置这三个值，但这三个设置后报错变为下面的了，请问这个要怎么搞。。。。
> taskmanager.cpu.cores: 3
> taskmanager.memory.task.heap.size: 256mb
> taskmanager.memory.managed.size: 256mb
>
> org.apache.flink.configuration.IllegalConfigurationException: Failed to
> create TaskExecutorResourceSpec
> at
>
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:72)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.startTaskManager(TaskManagerRunner.java:356)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.<init>(TaskManagerRunner.java:152)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManager(TaskManagerRunner.java:308)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.lambda$runTaskManagerSecurely$2(TaskManagerRunner.java:322)
> at
>
> org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManagerSecurely(TaskManagerRunner.java:321)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskManagerRunner.main(TaskManagerRunner.java:287)
> Caused by: org.apache.flink.configuration.IllegalConfigurationException:
> The network memory min (64 mb) and max (1 gb) mismatch, the network memory
> has to be resolved and set to a fixed value before task executor starts
> at
>
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorNetworkConfigSet(TaskExecutorResourceUtils.java:100)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorResourceConfigSet(TaskExecutorResourceUtils.java:85)
> at
>
> org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:70)
> ... 7 more
>
> On Thu, Apr 23, 2020 at 5:04 PM 蒋佳成(Jiacheng Jiang) <920334586@qq.com>
> wrote:
>
> > 查看日志估计是内存没有设置
> >
> >
> >
> >
> > ------------------&nbsp;原始邮件&nbsp;------------------
> > 发件人: "宇张"<zhangyu@akulaku.com&gt;;
> > 发送时间: 2020年4月23日(星期四) 下午5:03
> > 收件人: "user-zh"<user-zh@flink.apache.org&gt;;
> > 主题: flink1.10基于win10搭建Standlone服务
> >
> >
> >
> > hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好吧，就是解压启动）
> > ，然后执行start-cluster.bat启动服务，会弹出两个dos窗口，一个jm、一个tm（猜的），
> > 但是几秒后tm 对应的dos窗口闪退导致程序没办法申请资源，这个不知道是flink问题还是win10问题，但是flink1.9是正常的
回复： flink1.10基于win10搭建Standlone服务
Posted by "蒋佳成(Jiacheng Jiang)" <92...@qq.com>.
Caused by: org.apache.flink.configuration.IllegalConfigurationException:
The network memory min (64 mb) and max (1 gb) mismatch, the network memory
has to be resolved and set to a fixed value before task executor starts
网络内存错误。1.10内存变了很多，你先看看文档
------------------ 原始邮件 ------------------
发件人: "宇张"<zhangyu@akulaku.com>;
发送时间: 2020年4月23日(星期四) 下午5:23
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink1.10基于win10搭建Standlone服务
呃，是的，某些设置的默认值都变为null了，所以tm启动报错，依次让设置这三个值，但这三个设置后报错变为下面的了，请问这个要怎么搞。。。。
taskmanager.cpu.cores: 3
taskmanager.memory.task.heap.size: 256mb
taskmanager.memory.managed.size: 256mb
org.apache.flink.configuration.IllegalConfigurationException: Failed to
create TaskExecutorResourceSpec
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:72)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.startTaskManager(TaskManagerRunner.java:356)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.<init>(TaskManagerRunner.java:152)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManager(TaskManagerRunner.java:308)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.lambda$runTaskManagerSecurely$2(TaskManagerRunner.java:322)
at
org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManagerSecurely(TaskManagerRunner.java:321)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.main(TaskManagerRunner.java:287)
Caused by: org.apache.flink.configuration.IllegalConfigurationException:
The network memory min (64 mb) and max (1 gb) mismatch, the network memory
has to be resolved and set to a fixed value before task executor starts
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorNetworkConfigSet(TaskExecutorResourceUtils.java:100)
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorResourceConfigSet(TaskExecutorResourceUtils.java:85)
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:70)
... 7 more
On Thu, Apr 23, 2020 at 5:04 PM 蒋佳成(Jiacheng Jiang) <920334586@qq.com>
wrote:
> 查看日志估计是内存没有设置
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人: "宇张"<zhangyu@akulaku.com&gt;;
> 发送时间: 2020年4月23日(星期四) 下午5:03
> 收件人: "user-zh"<user-zh@flink.apache.org&gt;;
> 主题: flink1.10基于win10搭建Standlone服务
>
>
>
> hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好吧，就是解压启动）
> ，然后执行start-cluster.bat启动服务，会弹出两个dos窗口，一个jm、一个tm（猜的），
> 但是几秒后tm 对应的dos窗口闪退导致程序没办法申请资源，这个不知道是flink问题还是win10问题，但是flink1.9是正常的
Re: flink1.10基于win10搭建Standlone服务
Posted by 宇张 <zh...@akulaku.com>.
呃，是的，某些设置的默认值都变为null了，所以tm启动报错，依次让设置这三个值，但这三个设置后报错变为下面的了，请问这个要怎么搞。。。。
taskmanager.cpu.cores: 3
taskmanager.memory.task.heap.size: 256mb
taskmanager.memory.managed.size: 256mb
org.apache.flink.configuration.IllegalConfigurationException: Failed to
create TaskExecutorResourceSpec
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:72)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.startTaskManager(TaskManagerRunner.java:356)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.<init>(TaskManagerRunner.java:152)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManager(TaskManagerRunner.java:308)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.lambda$runTaskManagerSecurely$2(TaskManagerRunner.java:322)
at
org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManagerSecurely(TaskManagerRunner.java:321)
at
org.apache.flink.runtime.taskexecutor.TaskManagerRunner.main(TaskManagerRunner.java:287)
Caused by: org.apache.flink.configuration.IllegalConfigurationException:
The network memory min (64 mb) and max (1 gb) mismatch, the network memory
has to be resolved and set to a fixed value before task executor starts
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorNetworkConfigSet(TaskExecutorResourceUtils.java:100)
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.checkTaskExecutorResourceConfigSet(TaskExecutorResourceUtils.java:85)
at
org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils.resourceSpecFromConfig(TaskExecutorResourceUtils.java:70)
... 7 more
On Thu, Apr 23, 2020 at 5:04 PM 蒋佳成(Jiacheng Jiang) <92...@qq.com>
wrote:
> 查看日志估计是内存没有设置
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "宇张"<zhangyu@akulaku.com>;
> 发送时间: 2020年4月23日(星期四) 下午5:03
> 收件人: "user-zh"<user-zh@flink.apache.org>;
> 主题: flink1.10基于win10搭建Standlone服务
>
>
>
> hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好吧，就是解压启动）
> ，然后执行start-cluster.bat启动服务，会弹出两个dos窗口，一个jm、一个tm（猜的），
> 但是几秒后tm 对应的dos窗口闪退导致程序没办法申请资源，这个不知道是flink问题还是win10问题，但是flink1.9是正常的
Re: flink1.10基于win10搭建Standlone服务
Posted by Caizhi Weng <ts...@gmail.com>.
Hi，1.10 的配置文件都设好了吗？可以把 log 目录下的日志贴上来看看。
蒋佳成(Jiacheng Jiang) <92...@qq.com> 于2020年4月23日周四 下午5:04写道：
> 查看日志估计是内存没有设置
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "宇张"<zhangyu@akulaku.com>;
> 发送时间: 2020年4月23日(星期四) 下午5:03
> 收件人: "user-zh"<user-zh@flink.apache.org>;
> 主题: flink1.10基于win10搭建Standlone服务
>
>
>
> hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好吧，就是解压启动）
> ，然后执行start-cluster.bat启动服务，会弹出两个dos窗口，一个jm、一个tm（猜的），
> 但是几秒后tm 对应的dos窗口闪退导致程序没办法申请资源，这个不知道是flink问题还是win10问题，但是flink1.9是正常的