You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by smq <37...@qq.com> on 2021/06/02 04:22:38 UTC
回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
你这个解决了吗，我也遇到了同样的问题
------------------ 原始邮件 ------------------
发件人: todd <todd5167@163.com>
发送时间: 2021年4月14日 19:11
收件人: user-zh <user-zh@flink.apache.org>
主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: flink1.12版本，yarn-application模式Flink web ui看不到日志
Posted by r pp <pr...@gmail.com>.
上封，复制错了，更正下，看时间顺序。 日志启动
2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint.
ClusterEntrypoint [] - -Dlog
.file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log
cluster 启动
2021-06-04 17:38:15,425 INFO org.apache.flink.runtime.entrypoint.
ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user
obtainer: hdfs
r pp <pr...@gmail.com> 于2021年6月4日周五 下午6:11写道：
> 嗨~
> 我这边是 per-job on yarn 的mode
>
> 我查看的 yarn 的container 的日志信息，一般在程序初始化的时候，就会生产日志名，日志路径，变成环境env，
> 然后 形成config ，再启动 cluster。
>
> 而日志路径 是yarn 的配置模式取好的，之后 flink 的获取这个信息，用于web 展示。
>
> 所以，你可能需要定位 你的日志文件路径 是否有改变，我做test，改变日志名，flink-web 还是可以正常显示
> ，但是改变路径，flink-web 就无法显示了
>
> 但是具体的差异可能无法细化了，所提供的信息太少
> env 环境信息
> 2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint.
> ClusterEntrypoint [] - -Dlog
> .file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log
> cluster 启动信息
> 2021-06-04 16:47:01,429 INFO org.apache.flink.runtime.entrypoint.
> ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user
> obtainer: hdfs
>
> zilong xiao <ac...@gmail.com> 于2021年6月3日周四 下午2:17写道：
>
>> 1.10默认用的log4j1，1.12用log4j2
>>
>> smq <37...@qq.com> 于2021年6月2日周三 下午3:26写道：
>>
>> >
>> >
>> 你的意思是在log4j.properties中的配置吗，我门在这个里边配置了生成日志文件的格式，是在安装节点里加的，不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的，但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12，这种情况在1.12出现的
>> >
>> >
>> >
>> >
>> >
>> > ------------------ 原始邮件 ------------------
>> > 发件人: r pp <pr123shadow@gmail.com>
>> > 发送时间: 2021年6月2日 15:08
>> > 收件人: user-zh <user-zh@flink.apache.org>
>> > 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
>> >
>> >
>> >
>> > 嗨~ 你们有没有改日志文件的名字
>> >
>> > smq <374060171@qq.com> 于2021年6月2日周三 下午12:24写道：
>> >
>> > > 你这个解决了吗，我也遇到了同样的问题
>> > >
>> > >
>> > >
>> > >
>> > >
>> > > ------------------ 原始邮件 ------------------
>> > > 发件人: todd <todd5167@163.com&gt;
>> > > 发送时间: 2021年4月14日 19:11
>> > > 收件人: user-zh <user-zh@flink.apache.org&gt;
>> > > 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
>> > >
>> > >
>> > >
>> > > yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。
>> > >
>> > >
>> > >
>> > > --
>> > > Sent from: http://apache-flink.147419.n8.nabble.com/
>> >
>> >
>> >
>> > --
>> > Best，
>> > pp
>>
>
>
> --
> Best，
> pp
>
--
Best，
pp
Re: flink1.12版本，yarn-application模式Flink web ui看不到日志
Posted by r pp <pr...@gmail.com>.
嗨~
我这边是 per-job on yarn 的mode
我查看的 yarn 的container 的日志信息，一般在程序初始化的时候，就会生产日志名，日志路径，变成环境env，
然后 形成config ，再启动 cluster。
而日志路径 是yarn 的配置模式取好的，之后 flink 的获取这个信息，用于web 展示。
所以，你可能需要定位 你的日志文件路径 是否有改变，我做test，改变日志名，flink-web 还是可以正常显示 ，但是改变路径，flink-web
就无法显示了
但是具体的差异可能无法细化了，所提供的信息太少
env 环境信息
2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint.
ClusterEntrypoint [] - -Dlog
.file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log
cluster 启动信息
2021-06-04 16:47:01,429 INFO org.apache.flink.runtime.entrypoint.
ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user
obtainer: hdfs
zilong xiao <ac...@gmail.com> 于2021年6月3日周四 下午2:17写道：
> 1.10默认用的log4j1，1.12用log4j2
>
> smq <37...@qq.com> 于2021年6月2日周三 下午3:26写道：
>
> >
> >
> 你的意思是在log4j.properties中的配置吗，我门在这个里边配置了生成日志文件的格式，是在安装节点里加的，不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的，但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12，这种情况在1.12出现的
> >
> >
> >
> >
> >
> > ------------------ 原始邮件 ------------------
> > 发件人: r pp <pr123shadow@gmail.com>
> > 发送时间: 2021年6月2日 15:08
> > 收件人: user-zh <user-zh@flink.apache.org>
> > 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
> >
> >
> >
> > 嗨~ 你们有没有改日志文件的名字
> >
> > smq <374060171@qq.com> 于2021年6月2日周三 下午12:24写道：
> >
> > > 你这个解决了吗，我也遇到了同样的问题
> > >
> > >
> > >
> > >
> > >
> > > ------------------ 原始邮件 ------------------
> > > 发件人: todd <todd5167@163.com&gt;
> > > 发送时间: 2021年4月14日 19:11
> > > 收件人: user-zh <user-zh@flink.apache.org&gt;
> > > 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
> > >
> > >
> > >
> > > yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。
> > >
> > >
> > >
> > > --
> > > Sent from: http://apache-flink.147419.n8.nabble.com/
> >
> >
> >
> > --
> > Best，
> > pp
>
--
Best，
pp
Re: flink1.12版本，yarn-application模式Flink web ui看不到日志
Posted by zilong xiao <ac...@gmail.com>.
1.10默认用的log4j1，1.12用log4j2
smq <37...@qq.com> 于2021年6月2日周三 下午3:26写道：
>
> 你的意思是在log4j.properties中的配置吗，我门在这个里边配置了生成日志文件的格式，是在安装节点里加的，不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的，但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12，这种情况在1.12出现的
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: r pp <pr123shadow@gmail.com>
> 发送时间: 2021年6月2日 15:08
> 收件人: user-zh <user-zh@flink.apache.org>
> 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
>
>
>
> 嗨~ 你们有没有改日志文件的名字
>
> smq <374060171@qq.com> 于2021年6月2日周三 下午12:24写道：
>
> > 你这个解决了吗，我也遇到了同样的问题
> >
> >
> >
> >
> >
> > ------------------ 原始邮件 ------------------
> > 发件人: todd <todd5167@163.com&gt;
> > 发送时间: 2021年4月14日 19:11
> > 收件人: user-zh <user-zh@flink.apache.org&gt;
> > 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
> >
> >
> >
> > yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
>
>
>
> --
> Best，
> pp
回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
Posted by smq <37...@qq.com>.
你的意思是在log4j.properties中的配置吗，我门在这个里边配置了生成日志文件的格式，是在安装节点里加的，不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的，但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12，这种情况在1.12出现的
------------------ 原始邮件 ------------------
发件人: r pp <pr123shadow@gmail.com>
发送时间: 2021年6月2日 15:08
收件人: user-zh <user-zh@flink.apache.org>
主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
嗨~ 你们有没有改日志文件的名字
smq <374060171@qq.com> 于2021年6月2日周三 下午12:24写道：
> 你这个解决了吗，我也遇到了同样的问题
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: todd <todd5167@163.com&gt;
> 发送时间: 2021年4月14日 19:11
> 收件人: user-zh <user-zh@flink.apache.org&gt;
> 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
>
>
>
> yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best，
pp
回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
Posted by smq <37...@qq.com>.
请问你是怎么解决这个问题的
------------------ 原始邮件 ------------------
发件人: r pp <pr123shadow@gmail.com>
发送时间: 2021年6月2日 15:08
收件人: user-zh <user-zh@flink.apache.org>
主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
嗨~ 你们有没有改日志文件的名字
smq <374060171@qq.com> 于2021年6月2日周三 下午12:24写道：
> 你这个解决了吗，我也遇到了同样的问题
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: todd <todd5167@163.com&gt;
> 发送时间: 2021年4月14日 19:11
> 收件人: user-zh <user-zh@flink.apache.org&gt;
> 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
>
>
>
> yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best，
pp
Re: flink1.12版本，yarn-application模式Flink web ui看不到日志
Posted by r pp <pr...@gmail.com>.
嗨~ 你们有没有改日志文件的名字
smq <37...@qq.com> 于2021年6月2日周三 下午12:24写道：
> 你这个解决了吗，我也遇到了同样的问题
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: todd <todd5167@163.com>
> 发送时间: 2021年4月14日 19:11
> 收件人: user-zh <user-zh@flink.apache.org>
> 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志
>
>
>
> yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best，
pp