K8s部署Flink 作业，无法在Web UI查看TaskManger的STDOUT日志

[xinzhuxiansheng <xi...@126.com>]

 Flink on Native k8s部署后，程序答应的log,无法在Flink UI TaskManager的查看到日志。 不太想ELK方式收集 TaskManager 日志。 若使用kubectl logs查看pod的标准化输出对用户来说太复杂了。请问大家是如何处理的？ 


| |
xinzhuxiansheng
|
|
xinzhuxiansheng@126.com
|
签名由网易邮箱大师定制

Re: K8s部署Flink 作业，无法在Web UI查看TaskManger的STDOUT日志

[吴Janick <ia...@gmail.com>]

可以通过降低restratstrategy的统计灵敏度，短时间持续出现同个异常导致的failed只会计数一次，目前已经有相关patch，具体可看：
https://issues.apache.org/jira/browse/FLINK-26315 <https://issues.apache.org/jira/browse/FLINK-26315>


> 2022年3月2日 下午4:35，Yang Wang <danrtsey.wy@gmail.com <ma...@gmail.com>> 写道：
> 
> Standalone Flink on K8s 和 native K8s都会有你说的这个问题
> 
> 主要原因是标准输出打印到的pod console了，所以通过kubectl logs可以查看stdout日志，但webUI上就没有
> 
> 你可以参考这个commit[1]自己编译一个Flink binary来实现
> 
> [1].
> https://github.com/wangyang0918/flink/commit/2454b6daa2978f9ea9669435f92a9f2e78de357a <https://github.com/wangyang0918/flink/commit/2454b6daa2978f9ea9669435f92a9f2e78de357a>
> 
> Best,
> Yang
> 
> 
> xinzhuxiansheng <xi...@126.com> 于2022年3月2日周三 15:00写道：
> 
>> Flink on Native k8s部署后，程序答应的log,无法在Flink UI TaskManager的查看到日志。 不太想ELK方式收集
>> TaskManager 日志。 若使用kubectl logs查看pod的标准化输出对用户来说太复杂了。请问大家是如何处理的？
>> 
>> 
>> | |
>> xinzhuxiansheng
>> |
>> |
>> xinzhuxiansheng@126.com
>> |
>> 签名由网易邮箱大师定制
>> 
>> 

Re: K8s部署Flink 作业，无法在Web UI查看TaskManger的STDOUT日志

[Yang Wang <da...@gmail.com>]

Standalone Flink on K8s 和 native K8s都会有你说的这个问题

主要原因是标准输出打印到的pod console了，所以通过kubectl logs可以查看stdout日志，但webUI上就没有

你可以参考这个commit[1]自己编译一个Flink binary来实现

[1].
https://github.com/wangyang0918/flink/commit/2454b6daa2978f9ea9669435f92a9f2e78de357a

Best,
Yang


xinzhuxiansheng <xi...@126.com> 于2022年3月2日周三 15:00写道：

>  Flink on Native k8s部署后，程序答应的log,无法在Flink UI TaskManager的查看到日志。 不太想ELK方式收集
> TaskManager 日志。 若使用kubectl logs查看pod的标准化输出对用户来说太复杂了。请问大家是如何处理的？
>
>
> | |
> xinzhuxiansheng
> |
> |
> xinzhuxiansheng@126.com
> |
> 签名由网易邮箱大师定制
>
>