You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Dream-底限 <zh...@akulaku.com> on 2020/07/24 02:49:43 UTC
flink1.11日志上报
hi、
我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪
Re: flink1.11日志上报
Posted by Dream-底限 <zh...@akulaku.com>.
hi Cayden chen、
也就是说你们日志上报的实现方式是实现自定义appder来实现是吧，这确实是一个不错的方式；
我先前看spark可以实现对应的listener用来实现日志上报，查看了一下flink
api貌似也有对应listen，具体是实现哪一个还不知道，现在我们还处在一个功能整理阶段
Cayden chen <11...@qq.com> 于2020年7月24日周五 上午10:53写道：
> 我们的获取逻辑是通过自定义 logback的appder( flink
> 默认的应该是log4j，对应配置在安装目录的conf下面)，appder通过解析当前系统路径(因为flink每个taskmanager会自己定义一个带有applicationId的路径，然后里面会放各种jar包，包括我自定义的appder)，获取之后通过MDC.put(),给日志加一列appId，在appder里面把日志上报到外部的日志系统
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> zhangyu@akulaku.com>;
> 发送时间: 2020年7月24日(星期五) 上午10:49
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: flink1.11日志上报
>
>
>
> hi、
>
> 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪
回复：flink1.11日志上报
Posted by Cayden chen <11...@qq.com>.
我们的获取逻辑是通过自定义 logback的appder( flink 默认的应该是log4j，对应配置在安装目录的conf下面)，appder通过解析当前系统路径(因为flink每个taskmanager会自己定义一个带有applicationId的路径，然后里面会放各种jar包，包括我自定义的appder)，获取之后通过MDC.put(),给日志加一列appId，在appder里面把日志上报到外部的日志系统
------------------ 原始邮件 ------------------
发件人: "user-zh" <zhangyu@akulaku.com>;
发送时间: 2020年7月24日(星期五) 上午10:49
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: flink1.11日志上报
hi、
我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪
Re: flink1.11日志上报
Posted by zhisheng <zh...@gmail.com>.
弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？
Storm☀️ <st...@163.com> 于2020年10月27日周二 下午8:37写道：
> 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Re: flink1.11日志上报
Posted by Storm☀️ <st...@163.com>.
我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: flink1.11日志上报
Posted by zilong xiao <ac...@gmail.com>.
这个可以用配置文件实现，利用kafka
appender将日志打到kafka中，然后自己去消费kafka处理即可，1.11中支持log4j2了，建议使用log4j2
Dream-底限 <zh...@akulaku.com> 于2020年7月24日周五 上午10:50写道：
> hi、
>
> 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪
>