[GitHub] [rocketmq-connect] sunxiaojian commented on issue #173: Connect Exporter for Prometheus

[GitBox <gi...@apache.org>]

sunxiaojian commented on issue #173:
URL: https://github.com/apache/rocketmq-connect/issues/173#issuecomment-1174959654

   > 
   
   
   
   > > > Prometheus Sink Connector本身也是一个exporter，只不过是更加通用的exporter。connect把自身的metrics发送到rocketmq的topic当中，Prometheus Sink Connector通过配置把topic里的metrics信息拉去展示在Prometheus当中，其它在组件或者产品例如RocketMQ也可以把自身的metrics发送到topic当中，这样相当于实现一个通用的exporter，可以对接任意metrics信息，而不用再单独实现Prometheus exporter，简化接入Prometheus，只需要把metrics信息发到topic即可。
   > > 
   > > 
   > > 当前RocketMQ, RocketMQ Connect 都将metrics写到了日志里面。RocketMQ Connect在Source端也可以实现对SFTP的支持，这样通配置过两个Connector任务，就可以将RocketMQ相关的Metrics信息都接入Prometheus。
   > 
   > 对于您的想法，我有以下疑问
   > 
   > 1. 如果输入的信息从日志中获取，就好像是一个为某种特定日志进行可视化的手段，这样是不是太依赖日志的输出了？对于rocketmq-connect，目前我仅在connect-default.log中发现metrics信息，似乎对于runtime没有专门的metrics日志，那么就会传输许多冗余信息，增加解析时的复杂度。rocketmq确有metrics日志。
   > 2. 日志是追加写的，那么task便存在状态，需要保存每次已经从日志中获取metrics的offset。似乎不是太合适，一旦connector重启，状态就会丢失。我观察了[rocketmq-exporter](https://github.com/apache/rocketmq-exporterhttps://github.com/apache/rocketmq-exporter)的实现，他们似乎是在向rocketmq动态请求相关数据再进行展示。
   > 
   > 我目前有一个不成熟的想法，就是修改runtime，使其在运行过程中将metrics发送至某一topic，然后实现sink connector将数据导出。但这样的通用性却很差。
   
   可以这样做，但是不一定要声明数据写到哪里，我觉得只声明标准的api实现就可以，允许用户自定义exporter,   再connect运行的时候把这些exporter加载进来就可以，这样可以上报到topic ,也可以上报到数据库，可以上报到用户需要的任何地方


-- 
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

To unsubscribe, e-mail: dev-unsubscribe@rocketmq.apache.org

For queries about this service, please contact Infrastructure at:
users@infra.apache.org