You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2023/03/17 02:52:35 UTC

实时数据同步对比监控有什么好的工具和方案吗？

业务上利用flink作业做实时数据同步，请问实时数据同步对比监控有什么好的工具和方案吗？
实时同步链路：mysql -> kafka canal -> flink -> doris


欢迎大家提供思路

Re:Re: 实时数据同步对比监控有什么好的工具和方案吗？

Posted by "casel.chen" <ca...@126.com>.

站在业务角度，监控指标包括数据的一致性（不多不少）和 数据的时效性（同步延迟时长在合理区间）。这2块有什么工具和方案吗？

















在 2023-03-17 15:23:30，"Shammon FY" <zj...@gmail.com> 写道：
>Hi
>
>具体是要监控哪些信息？不同的信息会有不同的工具和方案，比如资源使用率、failover情况、同步数据延时等
>
>Best,
>Shammon FY
>
>
>On Fri, Mar 17, 2023 at 10:52 AM casel.chen <ca...@126.com> wrote:
>
>> 业务上利用flink作业做实时数据同步，请问实时数据同步对比监控有什么好的工具和方案吗？
>> 实时同步链路：mysql -> kafka canal -> flink -> doris
>>
>>
>> 欢迎大家提供思路

Re: 实时数据同步对比监控有什么好的工具和方案吗？

Posted by Shammon FY <zj...@gmail.com>.

Hi

具体是要监控哪些信息？不同的信息会有不同的工具和方案，比如资源使用率、failover情况、同步数据延时等

Best,
Shammon FY


On Fri, Mar 17, 2023 at 10:52 AM casel.chen <ca...@126.com> wrote:

> 业务上利用flink作业做实时数据同步，请问实时数据同步对比监控有什么好的工具和方案吗？
> 实时同步链路：mysql -> kafka canal -> flink -> doris
>
>
> 欢迎大家提供思路