You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@dubbo.apache.org by li...@apache.org on 2023/07/05 05:25:53 UTC
[dubbo-website] branch master updated: Add doc metrics chap.4 (#2760)
This is an automated email from the ASF dual-hosted git repository.
liujun pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/dubbo-website.git
The following commit(s) were added to refs/heads/master by this push:
new b1b529b22c Add doc metrics chap.4 (#2760)
b1b529b22c is described below
commit b1b529b22cfd7715e589c2151acddf43a4217d9d
Author: namelessssssssssss <10...@users.noreply.github.com>
AuthorDate: Wed Jul 5 13:25:47 2023 +0800
Add doc metrics chap.4 (#2760)
---
...215\242\344\270\216\345\257\274\345\207\272.md" | 215 ++++++++++++++++++++-
1 file changed, 214 insertions(+), 1 deletion(-)
diff --git "a/content/zh-cn/blog/java/codeanalysis/metrics/4-\346\214\207\346\240\207\350\275\254\346\215\242\344\270\216\345\257\274\345\207\272.md" "b/content/zh-cn/blog/java/codeanalysis/metrics/4-\346\214\207\346\240\207\350\275\254\346\215\242\344\270\216\345\257\274\345\207\272.md"
index 7923adef9a..7c3c854a78 100644
--- "a/content/zh-cn/blog/java/codeanalysis/metrics/4-\346\214\207\346\240\207\350\275\254\346\215\242\344\270\216\345\257\274\345\207\272.md"
+++ "b/content/zh-cn/blog/java/codeanalysis/metrics/4-\346\214\207\346\240\207\350\275\254\346\215\242\344\270\216\345\257\274\345\207\272.md"
@@ -7,4 +7,217 @@ tags: ["源码解析", "Java"]
description: "Dubbo 指标模块源码分析-指标转换与导出"
---
-连载中，敬请期待...
+## 四、指标转换与导出
+
+本章主要梳理指标收集完成后，向外部收集器导出的流程。
+
+
+
+通过之前的分析，我们知道不同类型指标的收集分别由各个 Collector 实现进行。它们底层的 MetricsCollector 接口定义了指标导出的操作。
+
+```java
+@SPI
+public interface MetricsCollector<E extends TimeCounterEvent> extends MetricsLifeListener<E> {
+
+ default boolean isCollectEnabled() {
+ return false;
+ }
+
+ /**
+ * Collect metrics as {@link MetricSample}
+ *
+ * @return List of MetricSample
+ */
+ List<MetricSample> collect();
+}
+```
+
+
+
+而指标报告器 (MetricsReporter) 的实现会定时调用Collector 的 `collect` 方法，更新并导出指标数据。
+
+```java
+public interface MetricsReporter {
+ //初始化
+ void init();
+
+ //刷新统计数据，定时调用collect()
+ void refreshData();
+
+ //获取指标数据
+ String getResponse();
+
+ //获取带指标名的指标样本（单个指标）
+ default String getResponseWithName(String metricsName) { return null; }
+}
+```
+
+
+
+指标报告器有两个实现：DefaultMetricsReporter 和 PrometheusMetricsReporter，它们都实现自 AbstractMetricsRepoter，并使用它的指标刷新逻辑 (`refreshData`方法)。
+
+AbstractMetricsRepoter 初始化时会获取并保存所有 Collector 的实现，每次刷新数据，调用`refreshData`方法时都会遍历这些收集器，更新指标数据。
+
+```java
+//AbstractMetricsRepoter
+
+ private void initCollectors() {
+ ...
+ List<MetricsCollector> otherCollectors = beanFactory.getBeansOfType(MetricsCollector.class);
+ collectors.addAll(otherCollectors);
+ }
+
+ public void refreshData() {
+ collectors.forEach(collector -> {
+ List<MetricSample> samples = collector.collect();
+ for (MetricSample sample : samples) {
+ ...
+ //将Dubbo的度量类型适配为micrometer的度量类型，并将其添加到CompositeMeterRegistry中，借此实现多监控系统的支持。
+ }
+ });
+```
+
+
+
+DefaultMetricsReporter 和 PrometheusMetricsReporter 各自实现了自己的指标采样逻辑 (`getResponse`方法)。
+
+
+
+**PrometheusMetricsReporter**
+
+它通过 PrometheusMeterRegistry 获取普罗米修斯支持格式的样本数据：
+
+```java
+//PrometheusMetricsReporter
+ public String getResponse() {
+ return prometheusRegistry.scrape();
+ }
+```
+
+
+
+在初始化时，它会开启一个定时任务，定时向普罗米修斯服务端推送采样数据：
+
+```java
+//PrometheusMetricsReporter
+
+ SimpleMeterRegistry meterRegistry = new SimpleMeterRegistry();
+
+ @Override
+ public void doInit() {
+ addMeterRegistry(prometheusRegistry);
+ schedulePushJob();
+ }
+
+ private void schedulePushJob() {
+ //这里的URL是DefaultMetricsReporter中定义的指标报告URL，提供了指标服务的具体地址
+ boolean pushEnabled = url.getParameter(PROMETHEUS_PUSHGATEWAY_ENABLED_KEY, false);
+ if (pushEnabled) {
+ ...
+ pushJobExecutor.scheduleWithFixedDelay(() -> push(pushGateway, job), pushInterval, pushInterval, TimeUnit.SECONDS);
+ }
+ }
+
+ protected void push(PushGateway pushGateway, String job) {
+ ...
+ refreshData();
+ //将本次采样数据添加到pushGateway，等待下次抓取
+ pushGateway.pushAdd(prometheusRegistry.getPrometheusRegistry(), job);
+ ...
+ }
+
+```
+
+PushGateway 和 PrometheusRegistry 均为 micrometer 提供的 API。
+
+**PrometheusRegistry 将度量数据转换为普罗米修斯支持的格式，而 PushGateway 存储样本，暴露一个HTTP端点供普罗米修斯服务端抓取。**
+
+PushGateway 本身只是一个度量数据的缓存区，普罗米修斯服务端每从其中抓取一次数据，其内部的样本就会被清除。
+
+
+
+**DefaultMetricsReporter**
+
+指标报告器的默认实现，提供了按指标名称导出特定指标的方法。
+
+```java
+//DefaultMetricsReporter
+
+ @Override
+ public String getResponse() {
+ return null;
+ }
+
+ @Override
+ public String getResponseWithName(String metricsName) {
+ ...
+ meterRegistry.getMeters().stream().filter(meter -> {
+ //根据名称过滤样本
+ });
+ metricsValue.forEach((key, value) -> {
+ //按格式拼装结果
+ });
+ return sb.toString();
+ }
+
+ @Override
+ protected void doInit() {
+ addMeterRegistry(meterRegistry);
+ }
+
+ @Override
+ protected void doDestroy() {}
+}
+
+```
+
+该实现使用的 SimpleMeterRegistry 本身只会存储指标数据的功能，而不像 PrometheusMeterRegistry 那样提供发布数据的方法。
+
+**因此该指标报告器不会主动向外部发布数据，而是被动的通过 `getResponseWithName` 提供数据。**
+
+
+
+而且，该报告器在任何情况下都会被初始化:
+
+```java
+//DefaultApplicationDeployer#initMetricsReporter
+//If the protocol is not the default protocol, the default protocol is also initialized.
+ if (!PROTOCOL_DEFAULT.equals(metricsConfig.getProtocol())) {
+ DefaultMetricsReporterFactory defaultMetricsReporterFactory = new DefaultMetricsReporterFactory(applicationModel);
+ MetricsReporter defaultMetricsReporter = defaultMetricsReporterFactory.createMetricsReporter(metricsConfig.toUrl());
+ defaultMetricsReporter.init();
+ applicationModel.getBeanFactory().registerBean(defaultMetricsReporter);
+ }
+...
+```
+
+
+
+实际上，该类主要在用户使用Qos命令查询时提供指定指标数据，而非提供给某个特定的外部指标中心。
+
+```java
+//Qos命令
+public class DefaultMetricsReporterCmd implements BaseCommand {
+...
+private String getResponseByApplication(ApplicationModel applicationModel, String metricsName) {
+ String response = "DefaultMetricsReporter not init";
+ MetricsReporter metricsReporter = applicationModel.getBeanFactory().getBean(DefaultMetricsReporter.class);
+ if (metricsReporter != null) {
+ metricsReporter.refreshData();
+ //获取指定名称指标的数据
+ response = metricsReporter.getResponseWithName(metricsName);
+ }
+ return response;
+ }
+}
+...
+}
+```
+
+*需要注意的是，PrometheusMetricsReporter 也支持使用 Qos 命令查询内部指标数据，同样有对应的 PrometheusMetricsReporterCmd 实现，它们的工作原理相似。
+
+
+
+以上就是指标样本从收集完成到最终导出到外部指标中心的大致流程。
+
+