You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@inlong.apache.org by GitBox <gi...@apache.org> on 2022/06/22 03:04:50 UTC
[GitHub] [inlong-website] healchow opened a new pull request, #441: [INLONG-396][Release] Add blog for the 1.2.0 release
healchow opened a new pull request, #441:
URL: https://github.com/apache/inlong-website/pull/441
Fixes #396
### Motivation
Add blog for the 1.2.0 release.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@inlong.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [inlong-website] yunqingmoswu commented on a diff in pull request #441: [INLONG-396][Release] Add blog for the 1.2.0 release
Posted by GitBox <gi...@apache.org>.
yunqingmoswu commented on code in PR #441:
URL: https://github.com/apache/inlong-website/pull/441#discussion_r903266899
##########
blog/2022-06-16-inlong-sort-etl.md:
##########
@@ -19,9 +18,9 @@ First of all, based on Apache Flink SQL, there are mainly the following consider
**Note**: for all codes of this scheme, please refer to [Apache inlong sort]（ https://github.com/apache/incubator-inlong/tree/master/inlong-sort ）Module, which can be downloaded and used in the upcoming version 1.2.0.
Review Comment:
for all codes of this scheme -> For all codes of this scheme
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@inlong.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [inlong-website] dockerzhang commented on a diff in pull request #441: [INLONG-396][Release] Add blog for the 1.2.0 release
Posted by GitBox <gi...@apache.org>.
dockerzhang commented on code in PR #441:
URL: https://github.com/apache/inlong-website/pull/441#discussion_r903243775
##########
i18n/zh-CN/docusaurus-plugin-content-blog/2022-06-22-release-1.2.0.md:
##########
@@ -0,0 +1,95 @@
+---
+title: 1.2.0 版本发布
+---
+
+Apache InLong（应龙）是一个一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。
+InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。
+
+## 1.2.0 版本特性总览
+**刚刚发布的 1.2.0-incubating 版本关闭了约 410+ 个 issue，包含 30+ 个特性和 190+ 个优化。**
+主要包括以下内容：
+
+### 增强管控能力
+- Dashboard 和 Manager 增加集群管理能力
+- Dashboard 优化数据流的创建流程
+- Manager 支持 MQ 的插件化扩展
+
+### 扩展采集节点
+- 支持采集 Pulsar 中的数据
+- 支持采集 MongoDB-CDC 中的数据
+- 支持采集 MySQL-CDC 中的数据
+- 支持采集 Oracle-CDC 中的数据
+- 支持采集 PostgreSQL-CDC 中的数据
+- 支持采集 SQLServer-CDC 中的数据
+
+### 扩展写入节点
+- 支持将数据写入 Kafka
+- 支持将数据写入 HBase
+- 支持将数据写入 PostgreSQL
+- 支持将数据写入 Oracle
+- 支持将数据写入 MySQL
+- 支持将数据写入 TDSQL-PostgreSQL
+- 支持将数据写入 Greenplum
+- 支持将数据写入 SQLServer
+
+### 支持数据转换
+- 支持字符串切割 String Split
+- 支持字符串正则替换 String Regular Replace
+- 支持字符串正则替换第一个匹配的值 String Regular Replace First Matched Value
+- 支持数据过滤 Data Filter
+- 支持数据去重 Data Distinct
+- 支持 Regular Join
+
+### 增强系统监控功能
+- 支持数据链路心跳的上报和管理
+
+### 其他优化
+- 优化 Manager Client 中的 HTTP 请求方式
+- 支持 DataProxy 多集群配置的下发
+- GitHub Action 检查、流水线优化
+
+## 1.2.0 版本特性介绍
+
+### 支持多集群管理
+Manager 增加了集群管理功能，支持多集群配置，解决了只能通过配置文件定义一套集群的限制，用户可根据需要在 Dashboard 创建不同类型的集群。
+多集群功能主要由 @healchow、@luchunliang、@leezng 设计和实现，感谢三位贡献者。
+
+### 丰富对文件数据和 MySQL Binlog 的采集方式
+1.2.0 版本支持采集完整的文件数据，同时也支持从 MySQL 的指定 Binlog 位置开始采集数据。该部分工作由 @Greedyu 完成。
+
+### 支持整库迁移
+Sort 支持对整个数据库中的数据进行迁移，此特性由 @EMsnap 贡献。
+
+### 支持写入 Canal 格式的数据
+支持向 Kafka 写入 Canal 格式的数据，此特性由 @thexiay 贡献。
+
+### 支持运行 SQL 脚本
+Sort 支持运行 SQL 脚本，详见 [INLONG-4405](https://github.com/apache/inlong/issues/4405) ，感谢 @gong 贡献此特性。
+
+### 支持数据链路心跳的上报和管理
+此版本支持数据分组、数据流及底层组件的心跳上报和管理，是后续系统各环节的状态管理的前提。此特性主要由 @baomingyu、@healchow 和 @kipshi 设计和贡献。
+
+### Manager 支持创建多种流向的资源
+1.2.0 版本中 Manager 增加了对部分存储资源的创建：
+
+- 创建 Kafka 的 Topic（@woofyzhao 贡献）
+- 创建 Iceberg 的库和表（@woofyzhao 贡献）
+- 创建 HBase 的命名空间和表（@woofyzhao 贡献）
+- 创建 ClickHouse 的库和表（@lucaspeng12138 贡献）
+- 创建 Elasticsearch 的索引（@lucaspeng12138 贡献）
+- 创建 PostgreSQL 的库和表（@baomingyu 贡献）
+
+### Sort 支持轻量化架构
+1.2.0 版本的 Sort 做了大量重构和提升，通过引入 Flink-CDC，支持多种 Extract 和 Load 节点，同时也支持数据的转换（即 Transform）。
+此特性包含非常多的子特性，主要的开发者有：@baomingyu，@EMsnap，@GanfengTan，@gong，@lucaspeng12138，@LvJiancheng，@kipshi，@thexiay，@woofyzhao，@yunqingmoswu，感谢各位的贡献。
+更多特性信息，请参考：[InLong Sort ETL 方案解析](2022-06-16-inlong-sort-etl_ch.md)
+
+### 其他特性及问题修复
+相关内容请参考 [版本说明](https://github.com/apache/inlong/blob/master/CHANGES.md) ，其中详细列出了此版本的特性、提升和 Bug 修复。
+
+## Apache InLong 后续规划
+后续版本，我们扩展更多的数据源端和存储端，覆盖更多的使用场景，并逐步提升系统的易用性和健壮性，主要包括：
+- 各组件的心跳上报
+- 数据链路的状态管理
+- 补充系统的审计和监控能力
Review Comment:
->
全链路审计支持写入 ClickHouse
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@inlong.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [inlong-website] healchow commented on a diff in pull request #441: [INLONG-396][Release] Add blog for the 1.2.0 release
Posted by GitBox <gi...@apache.org>.
healchow commented on code in PR #441:
URL: https://github.com/apache/inlong-website/pull/441#discussion_r903272225
##########
blog/2022-06-16-inlong-sort-etl.md:
##########
@@ -19,9 +18,9 @@ First of all, based on Apache Flink SQL, there are mainly the following consider
**Note**: for all codes of this scheme, please refer to [Apache inlong sort]（ https://github.com/apache/incubator-inlong/tree/master/inlong-sort ）Module, which can be downloaded and used in the upcoming version 1.2.0.
Review Comment:
done.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@inlong.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [inlong-website] healchow commented on a diff in pull request #441: [INLONG-396][Release] Add blog for the 1.2.0 release
Posted by GitBox <gi...@apache.org>.
healchow commented on code in PR #441:
URL: https://github.com/apache/inlong-website/pull/441#discussion_r903245837
##########
i18n/zh-CN/docusaurus-plugin-content-blog/2022-06-22-release-1.2.0.md:
##########
@@ -0,0 +1,95 @@
+---
+title: 1.2.0 版本发布
+---
+
+Apache InLong（应龙）是一个一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。
+InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。
+
+## 1.2.0 版本特性总览
+**刚刚发布的 1.2.0-incubating 版本关闭了约 410+ 个 issue，包含 30+ 个特性和 190+ 个优化。**
+主要包括以下内容：
+
+### 增强管控能力
+- Dashboard 和 Manager 增加集群管理能力
+- Dashboard 优化数据流的创建流程
+- Manager 支持 MQ 的插件化扩展
+
+### 扩展采集节点
+- 支持采集 Pulsar 中的数据
+- 支持采集 MongoDB-CDC 中的数据
+- 支持采集 MySQL-CDC 中的数据
+- 支持采集 Oracle-CDC 中的数据
+- 支持采集 PostgreSQL-CDC 中的数据
+- 支持采集 SQLServer-CDC 中的数据
+
+### 扩展写入节点
+- 支持将数据写入 Kafka
+- 支持将数据写入 HBase
+- 支持将数据写入 PostgreSQL
+- 支持将数据写入 Oracle
+- 支持将数据写入 MySQL
+- 支持将数据写入 TDSQL-PostgreSQL
+- 支持将数据写入 Greenplum
+- 支持将数据写入 SQLServer
+
+### 支持数据转换
+- 支持字符串切割 String Split
+- 支持字符串正则替换 String Regular Replace
+- 支持字符串正则替换第一个匹配的值 String Regular Replace First Matched Value
+- 支持数据过滤 Data Filter
+- 支持数据去重 Data Distinct
+- 支持 Regular Join
+
+### 增强系统监控功能
+- 支持数据链路心跳的上报和管理
+
+### 其他优化
+- 优化 Manager Client 中的 HTTP 请求方式
+- 支持 DataProxy 多集群配置的下发
+- GitHub Action 检查、流水线优化
+
+## 1.2.0 版本特性介绍
+
+### 支持多集群管理
+Manager 增加了集群管理功能，支持多集群配置，解决了只能通过配置文件定义一套集群的限制，用户可根据需要在 Dashboard 创建不同类型的集群。
+多集群功能主要由 @healchow、@luchunliang、@leezng 设计和实现，感谢三位贡献者。
+
+### 丰富对文件数据和 MySQL Binlog 的采集方式
+1.2.0 版本支持采集完整的文件数据，同时也支持从 MySQL 的指定 Binlog 位置开始采集数据。该部分工作由 @Greedyu 完成。
+
+### 支持整库迁移
+Sort 支持对整个数据库中的数据进行迁移，此特性由 @EMsnap 贡献。
+
+### 支持写入 Canal 格式的数据
+支持向 Kafka 写入 Canal 格式的数据，此特性由 @thexiay 贡献。
+
+### 支持运行 SQL 脚本
+Sort 支持运行 SQL 脚本，详见 [INLONG-4405](https://github.com/apache/inlong/issues/4405) ，感谢 @gong 贡献此特性。
+
+### 支持数据链路心跳的上报和管理
+此版本支持数据分组、数据流及底层组件的心跳上报和管理，是后续系统各环节的状态管理的前提。此特性主要由 @baomingyu、@healchow 和 @kipshi 设计和贡献。
+
+### Manager 支持创建多种流向的资源
+1.2.0 版本中 Manager 增加了对部分存储资源的创建：
+
+- 创建 Kafka 的 Topic（@woofyzhao 贡献）
+- 创建 Iceberg 的库和表（@woofyzhao 贡献）
+- 创建 HBase 的命名空间和表（@woofyzhao 贡献）
+- 创建 ClickHouse 的库和表（@lucaspeng12138 贡献）
+- 创建 Elasticsearch 的索引（@lucaspeng12138 贡献）
+- 创建 PostgreSQL 的库和表（@baomingyu 贡献）
+
+### Sort 支持轻量化架构
+1.2.0 版本的 Sort 做了大量重构和提升，通过引入 Flink-CDC，支持多种 Extract 和 Load 节点，同时也支持数据的转换（即 Transform）。
+此特性包含非常多的子特性，主要的开发者有：@baomingyu，@EMsnap，@GanfengTan，@gong，@lucaspeng12138，@LvJiancheng，@kipshi，@thexiay，@woofyzhao，@yunqingmoswu，感谢各位的贡献。
+更多特性信息，请参考：[InLong Sort ETL 方案解析](2022-06-16-inlong-sort-etl_ch.md)
+
+### 其他特性及问题修复
+相关内容请参考 [版本说明](https://github.com/apache/inlong/blob/master/CHANGES.md) ，其中详细列出了此版本的特性、提升和 Bug 修复。
+
+## Apache InLong 后续规划
+后续版本，我们扩展更多的数据源端和存储端，覆盖更多的使用场景，并逐步提升系统的易用性和健壮性，主要包括：
+- 各组件的心跳上报
+- 数据链路的状态管理
+- 补充系统的审计和监控能力
Review Comment:
OK.
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@inlong.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
[GitHub] [inlong-website] dockerzhang merged pull request #441: [INLONG-396][Release] Add blog for the 1.2.0 release
Posted by GitBox <gi...@apache.org>.
dockerzhang merged PR #441:
URL: https://github.com/apache/inlong-website/pull/441
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: commits-unsubscribe@inlong.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org