You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@rocketmq.apache.org by du...@apache.org on 2021/08/03 06:50:51 UTC
[rocketmq-streams] 23/35: modify README.md
This is an automated email from the ASF dual-hosted git repository.
duhengforever pushed a commit to branch main
in repository https://gitbox.apache.org/repos/asf/rocketmq-streams.git
commit aa81fe8256e908dc12c2757cbfd3d71f237f9a14
Author: xstorm1 <xs...@live.cn>
AuthorDate: Mon Aug 2 15:48:21 2021 +0800
modify README.md
---
README.md | 57 +--------------------------------------------------------
1 file changed, 1 insertion(+), 56 deletions(-)
diff --git a/README.md b/README.md
index d2ff23e..92a9b2f 100644
--- a/README.md
+++ b/README.md
@@ -8,19 +8,6 @@
## DataStream Example
```java
-<<<<<<< HEAD
- import org.apache.rocketmq.streams.client.transform.DataStream;
-
-
-
- DataStreamSource source=StreamBuilder.dataStream("namespace","pipeline");
-
- source
- .fromFile("/Users/junjie.cheng/text.txt",false)
- .map(message->message)
- .toPrint(1)
- .start();
-=======
import org.apache.rocketmq.streams.client.transform.DataStream;
DataStreamSource source=StreamBuilder.dataStream("namespace","pipeline");
@@ -30,7 +17,6 @@ DataStreamSource source=StreamBuilder.dataStream("namespace","pipeline");
.map(message->message)
.toPrint(1)
.start();
->>>>>>> main
```
## Maven Repository
@@ -58,10 +44,7 @@ StreamBuilder 用于构建流任务的源; 内部包含```dataStream()```和``
## DataStream API
### Source
-<<<<<<< HEAD
-=======
->>>>>>> main
DataStreamSource 是分段式编程的源头类,用于对接各种数据源, 从各大消息队列中获取数据;
+ ```fromFile``` 从文件中读取数据, 该方法包含俩个参数
@@ -75,15 +58,6 @@ DataStreamSource 是分段式编程的源头类,用于对接各种数据源,
+ ```isJson``` 是否json格式,非必填参数
+ ```tags``` rocketmq消费的tags值,用于过滤消息,非必填参数
-<<<<<<< HEAD
-
-+ ```from``` 自定义的数据源, 通过实现ISource接口实现自己的数据源
-
-### transform
-transform 允许在流计算过程中对输入源的数据进行修改,进行下一步的操作;DataStream API中包括```DataStream```,```JoinStream```, ```SplitStream```,```WindowStream```等多个transform类;
-
-#### DataStream
-=======
+ ```from``` 自定义的数据源, 通过实现ISource接口实现自己的数据源
### transform
@@ -92,7 +66,6 @@ transform 允许在流计算过程中对输入源的数据进行修改,进行
#### DataStream
->>>>>>> main
DataStream实现了一系列常见的流计算算子
+ ```map``` 通过将源的每个记录传递给函数func来返回一个新的DataStream
@@ -106,17 +79,6 @@ DataStream实现了一系列常见的流计算算子
+ ```toFile``` 将结果保存为文件,生成一个新的DataStreamAction实例
+ ```toDB``` 将结果保存到数据库
+ ```toRocketmq``` 将结果输出到rocketmq
-<<<<<<< HEAD
-+ ```toSls``` 将结果输出到sls
-+ ```to``` 将结果经过自定义的ISink接口输出到指定的存储
-+ ```window``` 在窗口内进行相关的统计分析,一般会与```groupBy```连用, ```window()```用来定义窗口的大小, ```groupBy()```用来定义统计分析的主key,可以指定多个
- + ```count``` 在窗口内计数
- + ```min``` 获取窗口内统计值的最小值
- + ```max``` 获取窗口内统计值得最大值
- + ```avg``` 获取窗口内统计值的平均值
- + ```sum``` 获取窗口内统计值的加和值
- + ```reduce``` 在窗口内进行自定义的汇总运算
-=======
+ ```to``` 将结果经过自定义的ISink接口输出到指定的存储
+ ```window``` 在窗口内进行相关的统计分析,一般会与```groupBy```连用, ```window()```用来定义窗口的大小, ```groupBy()```用来定义统计分析的主key,可以指定多个
+ ```count``` 在窗口内计数
@@ -125,27 +87,11 @@ DataStream实现了一系列常见的流计算算子
+ ```avg``` 获取窗口内统计值的平均值
+ ```sum``` 获取窗口内统计值的加和值
+ ```reduce``` 在窗口内进行自定义的汇总运算
->>>>>>> main
+ ```join``` 根据条件将将俩个流进行关联, 合并为一个大流进行相关的运算
+ ```union``` 将俩个流进行合并
+ ```split``` 将一个数据流按照标签进行拆分,分为不同的数据流供下游进行分析计算
+ ```with``` with算子用来指定计算过程中的相关策略,包括checkpoint的存储策略,state的存储策略等
-<<<<<<< HEAD
-
-# Strategy
-策略机制主要用来控制计算引擎运行过程中的底层逻辑,如checkpoint,state的存储方式等,后续还会增加对窗口、双流join等的控制;所有的控制策略通过```with```算子传入,可以同时传入多个策略类型;
-
-```java
- //指定checkpoint的存储策略
- source
- .fromRocketmq("TSG_META_INFO", "")
- .map(message -> message + "--")
- .toPrint(1)
- .with(CheckpointStrategy.db("jdbc:mysql://XXXXX:3306/XXXXX", "", "", 0L))
- .start();
-```
-=======
# Strategy
策略机制主要用来控制计算引擎运行过程中的底层逻辑,如checkpoint,state的存储方式等,后续还会增加对窗口、双流join等的控制;所有的控制策略通过```with```算子传入,可以同时传入多个策略类型;
@@ -158,5 +104,4 @@ source
.toPrint(1)
.with(CheckpointStrategy.db("jdbc:mysql://XXXXX:3306/XXXXX","","",0L))
.start();
-```
->>>>>>> main
+```
\ No newline at end of file