You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "ha.fengqi@aisino.com" <ha...@aisino.com> on 2024/03/28 06:18:18 UTC
1.19自定义数据源
原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
Re: Re: 1.19自定义数据源
Posted by Shawn Huang <hx...@gmail.com>.
你好，关于如何实现source接口可以参考以下资料：
[1] FLIP-27: Refactor Source Interface - Apache Flink - Apache Software
Foundation
<https://cwiki.apache.org/confluence/display/FLINK/FLIP-27%3A+Refactor+Source+Interface>
[2] 如何高效接入 Flink：Connecter / Catalog API 核心设计与社区进展 (qq.com)
<https://mp.weixin.qq.com/s/CAxAgVDzHZ6vZ3BSvi9mlA>
Best,
Shawn Huang
liuchao <li...@foxmail.com> 于2024年3月28日周四 15:39写道：
> 找一个实现source接口的算子，参考一下
>
>
> 刘超
> liuchao1019@foxmail.com
>
>
>
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> ha.fengqi@aisino.com>;
> 发送时间: 2024年3月28日(星期四) 下午3:34
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: Re: 1.19自定义数据源
>
>
>
> 我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？
>
> 发件人： gongzhongqiang
> 发送时间： 2024-03-28 15:05
> 收件人： user-zh
> 主题： Re: 1.19自定义数据源
> 你好：
>
> 当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
> 版本考虑，可以将这些SourceFunction用Source重新实现。
>
> ha.fengqi@aisino.com <ha.fengqi@aisino.com> 于2024年3月28日周四 14:18写道：
>
> >
> >
> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
> >
回复： Re: 1.19自定义数据源
Posted by liuchao <li...@foxmail.com>.
找一个实现source接口的算子，参考一下
刘超
liuchao1019@foxmail.com
------------------ 原始邮件 ------------------
发件人: "user-zh" <ha.fengqi@aisino.com>;
发送时间: 2024年3月28日(星期四) 下午3:34
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: Re: 1.19自定义数据源
我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？
发件人： gongzhongqiang
发送时间： 2024-03-28 15:05
收件人： user-zh
主题： Re: 1.19自定义数据源
你好：
当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
版本考虑，可以将这些SourceFunction用Source重新实现。
ha.fengqi@aisino.com <ha.fengqi@aisino.com> 于2024年3月28日周四 14:18写道：
>
> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
>
Re: Re:Re: Re: 1.19自定义数据源
Posted by Zhanghao Chen <zh...@outlook.com>.
请发送任意内容的邮件到 user-zh-unsubscribe@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。
[1]
https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8
Best,
Zhanghao Chen
________________________________
From: 熊柱 <18...@163.com>
Sent: Monday, April 1, 2024 11:14
To: user-zh@flink.apache.org <us...@flink.apache.org>
Subject: Re:Re: Re: 1.19自定义数据源
退订
在 2024-03-28 19:56:06，"Zhanghao Chen" <zh...@outlook.com> 写道：
>如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。
>
>
>[1] https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/
>
>Best,
>Zhanghao Chen
>________________________________
>From: ha.fengqi@aisino.com <ha...@aisino.com>
>Sent: Thursday, March 28, 2024 15:34
>To: user-zh <us...@flink.apache.org>
>Subject: Re: Re: 1.19自定义数据源
>
>我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？
>
>发件人： gongzhongqiang
>发送时间： 2024-03-28 15:05
>收件人： user-zh
>主题： Re: 1.19自定义数据源
>你好：
>
>当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
>版本考虑，可以将这些SourceFunction用Source重新实现。
>
>ha.fengqi@aisino.com <ha...@aisino.com> 于2024年3月28日周四 14:18写道：
>
>>
>> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
>>
Re:Re: Re: 1.19自定义数据源
Posted by 熊柱 <18...@163.com>.
退订
在 2024-03-28 19:56:06，"Zhanghao Chen" <zh...@outlook.com> 写道：
>如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。
>
>
>[1] https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/
>
>Best,
>Zhanghao Chen
>________________________________
>From: ha.fengqi@aisino.com <ha...@aisino.com>
>Sent: Thursday, March 28, 2024 15:34
>To: user-zh <us...@flink.apache.org>
>Subject: Re: Re: 1.19自定义数据源
>
>我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？
>
>发件人： gongzhongqiang
>发送时间： 2024-03-28 15:05
>收件人： user-zh
>主题： Re: 1.19自定义数据源
>你好：
>
>当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
>版本考虑，可以将这些SourceFunction用Source重新实现。
>
>ha.fengqi@aisino.com <ha...@aisino.com> 于2024年3月28日周四 14:18写道：
>
>>
>> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
>>
Re: Re: 1.19自定义数据源
Posted by Zhanghao Chen <zh...@outlook.com>.
如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。
[1] https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/
Best,
Zhanghao Chen
________________________________
From: ha.fengqi@aisino.com <ha...@aisino.com>
Sent: Thursday, March 28, 2024 15:34
To: user-zh <us...@flink.apache.org>
Subject: Re: Re: 1.19自定义数据源
我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？
发件人： gongzhongqiang
发送时间： 2024-03-28 15:05
收件人： user-zh
主题： Re: 1.19自定义数据源
你好：
当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
版本考虑，可以将这些SourceFunction用Source重新实现。
ha.fengqi@aisino.com <ha...@aisino.com> 于2024年3月28日周四 14:18写道：
>
> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
>
Re: Re: 1.19自定义数据源
Posted by "ha.fengqi@aisino.com" <ha...@aisino.com>.
我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？
发件人： gongzhongqiang
发送时间： 2024-03-28 15:05
收件人： user-zh
主题： Re: 1.19自定义数据源
你好：
当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
版本考虑，可以将这些SourceFunction用Source重新实现。
ha.fengqi@aisino.com <ha...@aisino.com> 于2024年3月28日周四 14:18写道：
>
> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
>
Re: 1.19自定义数据源
Posted by gongzhongqiang <go...@apache.org>.
你好：
当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
版本考虑，可以将这些SourceFunction用Source重新实现。
ha.fengqi@aisino.com <ha...@aisino.com> 于2024年3月28日周四 14:18写道：
>
> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
>