You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 夏帅 <jk...@dingtalk.com.INVALID> on 2020/07/17 02:47:36 UTC
回复：flink connector formats问题
你好,这个是可以进行自定义的
参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/
------------------------------------------------------------------
发件人：酷酷的浑蛋 <ap...@163.com>
发送时间：2020年7月17日(星期五) 10:42
收件人：user-zh <us...@flink.apache.org>
主 题：flink connector formats问题
请问flink可以自定义format吗，目前提供的format必须要进行一次数据过滤为规则数据才行，可不可以自定义format实现自己的数据格式source呢？
目前flink支持的：
| 格式 | 支持的连接器 |
| CSV | Apache Kafka, Filesystem |
| JSON | Apache Kafka, Filesystem, Elasticsearch |
| Apache Avro | Apache Kafka, Filesystem |
| Debezium CDC | Apache Kafka |
| Canal CDC | Apache Kafka |
| Apache Parquet | Filesystem |
| Apache ORC | Filesystem |
回复：flink connector formats问题
Posted by 酷酷的浑蛋 <ap...@163.com>.
找到了，谢谢
| |
apache22
|
|
apache22@163.com
|
签名由网易邮箱大师定制
在2020年07月17日 10:57，酷酷的浑蛋<ap...@163.com> 写道：
我看您写了'format.type' = ‘custom'，这个custom 是跟哪里关联的呢？ 还是说这里要写类路径？
在2020年07月17日 10:47，夏帅<jk...@dingtalk.com.INVALID> 写道：
你好,这个是可以进行自定义的
参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/
------------------------------------------------------------------
发件人：酷酷的浑蛋 <ap...@163.com>
发送时间：2020年7月17日(星期五) 10:42
收件人：user-zh <us...@flink.apache.org>
主 题：flink connector formats问题
请问flink可以自定义format吗，目前提供的format必须要进行一次数据过滤为规则数据才行，可不可以自定义format实现自己的数据格式source呢？
目前flink支持的：
| 格式 | 支持的连接器 |
| CSV | Apache Kafka, Filesystem |
| JSON | Apache Kafka, Filesystem, Elasticsearch |
| Apache Avro | Apache Kafka, Filesystem |
| Debezium CDC | Apache Kafka |
| Canal CDC | Apache Kafka |
| Apache Parquet | Filesystem |
| Apache ORC | Filesystem |
回复：flink connector formats问题
Posted by 酷酷的浑蛋 <ap...@163.com>.
我看您写了'format.type' = ‘custom'，这个custom 是跟哪里关联的呢？ 还是说这里要写类路径？
在2020年07月17日 10:47，夏帅<jk...@dingtalk.com.INVALID> 写道：
你好,这个是可以进行自定义的
参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/
------------------------------------------------------------------
发件人：酷酷的浑蛋 <ap...@163.com>
发送时间：2020年7月17日(星期五) 10:42
收件人：user-zh <us...@flink.apache.org>
主 题：flink connector formats问题
请问flink可以自定义format吗，目前提供的format必须要进行一次数据过滤为规则数据才行，可不可以自定义format实现自己的数据格式source呢？
目前flink支持的：
| 格式 | 支持的连接器 |
| CSV | Apache Kafka, Filesystem |
| JSON | Apache Kafka, Filesystem, Elasticsearch |
| Apache Avro | Apache Kafka, Filesystem |
| Debezium CDC | Apache Kafka |
| Canal CDC | Apache Kafka |
| Apache Parquet | Filesystem |
| Apache ORC | Filesystem |