You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Yaoting Gong <fa...@gmail.com> on 2019/05/14 02:14:06 UTC
Flink 与 Hive 集成问题
大家好，
我是一个大数据新人。之前熟悉了下Flink Stream API 相关，用 Stream API 处理过kafka, es，hbase。
但目前调研 Flink
SQL这块遇到问题，我们需要支持多个数据源之间的join，尤其是hive。希望能做成一个小平台，新任务通过添加配置即可完成。
我们的Flink 是1.7.1。 在和hive交互时遇到问题。如果我用jdbc方式连hive，性能肯定不够。如果我直接连
底层hdfs文件，那么好像需要用 batch环境，和我需要join的stream有冲突。
希望大家能给点建议和思路，如果有相关项目，可以告知。目前我发现的FlinkStreamSQL项目，支持多个Source，但是没有hive
再次感谢
Re: Flink 与 Hive 集成问题
Posted by Bowen Li <bo...@gmail.com>.
“Flink-Hive 中国社区用户群“ -》https://ibb.co/Q88yV2m
On Tue, May 14, 2019 at 6:45 PM Yaoting Gong <fa...@gmail.com>
wrote:
> @Bowen Li
>
> 多谢解答。 社区的代码我有留意，也注意到上面的新模块。 我们目前是1.7.1。想了解下目前是否可能做个简单版本，看是否有思路。
>
> 图片apache邮箱列表是不支持的，你提到的钉钉是 “Apache Flink China社区大群” 这个群吗，我加了。
>
> thx.
>
>
>
> On Wed, May 15, 2019 at 7:35 AM Bowen Li <bo...@gmail.com> wrote:
>
> > Hi,
> >
> > 我们正在做 Flink-Hive 平台级的元数据和数据的集成，你可以关注下： flink-connector-hive
> > <
> https://github.com/apache/flink/tree/master/flink-connectors/flink-connector-hive>
> module，
> > Hive元数据 FLINK-11479 <https://issues.apache.org/jira/browse/FLINK-11479>
> > ，Hive数据 FLINK-10729 <https://issues.apache.org/jira/browse/FLINK-10729>
> ，
> > 计划1.9.0发布第一版
> >
> > 加下 Flink-Hive 钉钉官方群吧
> >
> > [image: image.png]
> >
> >
> > On Mon, May 13, 2019 at 7:14 PM Yaoting Gong <fall.for.you.ffm@gmail.com
> >
> > wrote:
> >
> >> 大家好，
> >> 我是一个大数据新人。之前熟悉了下Flink Stream API 相关，用 Stream API 处理过kafka,
> es，hbase。
> >> 但目前调研 Flink
> >> SQL这块遇到问题，我们需要支持多个数据源之间的join，尤其是hive。希望能做成一个小平台，新任务通过添加配置即可完成。
> >> 我们的Flink 是1.7.1。 在和hive交互时遇到问题。如果我用jdbc方式连hive，性能肯定不够。如果我直接连
> >> 底层hdfs文件，那么好像需要用 batch环境，和我需要join的stream有冲突。
> >>
> >> 希望大家能给点建议和思路，如果有相关项目，可以告知。目前我发现的FlinkStreamSQL项目，支持多个Source，但是没有hive
> >>
> >> 再次感谢
> >>
> >
>
Re: Flink 与 Hive 集成问题
Posted by Yaoting Gong <fa...@gmail.com>.
@Bowen Li
多谢解答。 社区的代码我有留意，也注意到上面的新模块。 我们目前是1.7.1。想了解下目前是否可能做个简单版本，看是否有思路。
图片apache邮箱列表是不支持的，你提到的钉钉是 “Apache Flink China社区大群” 这个群吗，我加了。
thx.
On Wed, May 15, 2019 at 7:35 AM Bowen Li <bo...@gmail.com> wrote:
> Hi,
>
> 我们正在做 Flink-Hive 平台级的元数据和数据的集成，你可以关注下： flink-connector-hive
> <https://github.com/apache/flink/tree/master/flink-connectors/flink-connector-hive> module，
> Hive元数据 FLINK-11479 <https://issues.apache.org/jira/browse/FLINK-11479>
> ，Hive数据 FLINK-10729 <https://issues.apache.org/jira/browse/FLINK-10729> ，
> 计划1.9.0发布第一版
>
> 加下 Flink-Hive 钉钉官方群吧
>
> [image: image.png]
>
>
> On Mon, May 13, 2019 at 7:14 PM Yaoting Gong <fa...@gmail.com>
> wrote:
>
>> 大家好，
>> 我是一个大数据新人。之前熟悉了下Flink Stream API 相关，用 Stream API 处理过kafka, es，hbase。
>> 但目前调研 Flink
>> SQL这块遇到问题，我们需要支持多个数据源之间的join，尤其是hive。希望能做成一个小平台，新任务通过添加配置即可完成。
>> 我们的Flink 是1.7.1。 在和hive交互时遇到问题。如果我用jdbc方式连hive，性能肯定不够。如果我直接连
>> 底层hdfs文件，那么好像需要用 batch环境，和我需要join的stream有冲突。
>>
>> 希望大家能给点建议和思路，如果有相关项目，可以告知。目前我发现的FlinkStreamSQL项目，支持多个Source，但是没有hive
>>
>> 再次感谢
>>
>
Re: Flink 与 Hive 集成问题
Posted by Bowen Li <bo...@gmail.com>.
Hi,
我们正在做 Flink-Hive 平台级的元数据和数据的集成，你可以关注下： flink-connector-hive
<https://github.com/apache/flink/tree/master/flink-connectors/flink-connector-hive>
module，
Hive元数据 FLINK-11479 <https://issues.apache.org/jira/browse/FLINK-11479>
，Hive数据 FLINK-10729 <https://issues.apache.org/jira/browse/FLINK-10729> ，
计划1.9.0发布第一版
加下 Flink-Hive 钉钉官方群吧
[image: image.png]
On Mon, May 13, 2019 at 7:14 PM Yaoting Gong <fa...@gmail.com>
wrote:
> 大家好，
> 我是一个大数据新人。之前熟悉了下Flink Stream API 相关，用 Stream API 处理过kafka, es，hbase。
> 但目前调研 Flink
> SQL这块遇到问题，我们需要支持多个数据源之间的join，尤其是hive。希望能做成一个小平台，新任务通过添加配置即可完成。
> 我们的Flink 是1.7.1。 在和hive交互时遇到问题。如果我用jdbc方式连hive，性能肯定不够。如果我直接连
> 底层hdfs文件，那么好像需要用 batch环境，和我需要join的stream有冲突。
>
> 希望大家能给点建议和思路，如果有相关项目，可以告知。目前我发现的FlinkStreamSQL项目，支持多个Source，但是没有hive
>
> 再次感谢
>