You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by dixingxing85 <di...@163.com> on 2020/09/12 08:53:30 UTC

请教一下Flink和主流数据湖集成的情况

Hi all:
想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢

Sent from my iPhone


Sent from my iPhone

Re: 请教一下Flink和主流数据湖集成的情况

Posted by dixingxing85 <di...@163.com>.
好的,谢谢

Sent from my iPhone

> On Sep 15, 2020, at 16:26, Leonard Xu <xb...@gmail.com> wrote:
> 
> Hello
> 
> Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin <ma...@gmail.com>x 在做,可以直接问下他们。
> 
> 祝好
> Leonard Xu
> 
>> 在 2020年9月14日,16:52,dixingxing85 <di...@163.com> 写道:
>> 
>> 谢谢,是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作,主要想知道下进展和社区未来会重点支持哪个数据湖框架
>> 
>> Sent from my iPhone
>> 
>>>> On Sep 14, 2020, at 14:00, Congxian Qiu <qc...@gmail.com> wrote:
>>> 
>>> Hi
>>> 据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
>>> [1] https://github.com/apache/iceberg/pull/856
>>> Best,
>>> Congxian
>>> 
>>> 
>>> dixingxing85 <di...@163.com> 于2020年9月12日周六 下午4:54写道:
>>> 
>>>> Hi all:
>>>> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
>>>> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>>>> 
>>>> Sent from my iPhone
>>>> 
>>>> 
>>>> Sent from my iPhone
> 
> 


Re: 请教一下Flink和主流数据湖集成的情况

Posted by Leonard Xu <xb...@gmail.com>.
Hello

Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin <ma...@gmail.com>x 在做,可以直接问下他们。

祝好
Leonard Xu

> 在 2020年9月14日,16:52,dixingxing85 <di...@163.com> 写道:
> 
> 谢谢,是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作,主要想知道下进展和社区未来会重点支持哪个数据湖框架
> 
> Sent from my iPhone
> 
>> On Sep 14, 2020, at 14:00, Congxian Qiu <qc...@gmail.com> wrote:
>> 
>> Hi
>>  据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
>> [1] https://github.com/apache/iceberg/pull/856
>> Best,
>> Congxian
>> 
>> 
>> dixingxing85 <di...@163.com> 于2020年9月12日周六 下午4:54写道:
>> 
>>> Hi all:
>>> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
>>> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>>> 
>>> Sent from my iPhone
>>> 
>>> 
>>> Sent from my iPhone


Re: 请教一下Flink和主流数据湖集成的情况

Posted by dixingxing85 <di...@163.com>.
谢谢,是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作,主要想知道下进展和社区未来会重点支持哪个数据湖框架

Sent from my iPhone

> On Sep 14, 2020, at 14:00, Congxian Qiu <qc...@gmail.com> wrote:
> 
> Hi
>   据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
> [1] https://github.com/apache/iceberg/pull/856
> Best,
> Congxian
> 
> 
> dixingxing85 <di...@163.com> 于2020年9月12日周六 下午4:54写道:
> 
>> Hi all:
>> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
>> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>> 
>> Sent from my iPhone
>> 
>> 
>> Sent from my iPhone

Re: 请教一下Flink和主流数据湖集成的情况

Posted by Congxian Qiu <qc...@gmail.com>.
Hi
   据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
[1] https://github.com/apache/iceberg/pull/856
Best,
Congxian


dixingxing85 <di...@163.com> 于2020年9月12日周六 下午4:54写道:

> Hi all:
> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>
> Sent from my iPhone
>
>
> Sent from my iPhone