You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "nova.he" <no...@qq.com> on 2021/03/13 02:54:03 UTC
Pyflink dataset没有支持相关map reduce函数
你好，
最近项目想使用flink进行分布式计算，之前项目是Python的pandas项目，想尝试用pyflink进行项目改造，在使用dataset做批处理时，没有相关map reduce函数，所以有以下疑问：
1.Python flink的SDK还没支持dataset吗？
2.是不是有其他替代方法？
3.如果还没支持，有计划支持的时间吗？
4.flink table为啥不支持map reduce操作？
5.我们项目使用dataframe来处理数据，能放到flink上做分布式运算吗？dataframe直接转化为table的方式，table不支持map reduce操作，对应pandas项目改造成flink，有什么好的建议么？
非常感谢，十分看好flink，希望社区越做越大，辛苦了！
nova.he
nova.he@qq.com
Re: Pyflink dataset没有支持相关map reduce函数
Posted by Dian Fu <di...@gmail.com>.
Hi,
有几个疑问：
1）你说的map reduce函数具体指的什么？可以举一个例子吗？
2）DataSet API指的是Java的DataSet API吗？另外，Java的DataSet API会逐步废弃，统一到DataStream API上来，所以PyFlink里不会支持DataSet API，只支持Python Table API和Python DataStream API
> 2021年3月13日 上午10:54，nova.he <no...@qq.com> 写道：
>
> 你好，
> 最近项目想使用flink进行分布式计算，之前项目是Python的pandas项目，想尝试用pyflink进行项目改造，在使用dataset做批处理时，没有相关map reduce函数，所以有以下疑问：
> 1.Python flink的SDK还没支持dataset吗？
> 2.是不是有其他替代方法？
> 3.如果还没支持，有计划支持的时间吗？
> 4.flink table为啥不支持map reduce操作？
> 5.我们项目使用dataframe来处理数据，能放到flink上做分布式运算吗？dataframe直接转化为table的方式，table不支持map reduce操作，对应pandas项目改造成flink，有什么好的建议么？
>
>
> 非常感谢，十分看好flink，希望社区越做越大，辛苦了！
>
>
> nova.he
> nova.he@qq.com