You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2022/11/28 00:53:02 UTC
怎样从flink执行计划json生成StreamGraph?
源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教
回复: 回复: Re: 怎样从flink执行计划json生成StreamGraph?
Posted by 仙路尽头谁为峰 <xl...@163.com>.
怎么指定？ 文档好像没有。sql的算子语义和DataStream不是一对一的，现在只看到Sink可以配置并行度。
从 Windows 版邮件发送
发件人: casel.chen
发送时间: 2022年12月2日 12:45
收件人: user-zh@flink.apache.org
主题: Re:回复: Re: 怎样从flink执行计划json生成StreamGraph?
sql作业最终也会转换成stream api生成jobgraph，因此同样可以支持修改每个算子并行度
在 2022-11-30 11:24:50，"仙路尽头谁为峰" <xl...@163.com> 写道：
>Sql作业好像不支持修改每个算子并行度吧，修改并行度需要从头开始重新生成JobGraph提交作业。
>Json主要是贴到Plan Visualizer 开发和调试用。
>https://flink.apache.org/visualizer/
>从 Windows 版邮件发送
>
>发件人: yidan zhao
>发送时间: 2022年11月30日 10:12
>收件人: user-zh@flink.apache.org
>主题: Re: Re: 怎样从flink执行计划json生成StreamGraph?
>
>好吧，sql我具体不了解，我用的stream api比较多，我了解是stream
>api到streamGraph，然后到jobGraph，然后就是直接rest api方式提交给集群执行。 standalone场景。
>
>casel.chen <ca...@126.com> 于2022年11月30日周三 00:16写道：
>>
>> 如果要支持调整flink sql作业每个算子资源和并行度的话，不是要从json转回streamGraph再提交吗？
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2022-11-29 10:07:40，"yidan zhao" <hi...@gmail.com> 写道：
>> >并不需要从执行计划json生成streamGraph呀~
>> >streamGraph提交之前直接转jobGraph。
>> >
>> >casel.chen <ca...@126.com> 于2022年11月28日周一 08:53写道：
>> >>
>> >> 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教
>
Re:回复: Re: 怎样从flink执行计划json生成StreamGraph?
Posted by "casel.chen" <ca...@126.com>.
sql作业最终也会转换成stream api生成jobgraph，因此同样可以支持修改每个算子并行度
在 2022-11-30 11:24:50，"仙路尽头谁为峰" <xl...@163.com> 写道：
>Sql作业好像不支持修改每个算子并行度吧，修改并行度需要从头开始重新生成JobGraph提交作业。
>Json主要是贴到Plan Visualizer 开发和调试用。
>https://flink.apache.org/visualizer/
>从 Windows 版邮件发送
>
>发件人: yidan zhao
>发送时间: 2022年11月30日 10:12
>收件人: user-zh@flink.apache.org
>主题: Re: Re: 怎样从flink执行计划json生成StreamGraph?
>
>好吧，sql我具体不了解，我用的stream api比较多，我了解是stream
>api到streamGraph，然后到jobGraph，然后就是直接rest api方式提交给集群执行。 standalone场景。
>
>casel.chen <ca...@126.com> 于2022年11月30日周三 00:16写道：
>>
>> 如果要支持调整flink sql作业每个算子资源和并行度的话，不是要从json转回streamGraph再提交吗？
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2022-11-29 10:07:40，"yidan zhao" <hi...@gmail.com> 写道：
>> >并不需要从执行计划json生成streamGraph呀~
>> >streamGraph提交之前直接转jobGraph。
>> >
>> >casel.chen <ca...@126.com> 于2022年11月28日周一 08:53写道：
>> >>
>> >> 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教
>
回复: Re: 怎样从flink执行计划json生成StreamGraph?
Posted by 仙路尽头谁为峰 <xl...@163.com>.
Sql作业好像不支持修改每个算子并行度吧，修改并行度需要从头开始重新生成JobGraph提交作业。
Json主要是贴到Plan Visualizer 开发和调试用。
https://flink.apache.org/visualizer/
从 Windows 版邮件发送
发件人: yidan zhao
发送时间: 2022年11月30日 10:12
收件人: user-zh@flink.apache.org
主题: Re: Re: 怎样从flink执行计划json生成StreamGraph?
好吧，sql我具体不了解，我用的stream api比较多，我了解是stream
api到streamGraph，然后到jobGraph，然后就是直接rest api方式提交给集群执行。 standalone场景。
casel.chen <ca...@126.com> 于2022年11月30日周三 00:16写道：
>
> 如果要支持调整flink sql作业每个算子资源和并行度的话，不是要从json转回streamGraph再提交吗？
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-11-29 10:07:40，"yidan zhao" <hi...@gmail.com> 写道：
> >并不需要从执行计划json生成streamGraph呀~
> >streamGraph提交之前直接转jobGraph。
> >
> >casel.chen <ca...@126.com> 于2022年11月28日周一 08:53写道：
> >>
> >> 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教
Re: Re: 怎样从flink执行计划json生成StreamGraph?
Posted by yidan zhao <hi...@gmail.com>.
好吧，sql我具体不了解，我用的stream api比较多，我了解是stream
api到streamGraph，然后到jobGraph，然后就是直接rest api方式提交给集群执行。 standalone场景。
casel.chen <ca...@126.com> 于2022年11月30日周三 00:16写道：
>
> 如果要支持调整flink sql作业每个算子资源和并行度的话，不是要从json转回streamGraph再提交吗？
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-11-29 10:07:40，"yidan zhao" <hi...@gmail.com> 写道：
> >并不需要从执行计划json生成streamGraph呀~
> >streamGraph提交之前直接转jobGraph。
> >
> >casel.chen <ca...@126.com> 于2022年11月28日周一 08:53写道：
> >>
> >> 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教
Re:Re: 怎样从flink执行计划json生成StreamGraph?
Posted by "casel.chen" <ca...@126.com>.
如果要支持调整flink sql作业每个算子资源和并行度的话，不是要从json转回streamGraph再提交吗？
在 2022-11-29 10:07:40，"yidan zhao" <hi...@gmail.com> 写道：
>并不需要从执行计划json生成streamGraph呀~
>streamGraph提交之前直接转jobGraph。
>
>casel.chen <ca...@126.com> 于2022年11月28日周一 08:53写道：
>>
>> 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教
Re: 怎样从flink执行计划json生成StreamGraph?
Posted by yidan zhao <hi...@gmail.com>.
并不需要从执行计划json生成streamGraph呀~
streamGraph提交之前直接转jobGraph。
casel.chen <ca...@126.com> 于2022年11月28日周一 08:53写道：
>
> 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教