You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by RS <ti...@163.com> on 2021/12/21 08:52:45 UTC
batch模式下任务plan的状态一直为CREATED
hi，
版本：flink1.14
模式：batch
测试场景：消费hive大量数据，计算某个字段的 top 10
使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
请问下，SortLimit状态一直为CREATED是正常现象吗？
数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
测试SQL：
SELECT price
FROM hive.data.data1
ORDER BY price DESC
LIMIT 10;
Re: Re: Re:Re: batch模式下任务plan的状态一直为CREATED
Posted by 刘建刚 <li...@gmail.com>.
创建任务之后，生成2个plan。。。
你这里的表述是两个相连接的JobVertex吧！第二个依赖第一个，需要等第一个执行完才会执行第二个。如果是流模式的话，二者会同时执行。
RS <ti...@163.com> 于2021年12月23日周四 10:30写道：
> 只有一条SQL，只是数据量比较大，使用的BATCH模式。
> SELECT price
>
> FROM hive.data.data1
>
> ORDER BY price DESC
>
>
>
> 在 2021-12-22 18:35:13，"刘建刚" <li...@gmail.com> 写道：
> >你的SQL是怎么写的？两个独立的SQL吗？Flink中有个参数table.dml-sync
> >，决定是否多条SQL语句顺序执行，默认是false，也就是多条语句是同时执行的。
> >
> >RS <ti...@163.com> 于2021年12月22日周三 09:25写道：
> >
> >> 跑了10几个小时终于跑完了，测试发现BATCH模式下，只有Source把所有数据消费完，后面的SortLimit
> plan才会创建，和流模式不太一样
> >>
> >>
> >>
> >>
> >> 在 2021-12-21 20:06:08，"RS" <ti...@163.com> 写道：
> >> >slot资源是绝对充足的，你提到的资源还涉及到其他资源吗？
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >在 2021-12-21 17:57:21，"刘建刚" <li...@gmail.com> 写道：
> >>
> >>
> >>固定资源的情况下，batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source，那么等source运行完毕后才能运行SortLimit。
> >> >>
> >> >>RS <ti...@163.com> 于2021年12月21日周二 16:53写道：
> >> >>
> >> >>> hi，
> >> >>>
> >> >>> 版本：flink1.14
> >> >>>
> >> >>> 模式：batch
> >> >>>
> >> >>> 测试场景：消费hive大量数据，计算某个字段的 top 10
> >> >>>
> >> >>>
> >> >>>
> >>
> 使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
> >> >>>
> >> >>> 请问下，SortLimit状态一直为CREATED是正常现象吗？
> >> >>>
> >> >>> 数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> 测试SQL：
> >> >>>
> >> >>> SELECT price
> >> >>>
> >> >>> FROM hive.data.data1
> >> >>>
> >> >>> ORDER BY price DESC
> >> >>>
> >> >>> LIMIT 10;
> >>
>
Re:Re: Re:Re: batch模式下任务plan的状态一直为CREATED
Posted by RS <ti...@163.com>.
只有一条SQL，只是数据量比较大，使用的BATCH模式。
SELECT price
FROM hive.data.data1
ORDER BY price DESC
在 2021-12-22 18:35:13，"刘建刚" <li...@gmail.com> 写道：
>你的SQL是怎么写的？两个独立的SQL吗？Flink中有个参数table.dml-sync
>，决定是否多条SQL语句顺序执行，默认是false，也就是多条语句是同时执行的。
>
>RS <ti...@163.com> 于2021年12月22日周三 09:25写道：
>
>> 跑了10几个小时终于跑完了，测试发现BATCH模式下，只有Source把所有数据消费完，后面的SortLimit plan才会创建，和流模式不太一样
>>
>>
>>
>>
>> 在 2021-12-21 20:06:08，"RS" <ti...@163.com> 写道：
>> >slot资源是绝对充足的，你提到的资源还涉及到其他资源吗？
>> >
>> >
>> >
>> >
>> >
>> >在 2021-12-21 17:57:21，"刘建刚" <li...@gmail.com> 写道：
>>
>> >>固定资源的情况下，batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source，那么等source运行完毕后才能运行SortLimit。
>> >>
>> >>RS <ti...@163.com> 于2021年12月21日周二 16:53写道：
>> >>
>> >>> hi，
>> >>>
>> >>> 版本：flink1.14
>> >>>
>> >>> 模式：batch
>> >>>
>> >>> 测试场景：消费hive大量数据，计算某个字段的 top 10
>> >>>
>> >>>
>> >>>
>> 使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
>> >>>
>> >>> 请问下，SortLimit状态一直为CREATED是正常现象吗？
>> >>>
>> >>> 数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> 测试SQL：
>> >>>
>> >>> SELECT price
>> >>>
>> >>> FROM hive.data.data1
>> >>>
>> >>> ORDER BY price DESC
>> >>>
>> >>> LIMIT 10;
>>
Re: Re:Re: batch模式下任务plan的状态一直为CREATED
Posted by 刘建刚 <li...@gmail.com>.
你的SQL是怎么写的？两个独立的SQL吗？Flink中有个参数table.dml-sync
，决定是否多条SQL语句顺序执行，默认是false，也就是多条语句是同时执行的。
RS <ti...@163.com> 于2021年12月22日周三 09:25写道：
> 跑了10几个小时终于跑完了，测试发现BATCH模式下，只有Source把所有数据消费完，后面的SortLimit plan才会创建，和流模式不太一样
>
>
>
>
> 在 2021-12-21 20:06:08，"RS" <ti...@163.com> 写道：
> >slot资源是绝对充足的，你提到的资源还涉及到其他资源吗？
> >
> >
> >
> >
> >
> >在 2021-12-21 17:57:21，"刘建刚" <li...@gmail.com> 写道：
>
> >>固定资源的情况下，batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source，那么等source运行完毕后才能运行SortLimit。
> >>
> >>RS <ti...@163.com> 于2021年12月21日周二 16:53写道：
> >>
> >>> hi，
> >>>
> >>> 版本：flink1.14
> >>>
> >>> 模式：batch
> >>>
> >>> 测试场景：消费hive大量数据，计算某个字段的 top 10
> >>>
> >>>
> >>>
> 使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
> >>>
> >>> 请问下，SortLimit状态一直为CREATED是正常现象吗？
> >>>
> >>> 数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
> >>>
> >>>
> >>>
> >>>
> >>> 测试SQL：
> >>>
> >>> SELECT price
> >>>
> >>> FROM hive.data.data1
> >>>
> >>> ORDER BY price DESC
> >>>
> >>> LIMIT 10;
>
Re:Re:Re: batch模式下任务plan的状态一直为CREATED
Posted by RS <ti...@163.com>.
跑了10几个小时终于跑完了，测试发现BATCH模式下，只有Source把所有数据消费完，后面的SortLimit plan才会创建，和流模式不太一样
在 2021-12-21 20:06:08，"RS" <ti...@163.com> 写道：
>slot资源是绝对充足的，你提到的资源还涉及到其他资源吗？
>
>
>
>
>
>在 2021-12-21 17:57:21，"刘建刚" <li...@gmail.com> 写道：
>>固定资源的情况下，batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source，那么等source运行完毕后才能运行SortLimit。
>>
>>RS <ti...@163.com> 于2021年12月21日周二 16:53写道：
>>
>>> hi，
>>>
>>> 版本：flink1.14
>>>
>>> 模式：batch
>>>
>>> 测试场景：消费hive大量数据，计算某个字段的 top 10
>>>
>>>
>>> 使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
>>>
>>> 请问下，SortLimit状态一直为CREATED是正常现象吗？
>>>
>>> 数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
>>>
>>>
>>>
>>>
>>> 测试SQL：
>>>
>>> SELECT price
>>>
>>> FROM hive.data.data1
>>>
>>> ORDER BY price DESC
>>>
>>> LIMIT 10;
Re:Re: batch模式下任务plan的状态一直为CREATED
Posted by RS <ti...@163.com>.
slot资源是绝对充足的，你提到的资源还涉及到其他资源吗？
在 2021-12-21 17:57:21，"刘建刚" <li...@gmail.com> 写道：
>固定资源的情况下，batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source，那么等source运行完毕后才能运行SortLimit。
>
>RS <ti...@163.com> 于2021年12月21日周二 16:53写道：
>
>> hi，
>>
>> 版本：flink1.14
>>
>> 模式：batch
>>
>> 测试场景：消费hive大量数据，计算某个字段的 top 10
>>
>>
>> 使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
>>
>> 请问下，SortLimit状态一直为CREATED是正常现象吗？
>>
>> 数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
>>
>>
>>
>>
>> 测试SQL：
>>
>> SELECT price
>>
>> FROM hive.data.data1
>>
>> ORDER BY price DESC
>>
>> LIMIT 10;
Re: batch模式下任务plan的状态一直为CREATED
Posted by 刘建刚 <li...@gmail.com>.
固定资源的情况下，batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source，那么等source运行完毕后才能运行SortLimit。
RS <ti...@163.com> 于2021年12月21日周二 16:53写道：
> hi，
>
> 版本：flink1.14
>
> 模式：batch
>
> 测试场景：消费hive大量数据，计算某个字段的 top 10
>
>
> 使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
>
> 请问下，SortLimit状态一直为CREATED是正常现象吗？
>
> 数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
>
>
>
>
> 测试SQL：
>
> SELECT price
>
> FROM hive.data.data1
>
> ORDER BY price DESC
>
> LIMIT 10;