FlinkSQL构建流式应用checkpoint设置

[Even <45...@qq.com>]

Hi！
请教两个问题：
1、 Flink SQL CLI 纯文本方式构建一个流式应用，在DDL语句中如何设置checkpoint和并行度这些参数？
2、 Flink SQL CLI 纯文本方式构建的流式应用创建的那些表，我在另外一个CLI中是无法找到这些table的，这是为什么？如果任务挂掉了，应该怎么重启，还是必须重新再构建？

Re: FlinkSQL构建流式应用checkpoint设置

[zhisheng <zh...@gmail.com>]

也就是说这种 sql cli 作业启动后如果 kill 掉的时候，再次重启的话是不能够从 savepoint 或者 chekcpoint 恢复是吗？

godfrey he <go...@gmail.com> 于2020年4月15日周三 下午4:32写道：

> Hi Even,
>
> 1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism
> 和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令，如 set
> execution.parallelism=10;放方式动态设置。例外，对于如果使用 blink
> planner，可以用 table.exec.resource.default-parallelism 来配置默认并发。[1]
> 另外 SQL CLI 还不支持 checkpoint 的设置。
> 2. 目前 SQL CLI 默认是 in-memory catalog，在每个SQL CLI的独立进程中，不会共享。如果SQL
> CLI挂掉，in-memory catalog 也会消失。你可以配置你的catalog为 hive catalog [1], 这样你创建的表会持久化到
> hive catalog 中，多个SQL CLI使用同一个hive catalog，可以达到你说期望的共享。
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sqlClient.html#environment-files
>
> Best,
> Godfrey
>
> Even <45...@qq.com> 于2020年4月15日周三 下午3:35写道：
>
> > Hi！
> > 请教两个问题：
> > 1、 Flink SQL CLI 纯文本方式构建一个流式应用，在DDL语句中如何设置checkpoint和并行度这些参数？
> > 2、 Flink SQL CLI
> >
> 纯文本方式构建的流式应用创建的那些表，我在另外一个CLI中是无法找到这些table的，这是为什么？如果任务挂掉了，应该怎么重启，还是必须重新再构建？
>

Re: FlinkSQL构建流式应用checkpoint设置

[godfrey he <go...@gmail.com>]

Hi Even,

1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism
和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令，如 set
execution.parallelism=10;放方式动态设置。例外，对于如果使用 blink
planner，可以用 table.exec.resource.default-parallelism 来配置默认并发。[1]
另外 SQL CLI 还不支持 checkpoint 的设置。
2. 目前 SQL CLI 默认是 in-memory catalog，在每个SQL CLI的独立进程中，不会共享。如果SQL
CLI挂掉，in-memory catalog 也会消失。你可以配置你的catalog为 hive catalog [1], 这样你创建的表会持久化到
hive catalog 中，多个SQL CLI使用同一个hive catalog，可以达到你说期望的共享。

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sqlClient.html#environment-files

Best,
Godfrey

Even <45...@qq.com> 于2020年4月15日周三 下午3:35写道：

> Hi！
> 请教两个问题：
> 1、 Flink SQL CLI 纯文本方式构建一个流式应用，在DDL语句中如何设置checkpoint和并行度这些参数？
> 2、 Flink SQL CLI
> 纯文本方式构建的流式应用创建的那些表，我在另外一个CLI中是无法找到这些table的，这是为什么？如果任务挂掉了，应该怎么重启，还是必须重新再构建？