FLINK WEEKLY 2019/35

[Zili Chen <wa...@gmail.com>]

FLINK WEEKLY 2019/35 <https://zhuanlan.zhihu.com/p/80774683>

FLINK 社区正在如火如荼的开发 1.10 的新特性中，许多对 FLINK
现有局限的讨论，包括功能上的、配置上的和文档上的问题都在热烈的讨论中。上周，user-zh
列表活跃度大大增加，社区的开发者和使用者对用户的问题的回复也非常迅速，FLINK 中文社区的壮大有目共睹。本周仍然分为用户列表的问答，FLINK
开发的进展和社区事件三个部分为大家推送上周的 FLINK 社区新闻。
USER

flink 1.9 消费kafka报错
<https://lists.apache.org/x/thread.html/2df510395dbd51a49356eab45968cff7b569c3636892e8a7503836f3@%3Cuser-zh.flink.apache.org%3E>

实际问题是使用 BLINK planner 的问题，阿里的开发者介绍了使用 BLINK planner 的姿势。

flink1.9 blink planner table ddl 使用问题
<https://lists.apache.org/x/thread.html/d219d3ca58958d5c749322a44b58bff21e6eb380825c7b6aa192df37@%3Cuser-zh.flink.apache.org%3E>
flink1.9
Blink planner create view 问题
<https://lists.apache.org/x/thread.html/990befb3a07ed0d3a408f9d31380ac171c8c3eb67347a07a442433f0@%3Cuser-zh.flink.apache.org%3E>

同样是 BLINK planner 的使用姿势问题。

关于elasticSearch table sink 构造过于复杂
<https://lists.apache.org/x/thread.html/be051c20cfc3e5752f7f43e124567ad1208faa59b46c17ee00594da7@%3Cuser-zh.flink.apache.org%3E>

查询结果输出到 ES sink 的连接方式。

关于flink状态后端使用Rocksdb序列化问题
<https://lists.apache.org/x/thread.html/093fb127a4dded07fcb4cfb90717f970b71fde2cdb78cc6f4fa33cb0@%3Cuser-zh.flink.apache.org%3E>

升级到 FLINK 1.8 使用 POJO Scheme Evolution 支持状态模式演化。

Checkpoint使用
<https://lists.apache.org/x/thread.html/11cb2332495993262f85f9652a28c999a0fbb0547aefafeda7d35fbc@%3Cuser-zh.flink.apache.org%3E>

作业从 Checkpoint 而不是 Savepoint 中恢复的方式，恢复时可以在一定程度上调整并行度。

FLINK 1.9 Docker 镜像 <https://hub.docker.com/_/flink>

FLINK 1.9 Docker 镜像已经发布，包括 Scala 2.11 和 2.12 的支持版本。

How can TMs distribute evenly over Flink on YARN cluster?
<https://lists.apache.org/x/thread.html/6f45a69fd0f4467119f3aaefff161e91a632e31f31b8751594e83653@%3Cuser.flink.apache.org%3E>

FLINK 目前无法保证在 YARN 上起作业的时候 TM 尽量分配到不同的节点上。

type error with generics
<https://lists.apache.org/x/thread.html/57bb69958aeabaa07cc56601c60293c085bad767339c9a12c5c053de@%3Cuser.flink.apache.org%3E>

FLINK Java API 使用时有时需要手动添加类型信息，在 Scala 的情况下由于有 implicit 所以有时候两种 API 的表现很不相同。

Re: Flink operators for Kubernetes
<https://lists.apache.org/x/thread.html/3295c816fb078295a3e42aebeb7fe2eb70ee32519fa32e374784c17a@%3Cdev.flink.apache.org%3E>

k8s 上的 FLINK operator 已经由 Apache Beam 社区的成员开发出来了，有 FLINK on k8s 需求的同学可以尝试使用。

Is there Go client for Flink?
<https://lists.apache.org/x/thread.html/f2e39de98b27aa06a4754168768da600c540f481aaa756654424332c@%3Cdev.flink.apache.org%3E>

目前 FLINK 只有 Java Client 和 REST API，使用 Go 的用户可以通过 REST API 来控制 FLINK
作业的提交和监控。

How to handle Flink Job with 400MB+ Uberjar with 800+ containers ?
<https://lists.apache.org/x/thread.html/9fb117fd2347fe8d48d103691a0bdd8132dcde61a4e2b4fb98bfbfbe@%3Cdev.flink.apache.org%3E>

FLINK 大作业包含大的 uberjar 的情况下的最佳实践，主要受限于 FLINK Resource Manager
的一些缺陷。阿里和腾讯的开发者都分享了自己处理大作业大包的方案。
DEV

[DISCUSS] FLIP-57 - Rework FunctionCatalog
<https://lists.apache.org/x/thread.html/132e94d11924dd2cabc5dd94c91a5d5608c7e4b53541197416545dfa@%3Cdev.flink.apache.org%3E>

Bowen Li 的 FLIP-57 旨在提供更好的 FLINK SQL 的开发和编写体验。

[DISCUSS] FLIP-60: Restructure the Table API & SQL documentation
<https://lists.apache.org/x/thread.html/0480d17dad32c2df62b3d401385f2140e221b42ee696494a14f73dc5@%3Cdev.flink.apache.org%3E>

Timo Walther 的 FLIP-60 旨在将 Table API & SQL 的文档从原来附属于 DataStream API
的情况提升为第一层级的文档。FLINK 的用户很多都通过编写 SQL 来实现自己的作业，文档的提升有助于改善用户开发时查阅相关信息的体验。

[DISCUSS] FLIP-59: Enable execution configuration from Configuration object
<https://lists.apache.org/x/thread.html/c4d17db6ce955c417bd9ff3b5e6a4b6b314a47b943583ab93a9e4bd2@%3Cdev.flink.apache.org%3E>

Dawid Wysakowicz 的 FLIP-59 与 FLIP-54 关系紧密，都是着重在改善 FLINK 的配置情况。目前，FLINK 的
execution configuration 只能在编写程序的时候从程序中设置，与其他许多配置可以通过配置文件或命令行参数等方法传递不一致。

[DISCUSS] Simplify Flink's cluster level RestartStrategy configuration
<https://lists.apache.org/x/thread.html/80bef7146f9696f35b1e50ff4acdd1cc3e87ae6f212d205aa7a72182@%3Cdev.flink.apache.org%3E>

Till Rohrmann 发起了简化 FLINK 集群级别重启策略配置的讨论，目前 FLINK
的重启策略配置在演化过程中变得很复杂，主要是除了推荐的 restart-strategy 配置外还有非常多的默认行为。

Re: [DISCUSS] Flink client api enhancement for downstream project
<https://lists.apache.org/x/thread.html/498dd3e0277681cda356029582c1490299ae01df912e15942e11ae8e@%3Cdev.flink.apache.org%3E>

Kostas Kloudas 更新了 Client API 重构的进展，按照开发文档实现 JobClient 和多部署后端的 Executor
的原型已经在开发中。
NEWS

[ANNOUNCE] Apache Flink-shaded 8.0 released
<https://lists.apache.org/x/thread.html/22d405293379aa34f7ac0489950b7259641bfc1a652209f6f4b46dae@%3Cdev.flink.apache.org%3E>

Apache Flink-shaded 8.0 发布，Chesnay Schepler 是本次的 release manager，这个项目为
FLINK 提供了 shaded 的依赖。

[DISCUSS] Releasing Flink 1.8.2
<https://lists.apache.org/x/thread.html/f76b3e6ba2cecf07cfa3b4e3a8bf2a06d2e9a7ce470b86a726da099a@%3Cdev.flink.apache.org%3E>

jincheng sun 发起了 FLINK 1.8.2 的发布讨论，有望在近期发布 1.8.2 版本。

Best,
tison.

Re: FLINK WEEKLY 2019/35

[Jark Wu <im...@gmail.com>]

很棒的总结。 多谢 Zili.



> 在 2019年9月2日，11:18，Zili Chen <wa...@gmail.com> 写道：
> 
> FLINK WEEKLY 2019/35 <https://zhuanlan.zhihu.com/p/80774683>
> 
> FLINK 社区正在如火如荼的开发 1.10 的新特性中，许多对 FLINK
> 现有局限的讨论，包括功能上的、配置上的和文档上的问题都在热烈的讨论中。上周，user-zh
> 列表活跃度大大增加，社区的开发者和使用者对用户的问题的回复也非常迅速，FLINK 中文社区的壮大有目共睹。本周仍然分为用户列表的问答，FLINK
> 开发的进展和社区事件三个部分为大家推送上周的 FLINK 社区新闻。
> USER
> 
> flink 1.9 消费kafka报错
> <https://lists.apache.org/x/thread.html/2df510395dbd51a49356eab45968cff7b569c3636892e8a7503836f3@%3Cuser-zh.flink.apache.org%3E>
> 
> 实际问题是使用 BLINK planner 的问题，阿里的开发者介绍了使用 BLINK planner 的姿势。
> 
> flink1.9 blink planner table ddl 使用问题
> <https://lists.apache.org/x/thread.html/d219d3ca58958d5c749322a44b58bff21e6eb380825c7b6aa192df37@%3Cuser-zh.flink.apache.org%3E>
> flink1.9
> Blink planner create view 问题
> <https://lists.apache.org/x/thread.html/990befb3a07ed0d3a408f9d31380ac171c8c3eb67347a07a442433f0@%3Cuser-zh.flink.apache.org%3E>
> 
> 同样是 BLINK planner 的使用姿势问题。
> 
> 关于elasticSearch table sink 构造过于复杂
> <https://lists.apache.org/x/thread.html/be051c20cfc3e5752f7f43e124567ad1208faa59b46c17ee00594da7@%3Cuser-zh.flink.apache.org%3E>
> 
> 查询结果输出到 ES sink 的连接方式。
> 
> 关于flink状态后端使用Rocksdb序列化问题
> <https://lists.apache.org/x/thread.html/093fb127a4dded07fcb4cfb90717f970b71fde2cdb78cc6f4fa33cb0@%3Cuser-zh.flink.apache.org%3E>
> 
> 升级到 FLINK 1.8 使用 POJO Scheme Evolution 支持状态模式演化。
> 
> Checkpoint使用
> <https://lists.apache.org/x/thread.html/11cb2332495993262f85f9652a28c999a0fbb0547aefafeda7d35fbc@%3Cuser-zh.flink.apache.org%3E>
> 
> 作业从 Checkpoint 而不是 Savepoint 中恢复的方式，恢复时可以在一定程度上调整并行度。
> 
> FLINK 1.9 Docker 镜像 <https://hub.docker.com/_/flink>
> 
> FLINK 1.9 Docker 镜像已经发布，包括 Scala 2.11 和 2.12 的支持版本。
> 
> How can TMs distribute evenly over Flink on YARN cluster?
> <https://lists.apache.org/x/thread.html/6f45a69fd0f4467119f3aaefff161e91a632e31f31b8751594e83653@%3Cuser.flink.apache.org%3E>
> 
> FLINK 目前无法保证在 YARN 上起作业的时候 TM 尽量分配到不同的节点上。
> 
> type error with generics
> <https://lists.apache.org/x/thread.html/57bb69958aeabaa07cc56601c60293c085bad767339c9a12c5c053de@%3Cuser.flink.apache.org%3E>
> 
> FLINK Java API 使用时有时需要手动添加类型信息，在 Scala 的情况下由于有 implicit 所以有时候两种 API 的表现很不相同。
> 
> Re: Flink operators for Kubernetes
> <https://lists.apache.org/x/thread.html/3295c816fb078295a3e42aebeb7fe2eb70ee32519fa32e374784c17a@%3Cdev.flink.apache.org%3E>
> 
> k8s 上的 FLINK operator 已经由 Apache Beam 社区的成员开发出来了，有 FLINK on k8s 需求的同学可以尝试使用。
> 
> Is there Go client for Flink?
> <https://lists.apache.org/x/thread.html/f2e39de98b27aa06a4754168768da600c540f481aaa756654424332c@%3Cdev.flink.apache.org%3E>
> 
> 目前 FLINK 只有 Java Client 和 REST API，使用 Go 的用户可以通过 REST API 来控制 FLINK
> 作业的提交和监控。
> 
> How to handle Flink Job with 400MB+ Uberjar with 800+ containers ?
> <https://lists.apache.org/x/thread.html/9fb117fd2347fe8d48d103691a0bdd8132dcde61a4e2b4fb98bfbfbe@%3Cdev.flink.apache.org%3E>
> 
> FLINK 大作业包含大的 uberjar 的情况下的最佳实践，主要受限于 FLINK Resource Manager
> 的一些缺陷。阿里和腾讯的开发者都分享了自己处理大作业大包的方案。
> DEV
> 
> [DISCUSS] FLIP-57 - Rework FunctionCatalog
> <https://lists.apache.org/x/thread.html/132e94d11924dd2cabc5dd94c91a5d5608c7e4b53541197416545dfa@%3Cdev.flink.apache.org%3E>
> 
> Bowen Li 的 FLIP-57 旨在提供更好的 FLINK SQL 的开发和编写体验。
> 
> [DISCUSS] FLIP-60: Restructure the Table API & SQL documentation
> <https://lists.apache.org/x/thread.html/0480d17dad32c2df62b3d401385f2140e221b42ee696494a14f73dc5@%3Cdev.flink.apache.org%3E>
> 
> Timo Walther 的 FLIP-60 旨在将 Table API & SQL 的文档从原来附属于 DataStream API
> 的情况提升为第一层级的文档。FLINK 的用户很多都通过编写 SQL 来实现自己的作业，文档的提升有助于改善用户开发时查阅相关信息的体验。
> 
> [DISCUSS] FLIP-59: Enable execution configuration from Configuration object
> <https://lists.apache.org/x/thread.html/c4d17db6ce955c417bd9ff3b5e6a4b6b314a47b943583ab93a9e4bd2@%3Cdev.flink.apache.org%3E>
> 
> Dawid Wysakowicz 的 FLIP-59 与 FLIP-54 关系紧密，都是着重在改善 FLINK 的配置情况。目前，FLINK 的
> execution configuration 只能在编写程序的时候从程序中设置，与其他许多配置可以通过配置文件或命令行参数等方法传递不一致。
> 
> [DISCUSS] Simplify Flink's cluster level RestartStrategy configuration
> <https://lists.apache.org/x/thread.html/80bef7146f9696f35b1e50ff4acdd1cc3e87ae6f212d205aa7a72182@%3Cdev.flink.apache.org%3E>
> 
> Till Rohrmann 发起了简化 FLINK 集群级别重启策略配置的讨论，目前 FLINK
> 的重启策略配置在演化过程中变得很复杂，主要是除了推荐的 restart-strategy 配置外还有非常多的默认行为。
> 
> Re: [DISCUSS] Flink client api enhancement for downstream project
> <https://lists.apache.org/x/thread.html/498dd3e0277681cda356029582c1490299ae01df912e15942e11ae8e@%3Cdev.flink.apache.org%3E>
> 
> Kostas Kloudas 更新了 Client API 重构的进展，按照开发文档实现 JobClient 和多部署后端的 Executor
> 的原型已经在开发中。
> NEWS
> 
> [ANNOUNCE] Apache Flink-shaded 8.0 released
> <https://lists.apache.org/x/thread.html/22d405293379aa34f7ac0489950b7259641bfc1a652209f6f4b46dae@%3Cdev.flink.apache.org%3E>
> 
> Apache Flink-shaded 8.0 发布，Chesnay Schepler 是本次的 release manager，这个项目为
> FLINK 提供了 shaded 的依赖。
> 
> [DISCUSS] Releasing Flink 1.8.2
> <https://lists.apache.org/x/thread.html/f76b3e6ba2cecf07cfa3b4e3a8bf2a06d2e9a7ce470b86a726da099a@%3Cdev.flink.apache.org%3E>
> 
> jincheng sun 发起了 FLINK 1.8.2 的发布讨论，有望在近期发布 1.8.2 版本。
> 
> Best,
> tison.