Flink Weekly | 每周社区动态更新 - 2020/03/18

[LakeShen <sh...@gmail.com>]

大家好，本文为 Flink Weekly 的第九期，由沈磊(LakeShen)整理，主要内容包括：近期社区开发进展，邮件问题答疑以及 Flink
中文社区相关技术博客的分享。

社区开发进展
[Table API & SQL] Jingsong Li 发起 FLIP-115 的讨论，主要在 Flink Table 支持 FileSystem
Connector,FLIP-115 主要内容包括：
1. 在 Flink Table 中支持 FileSystem Table Factory，同时支持csv/parquet/orc/json/avro
格式。

2. 支持在流应用或者 Flink On Hive 中数据输出。

更多信息请参考：

[1
https://cwiki.apache.org/confluence/display/FLINK/FLIP-115%3A+Filesystem+connector+in+Table

[2]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/DISCUSS-FLIP-115-Filesystem-connector-in-Table-td33625.html

[RunTime / Configuration]  Andrey 发起 FLIP-116 统一的 JobManager 的内存配置的讨论，在
FLIP-49中，我们针对 TaskManager进行统一的内存管理和配置，在 Flink 1.10 版本中 release 该功能。为了让
JobManager 的内存模型和配置保持对齐，同时针对用户代码 native non-direct memory 的使用，在FLIP-116
中都进行了详细说明。

更多信息请参考：

[3]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-49%3A+Unified+Memory+Configuration+for+TaskExecutors

[4]
https://cwiki.apache.org/confluence/display/FLINK/FLIP+116%3A+Unified+Memory+Configuration+for+Job+Managers

[5]
https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_detail.html#overview
[Connectors / HBase] Flavio 发起了 FLIP-117 HBase Catalog的讨论，该 FLIP 主要讨论
HBaseCatalog 的实现。

更多信息参考：

[6]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-117%3A+HBase+catalog

[7]https://issues.apache.org/jira/browse/FLINK-16575
Yu Li 发起了 Releasing Flink 1.10.1 的相关讨论。

[8]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-10-1-td38689.html

为了让大家了解到 Flink  1.11 的相关特性，Zhijiang 发起了 Flink 1.11
特性的讨论，大家有什么想法或者期待可以在下面邮件中进行相关回复。

[9]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Features-of-Apache-Flink-1-11-td38724.html#a38793





用户问题
shravan 社区提问：当 k8s 集群突然 down 掉时，如何优雅的通过 stop with savepoint 停止作业，Vijay
进行了解答。

[10]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Stop-job-with-savepoint-during-graceful-shutdown-on-a-k8s-cluster-td33626.html
Alexander 使用 Flink 1.10 ，对于 Mesos 容器内存配置方面遇到一些问题，Yangze Guo进行了详细解答。[11]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-1-10-container-memory-configuration-with-Mesos-td33594.htmlwanglei2
询问了在  Flink SQL 任务中，如何设置状态后端,以及在 SQL Client 中，维表 Join 任务没有运行问题。Jingsong Li
和 Zhenghua Gao 分别进行了详细的回答。

[12]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/How-to-set-stateBackEnd-in-flink-sql-program-td33590.html

[13]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/dimention-table-join-not-work-under-sql-client-fink-1-10-0-td33616.html
Yuval 提问了关于 Flink 如何从增量的 Checkpoint 状态回复的一些问题，Andrey 进行了详细的解答。

[14]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Restoring-state-from-an-incremental-RocksDB-checkpoint-td33630.html

Eyal 遇到了一些 Flink On Yarn 方面的日志打印配置问题，社区同学进行了解答。

[15]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Setting-app-Flink-logger-td33537.html
Flavio 在社区提问了关于 Alink 和 Flink ML 的问题，感兴趣的可以看一下。

[16]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Alink-and-Flink-ML-td33332.html
LakeShen 询问了关于从 Checkppoint 状态文件恢复，是否能够改变算子的并发的问题。对于 Checkpoint
的状态文件，当任务从其开始恢复时，可以调整算法的并发度，只要不要修改算子最大的并发度就行。

[17]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Cancel-the-flink-task-and-restore-from-checkpoint-can-I-change-the-flink-operator-s-parallelism-td33613.html
karl 在社区提问了关于 Flink Session 窗口的状态 TTL 问题。

[18]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Session-Windows-State-TTL-td33349.html



活动/博客文章/其他

SQL 开发任务超 50%，滴滴实时计算的演进和优化

[19]
https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247486354&idx=1&sn=02a55f72b950cac757fafd79e10b39a3&chksm=fd3b85d0ca4c0cc68c558aff88c4f207dbd55239c931b339f5cc0de6681923a20542f035609b&mpshare=1&scene=1&srcid=&sharer_sharetime=1584422047859&sharer_shareid=3e9e3225194926b8fbe2f7e547e483de&rd2werd=1#wechat_redirect

Flink 如何支持特征工程、在线学习、在线预测等 AI 场景？

[20]
https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247486319&idx=1&sn=d095fd58dd0a447f41b616279de1983e&chksm=fd3b852dca4c0c3be3f9a7cc0b750f57ab17bda7079d2da52d54c3f0ea9e84e42a848ed90167&mpshare=1&scene=1&srcid=&sharer_sharetime=1584422074948&sharer_shareid=3e9e3225194926b8fbe2f7e547e483de&rd2werd=1#wechat_redirect

一行配置作业性能提升53%！Flink SQL 性能之旅

[21]
https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247486278&idx=1&sn=9b90e3dff21d7e973b9e40777381d032&chksm=fd3b8504ca4c0c121efd09bf3823b4f856529ab2911f09035ddffbd08fcf8d6369b28b46642e&mpshare=1&scene=1&srcid=&sharer_sharetime=1584422086156&sharer_shareid=3e9e3225194926b8fbe2f7e547e483de&rd2werd=1#wechat_redirect

有赞实时任务优化：Flink Checkpoint 异常解析与应用实践

[22]
https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247486257&idx=1&sn=22484a15929de46cf5e8a68aadf50875&chksm=fd3b8573ca4c0c650c34deb00c12e5130af471739364a95a81b9091690b09eb8094b49bb79bf&mpshare=1&scene=1&srcid=&sharer_sharetime=1584422097105&sharer_shareid=3e9e3225194926b8fbe2f7e547e483de&rd2werd=1#wechat_redirect