FLINK WEEKLY 2019/36

[Zili Chen <wa...@gmail.com>]

FLINK WEEKLY 2019/36 <https://zhuanlan.zhihu.com/p/81771843>

很高兴和大家分享上周 FLINK 社区的发展。在过去的一周里，更多 FLINK 1.10 的特性被提出和讨论，包括新的 FLIP，来自 Apache
Pulsar 社区的 Connector 贡献等等。专门讨论 FLINK 1.10 将要实现什么特性的议程也在进行。
用户问题

Streaming File Sink疑问
<https://lists.apache.org/x/thread.html/0de96cbbb826c629dff96748590ae62bb6e20bdbb2ed45f8b21ad287@%3Cuser-zh.flink.apache.org%3E>

FLINK 作业运行的集群和结果写入的 HDFS 集群不是同一个，配置 nameservices 正确寻址的方法

关于Flink SQL DISTINCT问题
<https://lists.apache.org/x/thread.html/5a7a2abb5c2226ba7bd50157fe47117d7826fc14fd9bdc011d33bb42@%3Cuser-zh.flink.apache.org%3E>

FLINK SQL DISTINCT 窗口内去重的实现逻辑

flink1.9.0对DDL的支持
<https://lists.apache.org/x/thread.html/f7741536bab776e9abd17ca177f862f60353e51785d9dba332ab060c@%3Cuser-zh.flink.apache.org%3E>

FLINK 1.9.0 仅支持通过 CLI Create View

如何优化flink内存?
<https://lists.apache.org/x/thread.html/4b95a22110d76a554cea262274e68d8ff1746662a7abf751d7093518@%3Cuser-zh.flink.apache.org%3E>

特定业务使用滑动窗口导致占用大量内存，社区的成员分享了他们各自场景下对此问题的解决方案或绕过方案

flink1.9中blinkSQL对定义udf的TIMESTAMP类型报错
<https://lists.apache.org/x/thread.html/9c682666017bb774a10cace142a592391f4a66f53845fd7a68d6cfba@%3Cuser-zh.flink.apache.org%3E>

BLINK Planner 对 TIMESTAMP 支持与 FLINK Planner 的不同，确定为缺陷，将在 1.10 中修复

Making broadcast state queryable?
<https://lists.apache.org/x/thread.html/a63931d125b4b9ec3654e752137049645d77e0572f7039dcc4e9df29@%3Cuser.flink.apache.org%3E>

社区成员关于 queryable state 的改进建议，目前 queryable state 社区没有足够的 committer
能够参与到已有的改进方案讨论中。如果有更多的用户有对 queryable state 的需求的话，社区对此功能的优先级可能会重新定义

Post-processing batch JobExecutionResult
<https://lists.apache.org/x/thread.html/88b3dbedec4fc3762419f5c0a4860bd1d5c083fd0065169370a1ef9c@%3Cuser.flink.apache.org%3E>

批作业场景下在 env.execute 后进一步处理作业结果的需求，目前除了提交到 session 集群以外由于 FLINK
作业提交逻辑的实现均无法做进一步处理。正在进行的 Client API 改进的讨论有助于改善这一情况

Flink SQL client support for running in Flink cluster
<https://lists.apache.org/x/thread.html/5464459db08f2a756af0c61eb02d34a26f04c27c62140886cad52731@%3Cuser.flink.apache.org%3E>

FLINK SQL Client 仅支持和预先部署的 standalone session 集群交互，是一个比较基础的实现。同样受限于目前
Client API 的缺陷，有望和 Client API 的改进一同得到改善
开发进展

FLINK-13954 Clean up ExecutionEnvironment / JobSubmission code paths
<https://issues.apache.org/jira/browse/FLINK-13954>

Client API 重构的一部分，重构 ExecutionEnvironment 和作业提交的遗留代码路径正在推进中

FLINK-13958 Job class loader may not be reused after batch job recovery
<https://issues.apache.org/jira/browse/FLINK-13958>

在最新的 Batch 作业恢复模式 region based restart 下，ClassLoader 加载 native library
可能会出现重复加载

[DISCUSS] Support JSON functions in Flink SQL
<https://lists.apache.org/x/thread.html/b3c0265cc2b660fe11ce550b84a831a7606de12908ff7ff0959a4794@%3Cdev.flink.apache.org%3E>

Xu Forward 发起了在 FLINK SQL 中支持 JSON 函数的讨论

[DISCUSS] Reducing build times
<https://lists.apache.org/x/thread.html/b90aa518fcabce94f8e1de4132f46120fae613db6e95a2705f1bd1ea@%3Cdev.flink.apache.org%3E>

此前 Chesnay Schepler 发起的关于缩短 FLINK CI 构建时间的讨论有了新的进展，开始讨论是否将 FLINK 的 CI 迁移到
Travis 以外的系统上，以使得 e2e 的测试也能对每个 pull request 的提交都运行

[DISCUSS] Contribute Pulsar Flink connector back to Flink
<https://lists.apache.org/x/thread.html/88960831be9ce316c45ec48aeece946ca90c944fa34ddcd39083c6c2@%3Cdev.flink.apache.org%3E>

来自 Apache Pulsar 社区的 Yijie Shen 提出了将适用于 FLINK 1.9.0 和 Pulsar 2.4.0 的
connector 贡献到 FLINK 社区的讨论。然而，由于此前 Pulsar connector 曾经提出过相同请求，但在提出 pull
request 之后被搁置至今，FLINK 社区和 Pulsar 社区正在商讨一个合适的贡献和维护 connector 的方式

[DISCUSS] FLIP-61 Simplify Flink's cluster level RestartStrategy
configuration
<https://lists.apache.org/thread.html/e206390127bcbd9b24d9c41a838faa75157e468e01552ad241e3e24b@%3Cdev.flink.apache.org%3E>

Till Rohrmann 提出的关于简化 FLINK 集群级别重启策略配置的 FLIP，已经被接受，正在实现中

[DISCUSS] FLIP-62: Set default restart delay for FixedDelay- and
FailureRateRestartStrategy to 1s
<https://lists.apache.org/thread.html/9602b342602a0181fcb618581f3b12e692ed2fad98c59fd6c1caeabd@%3Cdev.flink.apache.org%3E>

Till Rohrmann 提出的把重启策略的延迟默认值设置为非零值的 FLIP，这有助于避免 FLINK 以外的系统生成的流的重启。FLIP
已经被接受，正在实现中

FLIP-63: Rework table partition support
<https://docs.google.com/document/d/15R3vZ1R_pAHcvJkRx_CWleXgl08WL3k_ZpnWSdzP7GY/edit#heading=h.kwyjplavecx4>

Jingsong Lee 提出的 FLIP-63，旨在重构 Table 的 partition 支持

[DISCUSS] FLIP-64: Support for Temporary Objects in Table module
<http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-64-Support-for-Temporary-Objects-in-Table-module-td32684.html>

Dawid Wysakowicz 提出的 FLIP-64，旨在支持 Table 中临时对象，是对 Catalog API 的功能完善

[DISCUSS] FLIP-66: Support time attribute in SQL DDL
<http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-66-Support-time-attribute-in-SQL-DDL-tt32766.html>

Jark Wu 提出的 FLIP-66，旨在支持在 SQL DDL 中的时间属性，这将有助于用户对 DDL 生成的 Table 应用 window 操作
社区新闻

[DISCUSS] Features for Apache Flink 1.10
<https://lists.apache.org/x/thread.html/22639ca7de62a18f50e90db53e73910bd99b7f00c82f7494f4cb035f@%3Cdev.flink.apache.org%3E>

Gary Yao 发起了 FLINK 1.10 特性的讨论，旨在初步确定 FLINK 将会在 1.10 中引入什么功能和改进。同时，Gary
提议了自己和 Yu Li 担当 1.10 的 release manager

[ANNOUNCE] Kostas Kloudas joins the Flink PMC
<https://lists.apache.org/x/thread.html/3a18881e85487967dcd156be74c28763ed2c7c13a27a93b530d25d30@%3Cdev.flink.apache.org%3E>

Kostas Kloudas 成为社区的 PMC，此前他已经为 FLINK 持续贡献多年，是 FLINK 的早期核心贡献开发者。

[ANNOUNCE] Java 11 cron builds activated on master
<https://lists.apache.org/x/thread.html/9388f1156008573ae5df2fa6df2cf4c2d63be810562d45451d98025f@%3Cdev.flink.apache.org%3E>

Java 11 的支持正式纳入测试流程当中，FLINK 有望在不久的将来全面支持 Java 11
Best,
tison.

Re: FLINK WEEKLY 2019/36

[Wesley Peng <we...@thepeng.eu>]

on 2019/9/9 11:23, Zili Chen wrote:
> FLINK WEEKLY 2019/36<https://zhuanlan.zhihu.com/p/81771843>
> 
> 很高兴和大家分享上周 FLINK 社区的发展。在过去的一周里，更多 FLINK 1.10 的特性被提出和讨论，包括新的 FLIP，来自 Apache
> Pulsar 社区的 Connector 贡献等等。专门讨论 FLINK 1.10 将要实现什么特性的议程也在进行。
> 用户问题

A nice work. thank you.

regards.