Flink Weekly | 每周社区动态更新 - 2020/02/21

[蒋晓峰 <pr...@163.com>]

大家好，本文为 Flink Weekly 的第六期，由蒋晓峰（子懿）整理，主要内容包括：Flink 1.10 版本的发布，近期社区开发进展，Flink Forward San Francisco 等活动和相关博客。




社区开发进展

==========




Apache Flink 1.10.0版本于2020年2月11日正式发布。该版本实现容纳超过200位贡献者对超过1200个issue的开发实现，包含对Flink作业的整体性能及稳定性的显著优化、对原生的Kubernetes的初步集成以及对Python(PyFlink)的重大优化，标志着对Blink的整合宣告完成，在增强流式SQL处理能力的同时具备成熟的批处理能力。

更多信息请参考：

[1]https://flink.apache.org/news/2020/02/11/release-1.10.0.html

[2]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Apache-Flink-1-10-0-released-td37564.html




Apache Flink Python API(PyFlink) 1.9.2版本于2020年2月13日正式发布。该版本是Apache Flink Python API 1.9系列的PyPI的第一个发布版本。

更多信息请参考：

[3]https://pypi.org/project/apache-flink/1.9.2/#files

[4]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Apache-Flink-Python-API-PyFlink-1-9-2-released-td37597.html




Apache Flink-shaded 10.0版本于2020年2月19日正式发布。该版本修复flink-shaded-hadoop-2-uber绑定错误的依赖版本问题，增加zk+curator模块以及禁止在META-INF /maven下包含原始pom的优化。

更多信息请参考：

[5]https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522&version=12346746

[6]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Apache-Flink-shaded-10-0-released-td37815.html




Aljoscha在Apache Flink社区提出一套新版的文档样式指南，样式指南提出最重要的几点是需要使用直接的语言并以读者为对象而不是被动的构造，并且使用“警报块”而不是简单的内联警报标签。

更多信息请参考：

[7]https://flink.apache.org/contributing/docs-style.html

[8]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-New-Documentation-Style-Guide-td37673.html




Apache Flink社区宣布Flink Forward San Francisco 2020计划，会议将于3月23日至25日在旧金山凯悦酒店举行。第一天提供Apache Flink开发人员培训，Apache Flink运行时和操作培训，Apache Flink调整和故障排除培训以及Apache Flink SQL开发人员培训四个培训课程，第二天和第三天有一系列精彩演讲分享包括来自AWS，Bird，Cloudera，Lyft，Netflix，Splunk，Uber，Yelp，阿里巴巴，Ververica等。

更多信息请参考：

[9]https://events.evolutionaryevents.com/flink-forward-sf-2020

[10]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Flink-Forward-San-Francisco-2020-Program-is-Live-td37676.html





来自阿里巴巴的李劲松受邀成为Apache Flink Committer，李劲松此前是Apache Beam Committer，在Apache Flink社区主要负责Flink SQL，整合Blink Planner以及实现修复Flink SQL诸多功能和Bug工作，活跃于开发者和用户邮件列表，帮助讨论设计并且回答用户相关问题，也帮助验证各种发布版本。恭喜李劲松！

更多信息请参考：

[11]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Jingsong-Lee-becomes-a-Flink-committer-td37938.html




Apache Flink社区一致通过DianFu发起的Scalar vectorized Python UDF in PyFlink讨论，意味着支持在向量化的Python UDF中一批行以列格式在JVM和Python VM之间传输，这批行将转换为Pandas.Series的集合并提供给矢量化的Python UDF，然后利用流行的Python库（例如Pandas，Numpy等）实现Python UDF。

更多信息参考：

[12]https://cwiki.apache.org/confluence/display/FLINK/FLIP-97%3A+Support+Scalar+Vectorized+Python+UDF+in+PyFlink

[13]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/RESULT-VOTE-FLIP-97-Support-scalar-vectorized-Python-UDF-in-PyFlink-td37745.html




伍翀发起FLIP-105关于支持Flink SQL解释和发出Changelog的讨论，本质上意味着能够将Changelog(Debezium，紧凑主题等)解释为更新模式下的动态表，之后生成的持续更新表可能是直接用于（时间表）联接和聚合。FLIP-105提出两种实现方法：一种是引入新的TableSource接口（更高优先级），另一种是引入新的SQL语法来解释和发出Changelog。

更多信息参考：

[14]https://docs.google.com/document/d/1onyIUUdWAHfr_Yd5nZOE7SOExBc6TiW5C4LiL5FrjtQ/edit#

[15]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-105-Support-to-Interpret-and-Emit-Changelog-in-Flink-SQL-td37665.html




程鹤群发起关于FLIP流程的改进的讨论，改进的FLIP流程步骤是1.在邮件列表上进行讨论。线程的主题格式为[DISCUSS] [FLIP] {您的FLIP标题}，另外设计文件应严格遵循FLIP模板；2.在讨论中达成协议后，创建一个FLIP Wiki页面，将Google文档复制到FLIP Wiki页面中；3.提案最终确定后，进行表决以通过提案。

更多信息参考：

[16]https://cwiki.apache.org/confluence/display/FLINK/Flink+Improvement+Proposals

[17]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Improvements-on-FLIP-Process-td37785.html




徐帅发起关于notFollowedBy()作为模式的最后一部分的讨论，CEP本身不支持notFollowBy()作为模式的最后一部分，通过如果模式以notFollowBy()结尾且时间间隔在T以内将其视为有效模式，如果前一个模式已匹配并且在间隔期间未出现notFollowBy()模式则从开始阶段的时间T之后将触发此模式来启用此功能。

更多信息参考：

[18]https://docs.google.com/document/d/1swUSHcVxbkWm7EPdOfOQXWj-A4gGDA8Y8R1DOUjokds/edit#

[19]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-notFollowedBy-with-interval-as-the-last-part-of-a-Pattern-td37513.html

Dawid发起关于删除ElasticSearch 2.X和5.X连接器的讨论，ElasticSearch 5.X连接器在某些系统上无法立即使用并且需要版本缓冲，并且无法在除ElasticSearch 5.X连接器中修改版本，因为5.x连接器与2.x共享一个公共类，建议删除至少2.x连接器并将5.X更新为可正常运行的ElasticSearch客户端模块。

更多信息参考：

[20]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Drop-connectors-for-Elasticsearch-2-x-and-5-x-td37471.html




Stephan发起开启1.11版本发布周期的讨论，Piotrek和Zhijiang负责担任1.11版本的Release Manager，发布日期按照最初的“ 3个月发布周期”假设定于五月中旬，意味着功能不迟于4月底冻结，确切的功能冻结日期仍需稍后社区讨论。

更多信息参考：

[21]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Kicking-off-the-1-11-release-cycle-td37817.html




杨克特发起在Table Env和ConnectTableDescriptor中删除TableSource/TableSink的注册讨论，FLIP-64解释为什么弃用TableSource和来自的TableSink接口，这些接口不适合逻辑表字段例如计算列，水印。Table Env中registerTableSource的暴露使得整个SQL协议相反。TableSource用作表的读取器应该依赖框架保存的其他元数据信息，这些信息最终来自

DDL或ConnectDescriptor。

更多信息参考：

[22]https://cwiki.apache.org/confluence/display/FLINK/FLIP-64%3A+Support+for+Temporary+Objects+in+Table+module

[23]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Remove-registration-of-TableSource-TableSink-in-Table-Env-and-ConnectTableDescriptor-td37270.html




程鹤群发起在opt中flink-ml-api和flink-ml-lib的讨论，FLIP-39介绍在TableAPI之上重建Flink ML管道，目前存在问题的是flink-ml-api和flink-ml-lib的jar仅存在于maven repo里，每当用户提交ML作业时只能依赖于ml模块并打包成Fat Jar，最好是在opt文件夹引入flink-ml-api and

flink-ml-lib的Jar以便用户能够直接使用。

更多信息参考：

[24]https://cwiki.apache.org/confluence/display/FLINK/FLIP-39+Flink+ML+pipeline+and+ML+libs

[25]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Include-flink-ml-api-and-flink-ml-lib-in-opt-td36476.html




活动博客文章及其他

==========




Salesforce的Andrew Torson发布博客文章“Salesforce使用Flink的应用程序日志智能和性能见解”。

[26]https://engineering.salesforce.com/application-log-intelligence-performance-insights-at-salesforce-using-flink-92955f30573f




Flink Forward San Francisco的会议程序现已上线，演讲嘉宾来自AWS，Bird，Cloudera，Lyft，Netflix，Splunk，Uber，Yelp，阿里巴巴，Ververica等，使用“ FFSF20-MailingList”获得50％会议通行证的折扣。

[27]https://www.flink-forward.org/sf-2020/conference-program