Flink Weekly | 每周社区动态更新 - 2020/03/14

[forideal <fs...@163.com>]

大家好，本文为 Flink Weekly 的第八期，由张成整理，主要内容包括：近期社区开发进展，邮件问题答疑以及社区直播和相关技术博客。



社区开发进展




Yangze Guo 在 FLIP-108 中建议 Flink 支持对 GPU 的资源管理。

[1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-108-Add-GPU-support-in-Flink-tp38286.html




从 Flink 1.10.0 开始，Apache Flink 项目开始维护 Flink Docker。

[2]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-111-Docker-image-unification-tp38444.html




Arvid 更新了FLIP-76（Unaligned Checkpoints），并希望尽快进行投票。

[3]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-tp33651.html




Tison 提议改变 flink-streaming-java 的依赖结构。

[4]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/PROPOSAL-Reverse-the-dependency-from-flink-streaming-java-to-flink-client-tp38469.html




Arvid 建议启动一个 Flink 开发者博客，这个博客涵盖当前正在做或者即将要做的工作。该提案已收到其他提交者的许多积极反馈。

[5] https://cwiki.apache.org/confluence/display/FLINK/Apache+Flink+Home

[6]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-dev-blog-tp38316p38344.html




Dawid 建议在 “CREATE TABLE” 语句中支持 “LIKE”。这样 Flink SQL 可以轻松地调整/扩展现有表。这个随着 Flink 增加对更多外部系统的支持，变得越来越相关。（SchemaRegistry，HiveCatalog，JDBCCatalog等)。

[7]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-110-Support-LIKE-clause-in-CREATE-TABLE-tp38378p38421.html




FLIP-58 在 SQL 和 Table API 中引入了 Python UDF。

FLIP-79 在 Flink SQL 中添加了 Function DDL，以便在 SQL 中注册 Java 和 Scala UDF。

基于这两个 FLIP，Wei Zhon 发布了 FLIP-106 在 SQL Function DDL 中支持 Python UDF。

[8]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-tp38107.html




用户问题




Jark Wu 正在统计使用 CDC 的工具，有兴趣的同学可以去围观。

[9]http://apache-flink.147419.n8.nabble.com/SURVEY-CDC-td1910.html




目前 Flink SQL 尚不支持 CREATE TABLE 自动从 format 或 schema 服务中推断出字段信息。

[10]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/CREATE-TABLE-with-Schema-derived-from-format-td33365.html

[11]https://issues.apache.org/jira/browse/FLINK-16420




目前 Flink SQL 尚不支持 SHOW CREATE TABLE，感兴趣的可以跟进 FLINK-16384。

[12]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/SHOW-CREATE-TABLE-in-Flink-SQL-td33296.html




目前在 Flink SQL 中使用 tumbling window 求 topn 暂时不支持，Jark Wu 在邮件中进行了详细的解答。

[13]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Get-Tumbling-Window-Top-K-using-SQL-td33236.html




pkuvisdudu 对 Flink 内存类型提出了相关疑问，Xintong Song 在邮件中进行了详细的解释。

[14]http://apache-flink.147419.n8.nabble.com/Flink-td1869.html




Flink SQL 将 group 聚合的数据写入到 HBase 表报 primary keys 问题，由 Jark Wu 进行了详细解答。

[15]http://apache-flink.147419.n8.nabble.com/Flink-SQL-group-HBase-primary-keys-td1877.html




小旋锋 提问 flink elasticsearch sink 如何能不丢数据？Jark Wu 进行了详细的回答，有兴趣的可以查阅。

[16]http://apache-flink.147419.n8.nabble.com/flink-elasticsearch-sink-td1862.html




sunfulin 遇到了在 SQL 中使用 UDF 同时开启 checkpoint，会导致任务报错。

[17]http://apache-flink.147419.n8.nabble.com/Flink-SQL-job-failed-to-submit-with-enableCheckpointing-while-SQL-contains-UDF-td1804.html




王博迪在邮件中提到如何进行问题咨询。英文交流邮箱是 user@flink.apache.org，中文交流邮箱是 user-zh@flink.apache.org。

[18]http://apache-flink.147419.n8.nabble.com/Development-related-problems-consultation-td1821.html




用户的任务大约6天挂一次，看日志定位为 checkpoint 失败导致。

[19]http://apache-flink.147419.n8.nabble.com/flink-td1871.html




nicygan 想以 per-job 的方式在 Yarn 上面提交 Flink 任务报错，Tison 在邮件列表中进行了详细的解答。

[20]http://apache-flink.147419.n8.nabble.com/jobGroph-pre-job-yarn-td1859.html




活动博客文章及其他




袋鼠云技术公司 DTStack 最近在 flink-packages.org 上发布了 FlinkX。

FlinkX 基于 Apache Flink，能够实现某些数据源之间的相互导入。

[21]https://flink-packages.org/packages/flinkx