You are viewing a plain text version of this content. The canonical link for it is here.
Posted to notifications@linkis.apache.org by GitBox <gi...@apache.org> on 2022/05/27 02:42:16 UTC
[GitHub] [incubator-linkis] Andywli commented on issue #2106: [Report]社区开发者例会纪要 Linkis Community Meeting Report
Andywli commented on issue #2106:
URL: https://github.com/apache/incubator-linkis/issues/2106#issuecomment-1139226462
2022-05-25
会议主题：Apache Linkis(incubating) 双周例会
会议时间：2022/05/25 19:30-21:00
腾讯会议：https://meeting.tencent.com/dm/cE6SdQIoSDEJ
会议号：396-220-298
主持人：徐杰
1. 【固定议题】Apache Linkis 孵化&版本 进展同步。 —— 徐杰
https://docs.qq.com/sheet/DSFJyTld3Y0JGeU54?tab=uf5xax
2. 【固定议题】Apache Linkis1.1.1 进展同步。 —— 夏晨
https://docs.qq.com/sheet/DVWZLYlFVTWVrdmlr
投票结束，2022-05-25发版邮件，这周发公众号软文，基本完成。
3. 【固定议题】Apache Linkis1.1.2 进展同步。 —— 陶克路
测试完成，文档完成，等待1.1.1发版完成
4. 【固定议题】Apache Linkis1.2.0 进展同步。 —— 王震
代码已完成合并，文档与测试用例正在准备准备
另外1.1.3 新特性代码已提交，补充单元测试，文档在完善，孙顺主持
5. 【固定议题】Apache Linkis 社区运营 进展同步。 —— 李文
开源社区运行指标增长正常，committer与pr等核心指标增长符合预期，从最近两周发出的公众号的推文来看，开发者们是比较关注技术层面的，还有Linux或者WDS相关的组件的一些新版本的发布，而对于其他的活动类的些软文类的文章关注度一般。
贡献者证书和摆台登记人数28人，总数为80人，需要进一步联系。
已经在B站等网站推出如何成为开发者视频，建议是从文档较为简单的方式开始。已经有7个志愿者通过文档开始给社区做贡献。
星策社区meetup，观看人数达到4000+，但是没有带给社区带来流量增长。
6月9日周四晚上，开展社区meetup活动，双周会延期一周至6月15日举行。
6. 【临时议题】测试环境白名单访问机制 —— 王和平
安全原因，现有的测试环境不能正常接入，需要采购如阿里云等外部资源进行重新部署，需要微众内部进一步进行沟通资源申请问题。
7. 【临时议题】Apache Linkis1.1.3特性介绍(Prometheus监控) —— 孙顺
主要介绍了Linkis
Prometheus监控架构涉及及部署方案，主要监控的数据在JVM、NETWORK，如有需要天翼云这边可贡献成功与失败任务数等更贴近业务的指标监控。
8. 【临时议题】Linkis容器化开始启动 —— 陶克路
Linis容器化开始启动开发，天翼云可提供一些代码与思路配合。
9. 【临时议题】基于linkis&dss 1.X版本的，周边组件适配情况—— 邸帅
强哥汇报了各个系统的版本规划情况，及各个版本之间的依赖关系。
10. 【固定议题】下一场例会的主持人，欢迎认领。
延期一周，6月15日举行，辉哥主持
11. 【临时议题】开发者问题答疑
https://docs.qq.com/sheet/DUlJIREJKaHlVVUVU?u=444994d9ce1841d3af5bb0d65efbe4a9&tab=ggfj6i
针对资源使用问题，建议用户从1.0.2升级至1.0.3以上版本，1.1.2将作为为长期支持版本。
k8s部署linkis存在，由于采用overlap网络，服务ip和端口是随机的，再重启的时候，linkis把eurka地址存在本地数据库中，导致重启后还是连接之前地址，建议不保留不必要的信息在数据库中，
数据源贯穿整个数据治理，如果在linkis中配置，不利于扩展和使用，主要Linkis数据源是针对工具开发使用，而非公司统一使用的数据源。
配置参数变化 是否需要在源码库中增加一个参数变化记录的md文档
近期动态
已合并
1. https://github.com/apache/incubator-linkis/pull/2168/files
FileSource中文件类型支持变量配置 介龙平 已合并
2. https://github.com/apache/incubator-linkis/issues/2124
优化结果集路径以日期分隔，解决单个文件夹子目录过多问题
不同日期的resustset路径在同一个文件夹，如“/tmp/linkis/hadoop/linkis/20220516_210525/IDE/40099”，可能会导致一个文件夹下文件太多
已合并 hdfs目录个数有限制
3. https://github.com/apache/incubator-linkis/pull/2109 添加sqoop引擎插件的支持
已合并
4. https://github.com/apache/incubator-linkis/issues/2103 修复了未使用
kerberos，在执行JDBC引擎任务时 kinit 线程启动的错误 已合并
5. https://github.com/apache/incubator-linkis/issues/2110
移除了源码中的二进制文件.mvn/wrapper/maven-wrapper.jar，调整.mvn/*相关的LICENSE说明
6. https://github.com/apache/incubator-linkis/pull/2113 升级
py4j-0.10.7-src.zip 至 py4j-0.10.9.5-src.zip
7. https://github.com/apache/incubator-linkis/pull/2116 linkis-storage
模块将 cglib 替换为spring 内置的cglib
8. https://github.com/apache/incubator-linkis/pull/2131
移除对pandas的引入，解决python引擎因为缺失依赖导致启动失败的问题
9. https://github.com/apache/incubator-linkis/pull/2133
数据源kafka与hive的临时存储路径增加检查自动创建目录功能
10. https://github.com/apache/incubator-linkis/pull/2142 修复JDBC Engine
控制台配置修改后无法立即生效的问题（cache时间调整为配置项）
11. https://github.com/apache/incubator-linkis/pull/2160
任务提交的消费队列支持配置特定大容量用户
12. https://github.com/apache/incubator-linkis/pull/2161 新增对结果集导出到
excel文件时，自动格式化参数的支持
待合并
1. https://github.com/apache/incubator-linkis/pull/2173 添加presto引擎插件的支持
2. https://github.com/apache/incubator-linkis/pull/2164 entrance
支持任务重试次数的参数- RetryCountLabel Asf头部缺失
3. https://github.com/apache/incubator-linkis/pull/2163
增加任务与执行EC的记录，EC信息记录到任务的 Metrics字段中
4. https://github.com/apache/incubator-linkis/pull/2159
EC的log日志支持按大小和时间切割滚动
5. https://github.com/apache/incubator-linkis/pull/2150
common和entrance模块都存在自定义变量替换的逻辑，优化聚集到common模块中处理
6. https://github.com/apache/incubator-linkis/pull/2147
dependabot的gson从2.8.5升级至2.8.9
7. https://github.com/apache/incubator-linkis-website/pull/265 引擎实现细节文档补充
待合并 构建失败
issue
1. https://github.com/apache/incubator-linkis/issues/2144
不同系统编译出现shell脚本授权+x权限失败问题 陶克路跟进
2. https://github.com/apache/incubator-linkis/issues/2141 将 JDBC 引擎中的 dbcp
更改为 dbcp2
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: notifications-unsubscribe@linkis.apache.org
For queries about this service, please contact Infrastructure at:
users@infra.apache.org
---------------------------------------------------------------------
To unsubscribe, e-mail: notifications-unsubscribe@linkis.apache.org
For additional commands, e-mail: notifications-help@linkis.apache.org