flink作业版本管理实现方案探讨

["casel.chen" <ca...@126.com>]

为支持作业上线评审和遇到问题进行版本回滚，实时计算平台中的flink作业版本管理采用哪种方案比较好？
一种声音是用数据库来存，另一种声音是使用git来管理：一个作业对应一个repo，里面有作业sql或jar文件，作业参数和配置文件等。
用数据库存的话作业文件比较割裂，像文本文件可以直接存表，但像jar包的话得存分布式文件系统，同时在数据表中记录文件id。我个人更倾向于用git，不知道这里会不会有什么坑？还请做过的朋友给个建议，谢谢！




 

Re: flink作业版本管理实现方案探讨

[mokaful <64...@qq.com>]

是的，参照了flink自带的作业提交流程思路，加入了定制逻辑



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink作业版本管理实现方案探讨

[花乞丐 <hu...@163.com>]

你们这个专门提交作业的gateway程序自己开发的吗



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink作业版本管理实现方案探讨

[mokaful <64...@qq.com>]

观望～～我们目前的实现是采用数据库，数据库+一个专门提交作业的gateway程序



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re:flink作业版本管理实现方案探讨

[Michael Ran <gr...@163.com>]

类似hive+hdfs/oss 等<br/>可以存文本文件到分布式文件系统，数据库里面就存放地址就行
在 2021-01-19 23:25:09，"casel.chen" <ca...@126.com> 写道：
>为支持作业上线评审和遇到问题进行版本回滚，实时计算平台中的flink作业版本管理采用哪种方案比较好？
>一种声音是用数据库来存，另一种声音是使用git来管理：一个作业对应一个repo，里面有作业sql或jar文件，作业参数和配置文件等。
>用数据库存的话作业文件比较割裂，像文本文件可以直接存表，但像jar包的话得存分布式文件系统，同时在数据表中记录文件id。我个人更倾向于用git，不知道这里会不会有什么坑？还请做过的朋友给个建议，谢谢！
>
>
>
>
>