关于项目或者项目空间的提议

[banboo <li...@qq.com.INVALID>]

Hi，大牛们：
   由于最近要给数据接入平台增加实时数据接入的功能，开始研究inlong。发现里面没有 项目 或者 项目空间 这样的一个逻辑概念。
而在平时的数据接入工作中，用户经常是以项目的概念来管理相关的工作，比如同个项目下的成员可以共享资源（比如数据源）、数据流、同步任务等。
项目或者项目空间下的成员可以分不同的角色，对应不同的权限。


   虽然inlong的“数据分组”可以间接对应一个“项目”的概念，但是好像缺少角色成员的以及协同共享等操作。
另外，数据源这个资源在数据接入工作中是比较重要的，觉得可以独立配置然后重复使用（通过选择以快速配置），避免重复配置连接信息等操作。


以上是个人建议，也期望大牛们给些指引，谢谢

Re: 关于项目或者项目空间的提议

[Goson zhang <go...@apache.org>]

@banboo：

首先，谢谢你关注InLong项目👍

系统管理这块我们也觉得比较难抽象和对齐，不同的环境有不同的名称，后来我们考虑了下：我们把属于同一类数据编码，入库到同一个目标库表的数据称为一个数据流，streamId，不同的数据流可以独立存在；不同的数据流之上，他们可能存在一类关系，比如是属于同一个项目组，同一个产品，或者源头没有太大的从属关系，但有可能要把这些不同的数据流集中在一起进行消费后分析，基于这些需要，我们进行聚合形成一组数据流，groupId，类似我们看到的电缆，剥开后大的电缆里面还有一束束独立的子管道。

基于数据之上的管理，实际上就更复杂，数据资产是属于谁的，谁有生产权限，谁有查看权限，谁有消费权限，谁来负责审批，具体到groupId以及group下的streamId，会有不同的管理层级。不同的公司，不同的项目，不同的环境，有不同的要求。这块就更偏向于基于使用环境定制化开发，我们在Manager里可以看到相关表里有incharges，最初考虑是实现这块，但考虑到有可能做出来并不符合使用者习惯，因而我们留下了字段，由有需要的业务自行扩展。

具体Manager这块的方案，以及后续的改进，有相关的人在看，到时看看他的意见，系统也在不断的演进，后续有可能变更也说不准，所以个人的看法，仅供参考。

这块的内容不好用英语表达，见谅😁


banboo <li...@qq.com.invalid> 于2022年11月16日周三 16:10写道：

> Hi，大牛们：
> &nbsp;&nbsp; 由于最近要给数据接入平台增加实时数据接入的功能，开始研究inlong。发现里面没有 项目 或者 项目空间
> 这样的一个逻辑概念。
> 而在平时的数据接入工作中，用户经常是以项目的概念来管理相关的工作，比如同个项目下的成员可以共享资源（比如数据源）、数据流、同步任务等。
> 项目或者项目空间下的成员可以分不同的角色，对应不同的权限。
>
>
> &nbsp;&nbsp; 虽然inlong的“数据分组”可以间接对应一个“项目”的概念，但是好像缺少角色成员的以及协同共享等操作。
> 另外，数据源这个资源在数据接入工作中是比较重要的，觉得可以独立配置然后重复使用（通过选择以快速配置），避免重复配置连接信息等操作。
>
>
> 以上是个人建议，也期望大牛们给些指引，谢谢