寻找pyflink技术专家，做有偿技术咨询

["lengzg@126.com" <le...@126.com>]

Dear All：

我司最近在大规模使用pyflink 1.16.2（单个作业5000核，pyflink集群作业需要约70000核）时，遇见了一些性能问题，测试了很多文章提到的优化项，目前效果有待提高，

也遇见了pyflink的mapstate内存泄漏问题，但是尚未定位根因。

我们部门计划通过付费咨询，请教apache flink社区的技术专家来我们公司，指导我们解决架构设计，性能等问题。

技术专家所耗费的时间和咨询费用（预算超过20W），都可以商量，我们申请了足够的预算做这件事儿。

邮件列表中的任何人都可以向我推荐pyflink技术专家，非常感谢！！！

联系方式：
lengzg@126.com 

手机号：
132 6048 0916



lengzg@126.com

回复： Re: 寻找pyflink技术专家，做有偿技术咨询

[Jeff <zi...@126.com>]

请问可否详细列出需求？


是只需要找出性能瓶颈？还是需要参数架构重构并至项目上线？








| |
Jeff
|
|
zilong0007@126.com
|
---- 回复的原邮件 ----
| 发件人 | lengzg@126.com<le...@126.com> |
| 发送日期 | 2024年12月2日 22:13 |
| 收件人 | mackliu007<ma...@gmail.com> |
| 抄送人 | user-zh<us...@flink.apache.org> |
| 主题 | Re: Re: 寻找pyflink技术专家，做有偿技术咨询 |
感谢回复！！！


架构：
    主要使用DataStream，状态后端为fsStateBackend，没有使用原生的flink窗口，目前主要针对单台设备的状态计算，因此在keyby进行计算；


性能瓶颈：
    CPU消耗很高，内存占用还好，可以接受，单个TM节点消耗60%的内存，没有网络延迟；


内存泄漏：
    主要是在python中大量使用了mapstate，在主动删除key后，有大量的已删除key仍然在内存中存在，但是，这些删除key对应的value已经删除，在实时计算场景中，经过几天的运行，内存增长最终会触发OOM，目前缓解方式，就是调低python.state.cache-size的默认值，由默认1000改为500，延缓触发OOM的时间，但是，CPU消耗随之增高，容易出现反压。


抱歉，因为公司电脑安全限制，我无法提供有效的日志文件，这封邮件是在个人电脑中编写的，


附件中是架构详细信息，如果需要的话，我再重建内存泄漏现场，然后向安全部门申请导出日志。


如果需要详聊可以加微信：132 6048 0916（手机同号）


如下是架构简图：




lengzg@126.com
 
发件人： Mack Liu
发送时间： 2024-12-02 21:23
收件人： user-zh
主题： Re: 寻找pyflink技术专家，做有偿技术咨询
你好，仿便给出以下详细的信息吗：
- 当前作业设计架构（如算子类型、状态后端使用、窗口设计、数据流设计等）。
- 性能瓶颈的表现（如 CPU 利用率、内存占用、网络延迟）。
- 内存泄漏的场景和日志信息。
 
lengzg@126.com <le...@126.com> 于2024年12月2日周一 20:10写道：
 
> Dear All：
>
> 我司最近在大规模使用pyflink
> 1.16.2（单个作业5000核，pyflink集群作业需要约70000核）时，遇见了一些性能问题，测试了很多文章提到的优化项，目前效果有待提高，
>
> 也遇见了pyflink的mapstate内存泄漏问题，但是尚未定位根因。
>
> 我们部门计划通过付费咨询，请教apache flink社区的技术专家来我们公司，指导我们解决架构设计，性能等问题。
>
> 技术专家所耗费的时间和咨询费用（预算超过20W），都可以商量，我们申请了足够的预算做这件事儿。
>
> 邮件列表中的任何人都可以向我推荐pyflink技术专家，非常感谢！！！
>
> 联系方式：
> lengzg@126.com
>
> 手机号：
> 132 6048 0916
>
>
>
> lengzg@126.com
>

Re: Re: 寻找pyflink技术专家，做有偿技术咨询

["lengzg@126.com" <le...@126.com>]

感谢回复！！！

架构：
    主要使用DataStream，状态后端为fsStateBackend，没有使用原生的flink窗口，目前主要针对单台设备的状态计算，因此在keyby进行计算；

性能瓶颈：
    CPU消耗很高，内存占用还好，可以接受，单个TM节点消耗60%的内存，没有网络延迟；

内存泄漏：
    主要是在python中大量使用了mapstate，在主动删除key后，有大量的已删除key仍然在内存中存在，但是，这些删除key对应的value已经删除，在实时计算场景中，经过几天的运行，内存增长最终会触发OOM，目前缓解方式，就是调低python.state.cache-size的默认值，由默认1000改为500，延缓触发OOM的时间，但是，CPU消耗随之增高，容易出现反压。

抱歉，因为公司电脑安全限制，我无法提供有效的日志文件，这封邮件是在个人电脑中编写的，

附件中是架构详细信息，如果需要的话，我再重建内存泄漏现场，然后向安全部门申请导出日志。

如果需要详聊可以加微信：132 6048 0916（手机同号）

如下是架构简图：




lengzg@126.com
 
发件人： Mack Liu
发送时间： 2024-12-02 21:23
收件人： user-zh
主题： Re: 寻找pyflink技术专家，做有偿技术咨询
你好，仿便给出以下详细的信息吗：
- 当前作业设计架构（如算子类型、状态后端使用、窗口设计、数据流设计等）。
- 性能瓶颈的表现（如 CPU 利用率、内存占用、网络延迟）。
- 内存泄漏的场景和日志信息。
 
lengzg@126.com <le...@126.com> 于2024年12月2日周一 20:10写道：
 
> Dear All：
>
> 我司最近在大规模使用pyflink
> 1.16.2（单个作业5000核，pyflink集群作业需要约70000核）时，遇见了一些性能问题，测试了很多文章提到的优化项，目前效果有待提高，
>
> 也遇见了pyflink的mapstate内存泄漏问题，但是尚未定位根因。
>
> 我们部门计划通过付费咨询，请教apache flink社区的技术专家来我们公司，指导我们解决架构设计，性能等问题。
>
> 技术专家所耗费的时间和咨询费用（预算超过20W），都可以商量，我们申请了足够的预算做这件事儿。
>
> 邮件列表中的任何人都可以向我推荐pyflink技术专家，非常感谢！！！
>
> 联系方式：
> lengzg@126.com
>
> 手机号：
> 132 6048 0916
>
>
>
> lengzg@126.com
>

Re: 寻找pyflink技术专家，做有偿技术咨询

[Mack Liu <ma...@gmail.com>]

你好，仿便给出以下详细的信息吗：
- 当前作业设计架构（如算子类型、状态后端使用、窗口设计、数据流设计等）。
- 性能瓶颈的表现（如 CPU 利用率、内存占用、网络延迟）。
- 内存泄漏的场景和日志信息。

lengzg@126.com <le...@126.com> 于2024年12月2日周一 20:10写道：

> Dear All：
>
> 我司最近在大规模使用pyflink
> 1.16.2（单个作业5000核，pyflink集群作业需要约70000核）时，遇见了一些性能问题，测试了很多文章提到的优化项，目前效果有待提高，
>
> 也遇见了pyflink的mapstate内存泄漏问题，但是尚未定位根因。
>
> 我们部门计划通过付费咨询，请教apache flink社区的技术专家来我们公司，指导我们解决架构设计，性能等问题。
>
> 技术专家所耗费的时间和咨询费用（预算超过20W），都可以商量，我们申请了足够的预算做这件事儿。
>
> 邮件列表中的任何人都可以向我推荐pyflink技术专家，非常感谢！！！
>
> 联系方式：
> lengzg@126.com
>
> 手机号：
> 132 6048 0916
>
>
>
> lengzg@126.com
>

Re: Re: 寻找pyflink技术专家，做有偿技术咨询

["lengzg@126.com" <le...@126.com>]

非常感谢！！！

其它的几条试验过。

关于第6条，【定期触发清理任务】，pyflink 1.16.2中，如何实现？我没找到对应的API。



lengzg@126.com
 
发件人： Mack Liu
发送时间： 2024-12-03 21:31
收件人： user-zh
主题： Re: 寻找pyflink技术专家，做有偿技术咨询
你好，你们可以尝试下以步骤看看：
 
1、尽可能避免高并发的keyBy操作，尤其是在状态很大的情况下。
 
2、考虑引入 Flink 自带的 RocksDB 状态后端或类似的高效存储方案，减少内存压力和加快状态访问速度。
 
3、如果场景允许，适当引入窗口操作进行批量处理，以减少实时计算的频繁状态更新。
 
4、通过调节taskmanager.memory.task.off-heap，减少JVM堆外内存的使用，提高内存使用效率。
 
5、尝试增加TM节点的线程数，利用Flink的并行计算能力优化CPU利用率。
 
6、在每次删除操作后，手动调用mapState.clear()，清理未释放的内存，同时定期触发清理任务。
 
 
lengzg@126.com <le...@126.com> 于2024年12月2日周一 20:10写道：
 
> Dear All：
>
> 我司最近在大规模使用pyflink
> 1.16.2（单个作业5000核，pyflink集群作业需要约70000核）时，遇见了一些性能问题，测试了很多文章提到的优化项，目前效果有待提高，
>
> 也遇见了pyflink的mapstate内存泄漏问题，但是尚未定位根因。
>
> 我们部门计划通过付费咨询，请教apache flink社区的技术专家来我们公司，指导我们解决架构设计，性能等问题。
>
> 技术专家所耗费的时间和咨询费用（预算超过20W），都可以商量，我们申请了足够的预算做这件事儿。
>
> 邮件列表中的任何人都可以向我推荐pyflink技术专家，非常感谢！！！
>
> 联系方式：
> lengzg@126.com
>
> 手机号：
> 132 6048 0916
>
>
>
> lengzg@126.com
>

Re: 寻找pyflink技术专家，做有偿技术咨询

[Mack Liu <ma...@gmail.com>]

你好，你们可以尝试下以步骤看看：

1、尽可能避免高并发的keyBy操作，尤其是在状态很大的情况下。

2、考虑引入 Flink 自带的 RocksDB 状态后端或类似的高效存储方案，减少内存压力和加快状态访问速度。

3、如果场景允许，适当引入窗口操作进行批量处理，以减少实时计算的频繁状态更新。

4、通过调节taskmanager.memory.task.off-heap，减少JVM堆外内存的使用，提高内存使用效率。

5、尝试增加TM节点的线程数，利用Flink的并行计算能力优化CPU利用率。

6、在每次删除操作后，手动调用mapState.clear()，清理未释放的内存，同时定期触发清理任务。


lengzg@126.com <le...@126.com> 于2024年12月2日周一 20:10写道：

> Dear All：
>
> 我司最近在大规模使用pyflink
> 1.16.2（单个作业5000核，pyflink集群作业需要约70000核）时，遇见了一些性能问题，测试了很多文章提到的优化项，目前效果有待提高，
>
> 也遇见了pyflink的mapstate内存泄漏问题，但是尚未定位根因。
>
> 我们部门计划通过付费咨询，请教apache flink社区的技术专家来我们公司，指导我们解决架构设计，性能等问题。
>
> 技术专家所耗费的时间和咨询费用（预算超过20W），都可以商量，我们申请了足够的预算做这件事儿。
>
> 邮件列表中的任何人都可以向我推荐pyflink技术专家，非常感谢！！！
>
> 联系方式：
> lengzg@126.com
>
> 手机号：
> 132 6048 0916
>
>
>
> lengzg@126.com
>