[GitHub] [incubator-streampark-website] wolfboys commented on a diff in pull request #248: Add blog

["wolfboys (via GitHub)" <gi...@apache.org>]

wolfboys commented on code in PR #248:
URL: https://github.com/apache/incubator-streampark-website/pull/248#discussion_r1322319695


##########
blog/StreamPark 在顺网科技的大规模生产实践.md:
##########
@@ -0,0 +1,210 @@
+# StreamPark 在顺网科技的大规模生产实践
+
+![图片](https://mmbiz.qpic.cn/mmbiz_png/8LQOHpLWEkEbtoM7dmRFX4tdJHGx4WQPW8U1yNxvmOeQxJwsLaVVAYOphG0Ec1eP3M6JzCKwIbJy3dhliaodFicQ/640?wx_fmt=png&wxfrom=13&tp=wxpic)
+
+**导读：**本文主要介绍顺网科技在使用 Flink 计算引擎中遇到的一些挑战，基于 StreamPark 作为实时数据平台如何来解决这些问题，从而大规模支持公司的业务。
+
+
+
+- 公司业务介绍
+- 遇到的挑战
+- 为什么用 StreamPark
+- 落地实践
+- 带来的收益
+- 未来规划
+
+## **公司业务介绍**
+
+杭州顺网科技股份有限公司成立于 2005 年，秉承科技连接快乐的企业使命，是国内具有影响力的泛娱乐技术服务平台之一。多年来公司始终以产品和技术为驱动，致力于以数字化平台服务为人们创造沉浸式的全场景娱乐体验。
+
+
+
+自顺网科技成立以来，随着业务快速发展，顺网科技服务了 8 万家线下实体店，拥有超过 5000 万互联网用户，年触达超 1.4 亿网民，每 10 家公共上网服务场所有 7 家使用顺网科技产品。
+
+在拥有庞大的用户群体的情况下，顺网科技为了给用户提供更加优质的产品体验，实现企业的数字化转型，从 2015 年开始大力发展大数据， Flink 在顺网科技的实时计算中一直扮演着重要的角色。在顺网科技，实时计算大概分为 4 个应用场景：
+
+- 用户画像实时更新：包括网吧画像和网民画像。
+- 实时风控：包括活动防刷、异地登录监测等。
+- 数据同步：包括 Kafka 数据同步到 Hive / Iceberg / ClickHouse 等。
+- 实时数据分析：包括游戏、语音、广告、直播等业务实时大屏。
+
+到目前为止，顺网科技每日需要处理 TB 级别的数据，总共拥有 700+ 个实时任务，其中 FlinkSQL 任务占比为 95% 以上。随着公司业务快速发展和数据时效性要求变高，预计在今年年底 Flink 任务会达到 900+。
+
+## **遇到的挑战**
+
+Flink 作为当下实时计算领域中最流行的技术框架之一，拥有高吞吐、低延迟、有状态计算等强大的特性。在探索中我们发现 Flink 虽然拥有强大的计算能力，但是对于作业开发管理和运维问题，社区并没有提供有效的解决方案。我们对 Flink 作业开发管理上遇到的一些痛点大概总结为 4 个方面，如下：
+
+![图片](https://mmbiz.qpic.cn/mmbiz_png/8LQOHpLWEkEhXheAYFK1sfJjCjgbtI4NSFv9icdvlLbet7PicRu05ictm4epSHYdYGoJ8LEU5ZIZ8Qbic8iaZAy4odg/640?wx_fmt=png&tp=wxpic&wxfrom=5&wx_lazy=1&wx_co=1)
+
+在面对 Flink 作业管理和运维上的的一系列痛点后，我们一直在寻找合适的解决方案来降低开发同学使用 Flink 门槛，提高工作效率。
+
+在没有遇到 StreamPark 之前，我们调研了部分公司的 Flink 管理解决方案，发现都是通过自研实时作业平台的方式来开发和管理 Flink 作业。于是，我们也决定自研一套实时计算管理平台，来满足了开发同学对于 Flink 作业管理和运维的基础需求，我们这套平台叫 Streaming-Launcher，大体功能如下：
+
+![图片](https://mmbiz.qpic.cn/mmbiz_png/8LQOHpLWEkEhXheAYFK1sfJjCjgbtI4NxHegtXL80u2K6Nzia5hszBRfNpYkfEn5geibnEjwX2J4Giah4wYPzI0AQ/640?wx_fmt=png&tp=wxpic&wxfrom=5&wx_lazy=1&wx_co=1)
+
+但是后续开发同学在使用过程中，发现 Streaming-Launcher 存在比较多的缺陷：Flink 开发成本依然过高、工作效率低下、问题排查困难。我们总结了 Streaming-Launcher 存在的缺陷，大致如下：
+
+### **SQL开发流程繁琐**
+
+作业务开发需要多个工具完成一个 SQL 作业开发，提高了开发同学的使用门槛。
+
+![cc0b1414ed43942e0ef5e9129c2bf817](D:\微信\WeChat Files\wxid_21agvh8tmps422\FileStorage\Temp\cc0b1414ed43942e0ef5e9129c2bf817.png)

Review Comment:
    image url is incorrect



-- 
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

To unsubscribe, e-mail: issues-unsubscribe@streampark.apache.org

For queries about this service, please contact Infrastructure at:
users@infra.apache.org