OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移 OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移 单日总数据处理量超 10 万亿,峰值大概超过每秒 3 亿,OPPO 大数据平台研发负责人张俊揭秘 OPPO 基于 Apache Flink 构建实时数仓的实践,内容分为以下四个方面:1.建设背景;2.顶层设计;3.落地实践;4.未来展望
菜鸟供应链实时数仓的架构演进及应用场景 菜鸟供应链实时数仓的架构演进及应用场景 在 Flink Forward Asia 大会实时数仓专场中,菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进,以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。
美团点评基于 Flink 的实时数仓平台实践 美团点评基于 Flink 的实时数仓平台实践 数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
Flink阿里内部版本好在哪?菜鸟供应链实时数仓实践 Flink阿里内部版本好在哪?菜鸟供应链实时数仓实践 菜鸟供应链业务链路长、节点多、实体多,使得技术团队在建设供应链实时数仓的过程中,面临着诸多挑战,如:如何实现实时变Key统计?如何实现实时超时统计?如何进行有效地资源优化?如何提升多实时流关联效率?如何提升实时作业的开发效率? 而 Blink 能否解决这些问题?下面一起来深入了解。
Apache Flink 在爱奇艺的应用 Apache Flink 在爱奇艺的应用 本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战,以及平台构建化流程。
OPPO数据中台之基石:基于Flink SQL构建实时数仓 OPPO数据中台之基石:基于Flink SQL构建实时数仓 本文整理自 2019 年 4 月 13 日在深圳举行的 Apache Flink Meetup,分享嘉宾张俊。本文主要内容如下:1.OPPO 实时数仓的演进思路;2.基于 Flink SQL 的扩展工作;3.构建实时数仓的应用案例;4.未来工作的思考和展望。
用 Flink 取代 Spark Streaming!知乎实时数仓架构演进 用 Flink 取代 Spark Streaming!知乎实时数仓架构演进 “数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速地获取数据反馈能够帮助公司更快地做出决策,更好地进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。
美团点评基于 Flink 的实时数仓建设实践 美团点评基于 Flink 的实时数仓建设实践 近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink 和 Storm 俩个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。