日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

随着微博业务线的快速扩张,微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处理日志数量超过百亿,接入产品线、业务日志类型若干。

浙公网安备 33010802010061号 浙ICP备19028187号