BIGO 实时计算平台建设实践
BIGO 全球音视频业务对数据的实时能力要求越来越高,数据分析师希望多维度实时看到新添加客户、活跃客户等业务数据以便尽快掌握市场动向,机器学习工程师希望实时拿到客户的浏览、点击等数据而后通过在线学习将客户偏好快速加入到模型中,以便给客户推送当前最感兴趣的内容,APP 开发工程师希望能够实时监控 APP 打开的成功率、崩溃率。
这些实时数据的能力都要依靠实时计算平台来提供。从业界来看,实时化的趋势正在加速,本文将详情 BIGO 基于 Flink 的实时计算平台的建设经验和成果。
平台详情
BIGO 实时计算的发展大概分为两个阶段,在 2018 年之前,实时场景还比较少,实时的作业数量也不多,当时主要采用 Spark Streaming 来支持。从 2018 年开始,在综合考虑了 Flink 相对于 Spark Streaming 的优势之后,决定将实时计算平台切换到基于 Flink 的技术路线上来。经过近两年的发展,BIGO 实时计算平台日趋完善,基本支持了公司内主流的实时计算场景,下图是 BIGO 实时计算平台的架构图:

实时计算的数据来源可分为两大类,一类是客户在 APP 或者者浏览器里的浏览、点击等行为日志,通过 kafka 收集进入实时计算;另一类是客户的行为产生的关系型数据库里记录的改变,这些改动产生的 biglog 被 BDP 抽取进入实时计算。
从图中可以看出,BIGO 实时计算平台底层基于 Yarn 来做集群资源管理,借助于 Yarn 的分布式调度能力,实现大规模集群下的调度。实时平台的计算引擎在开源 Flink 的基础上,为适配 BIGO 的场景进行了特殊的定制及开发。实时平台的上层是 BIGO 自研的一站式开发平台 BigoFlow,在这里,客户可以方便的进行作业的开发、调试以及监控运维。BigoFlow 提供了完善的 SQL 开发能力、自动化监控配置能力以及日志自动收集、查询能力,让客户仅需要一条 SQL,即可以完成一个业务作业。它具备以下功能:
- 提供了强大的 SQL 编辑器,可以进行语法检查及自动提醒。
- 可以对接公司所有的数据源及数据存储,省去了业务方自己设置的工作。
- 日志自动收集到 ES 里,客户可以方便的检索和查询,可以快速的定位错误。
- 作业关键指标自动对接到公司的监控告警平台,客户不用再自己配置。
- 收集所有作业的资源使用情况,自动进行分析,帮助识别、治理不正当作业。
实时计算出来的结果根据业务的需求,会存放到不同的存储中。ETL 类作业的结果通常会入库到 Hive中,需要进行 Adhoc 查询的数据通常会放到 ClickHouse 里面。监控告警等类型的作业可以直接把结果输出到告警平台的 Prometheus 数据库里,供告警平台直接使用。
业务应用
随着实时计算平台的发展,越来越多的场景都搬到了 BigoFlow 平台上,实时计算也给这些场景带了很多好处,下面我们以几个典型场景为例来说明实时计算为它们带来的能力或者者性能的加强。
数据 ETL

数据的抽取、转换是一个典型的实时场景,客户在 APP、浏览器里的行为日志是实时不间断产生的,要实时的去采集并经过抽取转换,最后入到数据库里。BIGO 之前的 ETL 场景数据路径通常是 Kafka->Flume->Hive。经过 Flume 入库的路径存在着以下几方面的问题:
Flume 的容错能力差,遇到已成可能会导致丢数据或者者数据重复。
Flume 的动态扩展能力差,流量忽然到来时候很难立刻扩展。
一旦数据字段或者者格式发生变化,Flume比较难于灵活调整。
而 Flink 提供了基于 State 的强大的容错能力,可以端到端 Exactly Once,并发度可以灵活的调整,Flink SQL 可以灵活的去调整逻辑。因而,绝大部分的 ETL 场景目前都已经迁移到了 Flink 架构上。
实时统计
作为一家有多个 APP 产品的公司,BIGO 需要有大量的统计指标来反应产品的日活、营收等指标。传统这些指标一般都是通过离线 Spark 作业来每天或者者每小时计算一次。离线计算很难保证数据的产生的及时性,经常会出现重要指标推迟产生的问题。
因而我们慢慢的将重要指标通过实时计算来产生,极大的保证了数据产生的及时性。最明显的是之前一个重要指标经常推迟导致它的下游在下午才能产出,给数据分析师带来了很多困扰,改造为实时链路后,最终指标在早上 7 点就能产出,数据分析师上班即可以使用了。
机器学习
随着信息的爆炸发展,客户的兴趣转移的越来越快,这就要求机器学习能够尽快根据客户当时的行为推荐他感兴趣的视频。传统机器学习基于批解决的方式,通常要到最快小时级别才能升级模型。今天基于实时计算的样本训练可以不间断的将样本训练成实时模型并应用于线上,真正做到了在线学习,将根据客户行为产生的推荐做到分钟级别升级。目前,机器学习的作业已经占到了实时计算集群的 50%以上。
实时监控

实时监控也是一个很重要的实时场景,APP 的开发者需要实时监控 APP 打开的成功率等指标,假如出现异常,就要及时告警通知出来。之前的做法通常是原始数据存放于 Hive 或者者 ClickHouse,在基于 Grafana 的监控平台配置规则,每个肯定时间用 Presto 或者者 ClickHouse 去查询一下,根据计算出来结果进行判断能否需要告警。这种方式存在几个问题:
- Presto 或者者 ClickHouse 本身尽管是 OLAP 的引擎,性能很好,但并不保证集群的高可用及实时性。而监控对实时性和高可用要求比较高。
- 这种方式的每次计算指标都要把当天的一律数据计算一遍,存在着极大的计算白费。
而通过实时计算的监控方案可以实时计算出来指标,直接输出到 Grafana 的数据库里,不仅保证了实时性,更是可以将计算的数据量减少上千倍。
BIGO 实时平台特色
BIGO 实时计算平台在发展过程中,逐渐根据 BIGO 内部业务的使用特点,形成了自己的特色和优势。主要表现在以下几个方面:
元数据打通
一个常见的情况是数据的产生者和使用者不是同一批人。打点的同事将数据上报到 Kafka或者者 Hive 里,数据分析师要用这些数据去计算。他们不知道 Kafka 的具体信息,只知道要使用的 Hive 表名。
为了减少客户使用实时计算的麻烦,BigoFlow 将元数据和 Kafka、Hive、ClickHouse 等存储都进行了打通,客户可以在作业里直接使用 Hive、ClickHouse 的表,不需要写 DDL,BigoFlow 自动去解析,根据元数据的信息自动转换成 Flink 里的 DDL 语句,极大的减少了客户的开发工作。这得益于 BIGO 计算平台的统一规划,是很多离线、实时系统分开的公司所做不到的。
端到端的产品化方案
BigoFlow 不仅仅是实时计算的平台,为了方便客户使用或者者迁移,也会根据业务场景,提供端到端的整个处理方案。像前面详情的监控场景,客户有很多监控业务需要迁移,为了尽量减少的工作,BigoFlow 专门提供了监控场景的处理方案,客户只要要将计算监控指标的 SQL 迁移到 Flink SQL,其余包括 Flink 作业的 DDL,数据 Sink 到监控平台等工作完全不用做,都由 BigoFlow 自动实现,客户原价配置的规则也都不用变。这使得客户可以用最少的工作量完成迁移。
另外前面也提到了,BigoFlow 自动将客户作业的关键指标增加了告警,这基本满足了绝大多数客户的需求,让他们专心于业务逻辑,而不用操心其余事情。客户的日志也会自动收集到 ES 里,方便客户查看。ES 里有沉淀了少量总结出来的调查问题的搜索 Query,客户可以根据现象直接点击查询。
强大的 Hive 能力
因为 BIGO 内的绝大部分数据都是存在 Hive 里的,实时作业也经常需要将结果写入 Hive,不少场景也需要能够从 Hive 里读数据。所以 BigoFlow 跟 Hive 的集成一直走在业界的前列。在社区 1.11 之前,我们就自己实现了向 Hive 写数据,并可以动态升级 Meta 的能力。1.11 还未正式发布,我们就在 1.11 的基础上,自研开发了流式读取 Hive 表支持 EventTime、支持动态过滤分区、支持 TXT 格式压缩等功能,这些功能都领先于开源社区。

这是我们在 ABTest 上通过 Flink 实现的一个批流统一的场景。正常情况下,Flink消费 Kafka 的实时数据,实时计算结果存入到 Hive。但作业经常会遇到业务逻辑调整,需要重新追数据进行对数。因为数据量很大,假如追数据还从 Kafka 消费,就会对 Kafka 带来很大的压力,影响线上的稳固。因为数据在 Hive 里也存了一份,我们追数据的时候,选择从 Hive 里读取,这样用同一份代码,可以走离线和在线两条路,最大限度减少了追数据对在线的影响。
自动化 ETL 作业生成
Flink 目前承接了大部分的ETL场景。ETL 作业的逻辑一般比较简单,但作业众多,而且客户上报的数据格式会经常变化,或者者字段进行了增减。为了减少客户开发、维护 ETL 作业的成本,我们开发 ETL 作业自动生成的功能,客户只要要提供上报数据的 Topic 和格式,即可以自动生成 ETL 作业,将结果写入到 Hive中。上报数据格式或者者字段发生了变化之后,也可以自动将作业进行升级。目前支持 Json、pb 等多种数据格式。
展望
随着 BIGO 业务的快速发展,BigoFlow 实时计算平台也在不断的壮大和完善,但也还有很多需要改进以及提高的地方,我们未来将会在平台完善和业务支持两个方面重点建设:
- 平台完善:重点提升平台的产品化水平。主要包括几个方面:开发自动化资源配置、自动调优等功能,可以根据作业的实时数据量,自动配置作业需要的资源,在流量高峰进行自动扩展,在流量低谷自动缩容;支持表血缘关系展现,方便客户分析作业之间依赖关系;支持异地多集群,Flink 上面支持了众多关键业务,需要极高的 SLA 保证,我们会通过异地多机房来保证关键业务的可靠性。探究流批统一、数据湖等场景。
- 支持更多业务场景:开辟更多机器学习、实时数仓的场景,进一步推广 Flink SQL 的使用。
作者团队简介:
BIGO 大数据团队专注于在 PB 级别数据上实现快速迭代,用大数据分析技术赋能上层业务。具体负责面向公司所有业务建设 EB 级别的分布式文件存储、日均万亿消息队列和 50PB 规模的大数据计算,包括批、流、MPP 等多种计算架构,涵盖从数据定义、通道、存储与计算、数据仓库和 BI 等全链路技术栈。团队技术氛围浓厚,有众多开源软件的开发者,期待优秀的人才加入我们!
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » BIGO 实时计算平台建设实践