Mysql 流增量写入 Hdfs(一) –从 mysql 到 kafka

作者 : 开心源码 本文共2741个字,预计阅读时间需要7分钟 发布时间: 2022-05-12 共114人阅读

一. 概述

在大数据的静态数据解决中,目前普遍采用的是用 Spark + Hdfs (Hive / Hbase) 的技术架构来对数据进行解决。

但有时候有其余的需求,需要从其余不同数据源不间断得采集数据,而后存储到 Hdfs 中进行解决。而追加(append)这种操作在 Hdfs 里面显著是比较麻烦的一件事。所幸有了 Storm 这么个流数据解决这样的东西问世,可以帮我们处理这些问题。

不过光有 Storm 还不够,我们还需要其余中间件来协助我们,让所有其余数据源都归于一个通道。这样就能实现不同数据源以及 Hhdfs 之间的解耦。而这个中间件 Kafka 无疑是一个很好的选择。

这样我们即可以让 Mysql 的增量数据不停得抛出到 Kafka ,然后再让 storm 不停得从 Kafka 对应的 Topic 读取数据并写入到 Hdfs 中。

二. 基本知识

2.1 Mysql binlog 详情

binlog 即 Mysql 的二进制日志。它可以说是 Mysql 最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。

上面所说的提到了 DDL 和 DML ,可能有些同学不理解,这里顺便说一下:

  • DDL:数据定义语言DDL用来创立数据库中的各种对象—–表、视图、索引、同义词、聚簇等如:CREATE TABLE/VIEW/INDEX/SYN/CLUSTER…
  • DML:数据操纵语言DML主要有三种形式:插入(INSERT), 升级(UPDATE),以及删除(DELETE)。

在 Mysql 中,binlog 默认是不开启的,由于有大约 1% (官方说法)的性能损耗,假如要手动开启,流程如下:

  1. vi编辑打开mysql配置文件:
vi /usr/local/mysql/etc/my.cnf

在[mysqld] 区块设置/增加如下,

log-bin=mysql-bin 

注意肯定要在 [mysqld] 下。

  1. 重启 Mysql
pkill mysqld/usr/local/mysql/bin/mysqld_safe --user=mysql &

2.2 kafka

这里只对 Kafka 做一个基本的详情,更多的内容可以度娘一波。

kafka

上面的图片是 kafka 官方的一个图片,我们目前只要要关注 Producers 和 Consumers 就行了。

Kafka 是一个分布式发布-订阅消息系统。分布式方面由 Zookeeper 进行协同解决。消息订阅其实说白了吧,就是一个队列,分为消费者和生产者,就像上图中的内容,有数据源充任 Producer 生产数据到 kafka 中,而有数据充任 Consumers ,消费 kafka 中的数据。

kafka

上图中的 offset 指的是数据的写入以及消费的位置的信息,这是由 Zookeeper 管理的。也就是说,当 Consumers 重启或者是怎么,需要重新从 kafka 读取消息时,总不能让它从头开始消费数据吧,这时候就需要有个记录能告诉你从哪里开始重新读取。这就是 offset 。

kafka 中还有一个至关重要的概念,那就是 topic 。不过这个其实还是很好了解的,比方你要订阅少量消息,你一定是不会订阅所有消息的吧,你只要要订阅你感兴趣的主题,比方摄影,编程,搞笑这些主题。而这里主题的概念其实和 topic 是一样的。总之,可以将 topic 归结为通道,kafka 中有很多个通道,不同的 Producer 向其中一个通道生产数据,也就是抛数据进去这个通道,Comsumers 不停得消费通道中的数据。

而我们要做的就是将 Mysql binlog 产生的数据抛到 kafka 中充任作生产者,而后由 storm 充任消费者,不停得消费数据并写入到 Hdfs 中。

至于怎样将 binlog 的数据抛到 kafka ,别急,下面我们就来详情。

2.3 maxwell

maxwell 这个工具可以很方便得监听 Mysql 的 binlog ,而后每当 binlog 发生变化时,就会以 json 格式抛出对应的变化数据到 Kafka 中。比方当向 mysql 一张表中插入一条语句的时候,maxwell 就会立刻监听到 binlog 中有对应的记录添加,而后将少量信息包括插入的数据都转化成 json 格式,而后抛到 kafka 指定的 topic 中。

下载地址在这里可以找到。

除了 Kafka 外,其实 maxwell 还支持写入到其余各种中间件,比方 redis。
同时 maxwell 是比较轻量级的工具,只要要在 mysql 中新建一个数据库供它记录少量信息,而后即可以直接运行。

三. 使用 maxwell 监听 binlog

接下来我们将的是假如使用 maxwell ,让它监听 mysql 的 binlog 并抛到 kafka 中。maxwell 主要有两种运行方式。一种是使用配置文件,另一种则是在命令行中增加参数的方式运行。这里追求方便,只使用命令行的方式进行演示。

这里详情一下简单的将数据抛到 kafka 的命令行脚本吧。

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' \   --producer=kafka --kafka.bootstrap.servers=localhost:9092 --kafka_topic=maxwell --port=3306

各项参数说明如下:

  • user:mysql 客户名
  • password:mysql 密码
  • host:Mysql 地址
  • producer:指定写入的中间件类型,比方还有 redies
  • kafka.bootstrap.servers:kafka 的地址
  • kafka_topic:指明写入到 kafka 哪个 topic
  • port:mysql 端口

启动之后,maxwell 便开始工作了,当然假如你想要让这条命令可以在后端运行的话,可以使用 Linux 的 nohup 命令,这里就不多赘述,有需要百度就可。

这样配置的话通常会将整个数据库的增删改都给抛到 kafka ,但这样的需求显然不常见,更常见的应该是具体监听对某个库的操作,或者是某个表的操作。

在更新到 1.9.2(最新版本)后,maxwell 为我们提供这样一个参数,让我们可以轻松实现上述需求:–filter。

这个参数通常包含两个配置项,exclude 和 include。意思就是让你指定排除哪些和包含哪些。比方我只想监听 Adatabase 库下的 Atable 表的变化。我可以这样。

--filter='exclude: *.*, include: Adatabase.Atable'

这样我们即可以轻松实现监听 mysql binlog 的变化,并可以定制自己的需求。

OK,这一章我们详情了 mysql binlog ,kafka 以及 maxwell 的少量内容,下一篇我们将会看到 storm 如何写入 hdfs 以及定制少量策略。see you~~

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Mysql 流增量写入 Hdfs(一) –从 mysql 到 kafka

发表回复