以集成Redis为例来讲解Storm与外部系统,以及其它库的集成
一、详情
我们先看下官网上的详情:storm官方已经给我们封装了以下外部系统的集成,我们直接引用相关jar包,即用
http://storm.apache.org/releases/1.1.2/index.html
- Apache Kafka 集成, 新的 Kafka Consumer(消费者)集成
- Apache HBase 集成
- Apache HDFS 集成
- Apache Hive 集成
- Apache Solr 集成
- Apache Cassandra 集成
- JDBC 集成
- JMS 集成
- Redis 集成
- Event Hubs 集成
- Elasticsearch 集成
- MQTT 集成
- Mongodb 集成
- OpenTSDB 集成
- Kinesis 集成
- Druid 集成
- Kestrel 集成
核心本质:上面尽管列了这么多的外部系统集成,但是内部原理其实是一样的,就是少量封装了特定功能的普通bolt,和我们自己写的bolt本质上其实是一样的,可能我们自己写的没有官方写的好,所以这里,我们仅讲一个集成案例即可以了,掌握了一个,就基本掌握了所有外部系统的集成,你自己再探究其余的系统集成,那也是信手沾来的事情。
二、Storm集成Redis实战案例演练
1、环境详情
代码下载地址:https://gitee.com/jikeh/JiKeHCN-RELEASE.git
项目名:spring-boot-storm-other-example
参考实例:其实我们下载的storm安装文件里面,已经给我们了集成案例了,我这里只是做了些精简,只保留了常用的少量功能。
目录位置:\apache-storm-1.1.2\examples\storm-redis-examples
2、与redis相关的三类bolt
- 查询bolt:RedisLookupBolt
- 存储bolt:RedisStoreBolt
- 过滤bolt:RedisFilterBolt
我们看其源码,这三个bolt都是继承了BaseRichBolt。
RedisLookupBolt/RedisStoreBolt/RedisFilterBolt >> BaseRichBolt
总结,storm-redis帮我们封装了一个bolt用于redis操作,我们不用自己写了,直接引入jar包,直接拿来使用即可以了
3、引入依赖
org.apache.storm
storm-redis
${storm.version}
4、启动redis
- Windows下安装/启动redis
Windows下安装使用redis
- Linux下安装/启动redis
redis的安装
- redis用户端的安装/使用
redis用户端 可视化界面
5、Strom拓扑流程图
功能:从redis中查询单词的出现次数
topology主类:LookupWordCount
wordSpout -> lookupBolt -> printBolt
单词数据源 -> 从redis查询单词次数 -> 打印结果
6、在本地运行我们的storm作业
springboot项目,直接右键运行LookupWordCount主类即可以了
注释:我们这里仅讲了RedisLookupBolt的使用,其它就不详情了,很简单!!!
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 以集成Redis为例来讲解Storm与外部系统,以及其它库的集成