Activemq构建高并发、高可用的大规模消息系统

作者 : 开心源码 本文共2002个字,预计阅读时间需要6分钟 发布时间: 2022-05-12 共285人阅读

摘要:?Activemq构建高并发、高可用的大规模消息系统 在网上看了很多关于Activemq的帖子,但是大部分的内容都只能算是对activemq官网内容的翻译。很少有相关的案例分析,本文将分享”如何用Activemq构建超大(10万笔消息/秒以上)规模消息系统” 在实时消息系统中,MQ消息中间件广泛应用于各类消息系统中,在异步消息解决架构中,MQ几乎是必备的中间件。

Activemq构建高并发、高可用的大规模消息系统

在网上看了很多关于Activemq的帖子,但是大部分的内容都只能算是对activemq官网内容的翻译。很少有相关的案例分析,本文将分享”如何用Activemq构建超大(10万笔消息/秒以上)规模消息系统”

在实时消息系统中,MQ消息中间件广泛应用于各类消息系统中,在异步消息解决架构中,MQ几乎是必备的中间件。 同时,MQ的解决性能也将直接影响整个系统的性能。假如MQ出现故障,那么整个系统将瘫痪,其后果将是灾难性的。 所以在一般情况下MQ会中HA,或者是failover,但是假如要求消息解决能力在10万/秒以上时,简单的HA或者failover将不能满足要求。

?一、Activemq broker部署方式

1) 单MQ broker 时

整个系统中只有一个Activemq Broker,在生产系统中几乎不使用。由于单个MQ存在单点故障。

2) Master – slave 模式

采用Master-slave模式,同时在链接串中添加failover功能, 能够实现HA, 避免单点故障。但是,Master-slave方式一般需要”共享文件系统”,同时必需保证出现问题时,文件锁能正常切换。另外,slave处于stand by状态,不对外提供服务。 在Master高负荷的情况下,Slave不能提供能帮助。假如Master在高负荷情况下挂掉,那么Slave在同样的情况下也可能挂掉,只是时间问题。( Replicate Leveldb 方案也存在上述问题)。 另外,activemq 还有network模式,但此模式的应用场景不是很明确。

? ? 二、多个Activemq broker 同时工作

通过上面的分析, 简单的采用Activemq官网上提供的方案基本上不能满足生产系统的性能和高可用要求。因而,必需对上述方案进行改进,实现 “高性能”,“高可用”,“可扩展”的MQ集群方案。

同时部署多个Activemq broker实例, 多个Activemq broker实例同时工作。单个broker实例,生产和消费消息的速度在1万条/秒,部署N个Broker, 整个消息通道就能拓宽N倍; 多个(4个以上)broker 实例同时工作,其中1到2个mq实例出现问题时,消息可经过其余broker解决,整个系统仍然可以健康工作,从而实现高可用。

a、消息发送方的应用程序的采用轮循方式给多个broker发送消息

b、消息消费方的应用程序针对每个broker启用对应的consumer来消费消息。

按照这样的部署方案,两个或者两个以上MQ可以同时工作,可以处理MQ单点问题。MQ做为消息的传输管道, 添加MQ数量即可以拓宽管道的宽度,提高消息传输性能。

我们将“多个同时工作的broker”成为 broker组,假如 broker组内的broker数量太多的话,那么再开发或者部署时,broker内的队列配置将会是一件非常繁琐的事。因而,我们将broker内的队列queue进行分组,具备相同前缀名的队列为一组,前缀名相同的队列中的消息的业务逻辑是相同的。通过队列前缀名将消息组件与业务关联上。 根据业务不同,配置不同的sender ?和 listener 时,只需配置不同的队列前缀名。从而简化配置与使用,同时也可以防止消息发错队列的错误。

如上图,有 ChargeQueue 和 QueryQueue连个队列组,对应不同的业务功能。

在消息消费的应用程序中,针对ChargeQueue 和 QueryQueue 配置Consumer Listener Container, 同时可以正对不同的队列配置不同数量的消费则数目。

单个ActiveMQ的接收和消费消息的速度在1万笔/秒(持久化 一般为1-2万, 非持久化 2 万以上),在生产环境中部署10个Activemq就能达到10万笔/秒以上的性能,部署越多的activemq broker 在MQ上latency也就越低,系统吞吐量也就越高。

三、Activemq 性能优化。

1、 producer消息发送端,需要采用 AsyncSend模式, 在 activemq 的连接串中添加jsm.useAsyncSend, 例如 tcp://127.0.0.1:61616?jms.useAsyncSend=true

2、consumer消息消费端,假如有多个不同的应用程序去消费同一个队列中的消息,那么 activemq的 prefetchSize应该设置为1。

以上两个参数对性能的影响非常大。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Activemq构建高并发、高可用的大规模消息系统

发表回复