CAT消息丢失问题排查Sorry, the message is not there. It could be missing or archived.
当点击CAT的查看LogViews时出现Sorry, the message is not there. It could be missing or archived.
这时候出现这种问题会一头雾水,去github上查看貌似也没有给出明确回答。
这里根据自己的猜想以及源码角度的查看来定位问题。
首先咨询CAT维护相关人员得到一个非常重要的信息就是消息编号中的小时数不同
项目名-ac13bd78-430207-91
项目名-ac13bd78-430208-91
第二段代表的是IP,第三段代表小时数,第四段代表当前自增数
举例:
从LogViews中的消息编号列表中发现当前小时假如属于430207的话,是可以打开的,非430207的话就是消息丢失。
而后从CAT的state报表中发现有一列消息丢失数据:
两台机器时钟不准导致消息存储丢失 这个场景用于Pigeon,服务端id是由用户端产生,用户端和服务端时钟差2小时,会导致存储丢失
猜想这一列是不是统计了我恰好消息丢失的数据。
有了这些线索,我们开始假设和验证!
从用户端编号的消息编号生成开始入手。
我的用户端版本是 2.0
源码查看
- 发送消息的时候会判断该消息能否是EVENT消息,假如有则放入m_atomicTrees对象中
TcpSocketSender.java
public void send(MessageTree tree) { if (isAtomicMessage(tree)) { boolean result = m_atomicTrees.offer(tree, m_manager.getSample()); if (!result) { logQueueFullInfo(tree); } } else { boolean result = m_queue.offer(tree, m_manager.getSample()); if (!result) { logQueueFullInfo(tree); } }}- 一旦放入m_atomicTrees对象时,则会被一个单独监控的线程检测到
public class MergeAtomicTask implements Task { @Override public String getName() { return "merge-atomic-task"; } @Override public void run() { while (true) { // 时刻监控这个队列,一旦有并且是当前小时的消息则会满足 if (shouldMerge(m_atomicTrees)) { MessageTree tree = mergeTree(m_atomicTrees); boolean result = m_queue.offer(tree); if (!result) { logQueueFullInfo(tree); } } else { try { Thread.sleep(5); } catch (InterruptedException e) { break; } } } } @Override public void shutdown() { }}mergeTree这个方法有点重要,其实就是将当前的消息进行合并,为什么需要合并?
我猜的话应该是在同一个消息树中,每条消息都对应了一个消息编号,但是对于消息树的编号来说只需第一条消息的消息编号就能够定位到,而第二条往后走的消息这个编号根本就没用了,但是不想白费了,放入消息编号队列中,为下一条消息树的编号生成所用。
private MessageTree mergeTree(MessageQueue trees) { int max = MAX_CHILD_NUMBER; DefaultTransaction t = new DefaultTransaction("_CatMergeTree", "_CatMergeTree", null); // 先获取消息树中的第一条消息 MessageTree first = trees.poll(); t.setStatus(Transaction.SUCCESS); t.setCompleted(true); t.addChild(first.getMessage()); t.setTimestamp(first.getMessage().getTimestamp()); long lastTimestamp = 0; long lastDuration = 0; while (max >= 0) { // 注意这里是从第二条开始 MessageTree tree = trees.poll(); if (tree == null) { t.setDurationInMillis(lastTimestamp - t.getTimestamp() + lastDuration); break; } lastTimestamp = tree.getMessage().getTimestamp(); if (tree.getMessage() instanceof DefaultTransaction) { lastDuration = ((DefaultTransaction) tree.getMessage()).getDurationInMillis(); } else { lastDuration = 0; } t.addChild(tree.getMessage()); // 这里非常关键,会将本次产生的id编号重新放入生成的队列中。 m_factory.reuse(tree.getMessageId()); max--; } ((DefaultMessageTree) first).setMessage(t); return first;}// D:\lib\maven\com\dianping\cat\cat-client\2.0.0\cat-client-2.0.0-sources.jar!\com\dianping\cat\message\internal\MessageIdFactory.java// m_factory.reuse(tree.getMessageId()); 对应的实现public void reuse(String id) { m_reusedIds.offer(id);}接下来我们只需看它是如何拿id的
MessageIdFactory.java
public String getNextId() { // 先从队列里面拿到,这里和上面生成的相关,假如有直接返回。 String id = m_reusedIds.poll(); if (id != null) { return id; } else { long timestamp = getTimestamp(); if (timestamp != m_timestamp) { m_index = new AtomicInteger(0); m_timestamp = timestamp; } int index = m_index.getAndIncrement(); StringBuilder sb = new StringBuilder(m_domain.length() + 32); sb.append(m_domain); sb.append('-'); sb.append(m_ipAddress); sb.append('-'); sb.append(timestamp); sb.append('-'); sb.append(index); return sb.toString(); }}这里就会出现一个小问题,假如当前小时的id没有拿完,下一个小时来拿id的时候发现还有,则会从队列里面继续获取生成的id编号,生成的消息树发送到服务端,但问题在于,该编号却是上个小时残留的。
这时候服务端是以小时为key存储的,存储的时候会发现这个编号是上一个小时的,则会直接丢弃。从state中的
两台机器时钟不准导致消息存储丢失 | 这个场景用于Pigeon,服务端id是由用户端产生,用户端和服务端时钟差2小时,会导致存储丢失
中查看到!
这部分的源码在 : TcpSocketReceiver.MessageDecoder.decode()中表现出来,最终的实现类是RealtimeConsumer.consume方法
public void consume(MessageTree tree) { long timestamp = tree.getMessage().getTimestamp(); Period period = m_periodManager.findPeriod(timestamp); if (period != null) { // 将消息树交给桶解决 , 而后这里会放到队列而后交给另一个PeriodTask线程去解决 period.distribute(tree); } else { m_serverStateManager.addNetworkTimeError(1); }}PeriodTask.run -> AbstractMessageAnalyzer.analyze -> DumpAnalyzer.process -> processWithStorage 解决
DumpAnalyzer.java – 关键代码
public void process(MessageTree tree) { try { // 根据消息编号做解析 MessageId messageId = MessageId.parse(tree.getMessageId()); if (!shouldDiscard(messageId)) { // 这里会获取消息编号的第三段作为参数messageId.getHour() processWithStorage(tree, messageId, messageId.getHour()); } } catch (Exception ignored) { } }private void processWithStorage(MessageTree tree, MessageId messageId, int hour) { // 这个桶是以当前小时为单位 也就是消息编号的第三段 MessageDumper dumper = m_dumperManager.find(hour); tree.setFormatMessageId(messageId); // 这里根据消息编号发现消息编号匹配不到 if (dumper != null) { dumper.process(tree); } else { // 而后state那里就会多一条数据 m_serverStateManager.addPigeonTimeError(1); } }ServerStatistic.Statistic.m_pigeonTimeError
但这个时候是误导了客户,实际上是消息队列中残留了上个小时的消息生成的编号导致的。
处理方案:
用户端更新到3.0吧。它已经把队列去掉了,每次获取当前时间戳,来生成编号。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » CAT消息丢失问题排查Sorry, the message is not there. It could be missing or archived.