一个诡异的 Pulsar InterruptedException 异常

一个诡异的 Pulsar InterruptedException 异常,图片,今天收到业务团队反馈线上有个应用往 Pulsar 中发送消息失败了,经过日志查看得知是发送消息时候抛出了 java.lang.InterruptedException 异常。,和业务沟通后得知是在一个 gRPC 接口中触发的消息发送,大约持续了半个小时的异常后便恢复正常了,这是整个问题的背景。,拿到该问题后首先排查下是否是共性问题,查看了其他的应用没有发现类似的异常;同时也查看了 Pulsar broker 的监控大盘,在这个时间段依然没有波动和异常。,这样可以初步排除是 Pulsar 服务端的问题。,接着便是查看应用那段时间的负载情况,从应用 QPS 到 JVM 的各个内存情况依然没发现有什么明显的变化。,既然看起来应用本身和 Pulsar broker 都没有问题的话那就只能从异常本身来排查了。,首先第一步要得知具体使用的是 Pulsar-client​ 是版本是多少,因为业务使用的是内部基于官方 SDK 封装 springboot starter​ 所以第一步还得排查这个 starter 是否有影响。,通过查看源码基本排除了 starter​ 的嫌疑,里面只是简单的封装了 SDK 的功能而已。,接下来便只能是分析堆栈了,因为 Pulsar-client 的部分实现源码是没有直接打包到依赖中的,反编译的话许多代码行数对不上,所以需要将官方的源码拉到本地,切换到对于的分支进行查看。,我这里直接将分支切换到 branch-2.8。,从堆栈的顶部开始排查 TypedMessageBuilderImpl.java:91:,图片,看起来是内部异步发送消息的时候抛了异常。,接着往下看到这里:,图片,看起来是这里没错,但是代码行数明显不对;因为 2.8 这个分支也是修复过几个版本,所以中间有修改导致代码行数与最新代码对不上也正常。,不过初步来看应该是这行代码抛出的线程终端异常,这里看起来只有他最有可能了。,图片,为了确认是否是真的是这行代码,这个文件再往前翻了几个版本最终确认了就是这行代码没错了。,我们点开java.util.concurrent.Semaphore#acquire()的源码。,通过源码会发现 acquire()​ 函数确实会响应中断,一旦检测到当前线程被中断后便会抛出 InterruptedException 异常。,所以问题的原因基本确定了,就是在 Pulsar 的发送消息线程被中断了导致的,但为啥会被中断还需要继续排查。,我们知道线程中断是需要调用 Thread.currentThread().interrupt(); API的,首先猜测是否 Pulsar 客户端内部有个线程中断了这个发送线程。,于是我在 pulsar-client 这个模块中搜索了相关代码:,图片,排除掉和 producer 不相关的地方,其余所有中断线程的代码都是在有了该异常之后继续传递而已;所以初步来看 pulsar-client 内部没有主动中断的操作。,既然 Pulsar 自己没有做,那就只可能是业务做的了?,于是我在业务代码中搜索了一下:,图片,果然在业务代码中搜到了唯一一处中断的地方,而且通过调用关系得知这段代码是在消息发送前执行的,并且和 Pulsar 发送函数处于同一线程。,大概的伪代码如下:,执行这段代码可以完全复现同样的堆栈。,幸好中断这里还打得有日志:,图片,通过日志搜索发现异常的时间和这个中断的日志时间点完全重合,这样也就知道根本原因了。,因为业务线程和消息发送线程是同一个,在某些情况下会执行 Thread.currentThread().interrupt();,其实单纯执行这行函数并不会发生什么,只要没有去响应这个中断,也就是 Semaphore 源码中的判断了线程中断的标记:,但恰好这里业务中断后自己并没有去判断这个标记,导致 Pulsar 内部去判断了,最终抛出了这个异常。,所以归根结底还是这里的代码不合理导致的,首先是自己中断了线程但也没使用,从而导致有被其他基础库使用的可能,所以会造成了一些不可预知的后果。,再一个是不建议在业务代码中使用 Thread.currentThread().interrupt(); 这类代码,第一眼根本不知道是要干啥,也不易维护。,其实本质上线程中断也是线程间通信的一种手段,有这类需求完全可以换为内置的 BlockQueue 这类函数来实现。

文章版权声明

 1 原创文章作者:cmcc,如若转载,请注明出处: https://www.52hwl.com/21674.html

 2 温馨提示:软件侵权请联系469472785#qq.com(三天内删除相关链接)资源失效请留言反馈

 3 下载提示:如遇蓝奏云无法访问,请修改lanzous(把s修改成x)

 免责声明:本站为个人博客,所有软件信息均来自网络 修改版软件,加群广告提示为修改者自留,非本站信息,注意鉴别

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年3月5日 上午12:00
下一篇 2023年3月7日 下午10:34