推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3420 天前的主题，其中的信息可能已经有所发展或是发生改变。
已经正常工作了快半年的系统，最近突然出现任务大量积压的情况，看日志发现原来只需要 0.02 秒的任务，一个个都变成 15 秒 /30 秒 /45 秒才能执行完，实在太诡异了，时间都是 15 的倍数。然而不论是网络请求或是数据库访问都没有异常，任务倒还是执行成功的。
这时候重启队列又能恢复正常耗时，可是过一段时间又开始变慢。
是用 Django 做的一个应用， redis 做 broker ，所有服务都是阿里云的。
完全没有头绪，怎么排查故障？
这时候重启队列又能恢复正常耗时，可是过一段时间又开始变慢。
是用 Django 做的一个应用， redis 做 broker ，所有服务都是阿里云的。
完全没有头绪，怎么排查故障？
 | 1 zhuangzhuang1988 2016-08-28 08:29:51 +08:00 打日志， 看是不是哪里堵塞了， 网络或者数据库。 |
 | 2 Allianzcortex 2016-08-28 08:32:07 +08:00 via iPhone 我猜是 io 问题。。如果是突然出现的话就只能怀疑阿里云了-_-|| |
 | 3 goodryb 2016-08-28 18:22:14 +08:00 @Allianzcortex 重启就能恢复，这个不一定是 IAAS 的问题，多从日志分析比较靠谱 |
4
fofo 2016-08-28 19:34:30 +08:00 via iPhone 把任务分类用不同的队列，用不同的进程来跑队列（建议 docker ）来跑，然后观察日志，查找问题。
 | 5 kkzxak47 OP 可能真是阿里云 redis 抽风，其实我重启队列就是做重新连接的操作，有时候有效果，有时候没有。 总之在没做任何代码和配置改变的情况下，现在恢复正常了- - |
 | 6 julyclyde 2016-08-29 13:43:35 +08:00 你是不是在用 sentry 啊？ |
| 11 julyclyde 2016-09-02 12:18:37 +08:00 @kkzxak47 任务内那个 redis 涉及到 redis 里的哪几个数据类型？是不是有 sorted set 啊？ |
| 13 julyclyde 2016-09-02 13:51:32 +08:00 @kkzxak47 那你在任务函数里，分几段打一下时间吧。 写日志： 任务 id 、步骤、耗时 然后横竖统计一下就知道慢在哪个段里了 我上个月见过 redis 的 sorted set 性能急剧下降导致 celery 总是超时、大量任务积压的情况。这种情况增加 worker 是没用的 |
| 14 kkzxak47 OP @julyclyde 学习了。想了一下，我们未来可能也有这种危险…… 不过这次是一过性的，看阿里云 redis 使用量监控图，上个月除了那天晚上一个凸起，其他时间基本一条直线，我们小应用，队列很少有库存。 |
 | 15 johnzh 2016-09-02 22:30:59 +08:00 我猜是 redis |
 | 16 37Y37 2024-06-26 11:59:06 +08:00 2024 年了，遇到类似的问题，不用动 redis ，重启下任务进程就好了，不明所以 |
Select Language