这是一个创建于 1664 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景
外部团队给了一个 topic，这个 topic 只有一个分区，因为消息之间有强顺序关系。
问题
目前我们团队发现这个 topic 的消费速度有点慢，想优化下。
我自己想到了两种解决办法，感觉这两种方式都不太好。
解法 1
基于多单消费者的基础上，自己写个线程池，并发处理消息。
这个方法的缺点是只能有一个实例在消费消息(单消费者)，无法扩展。
解法 2
引入 kafka, 把消息做一层转发，可以根据自己的业务逻辑做分区。
缺点是引入了一个中间件。
欢迎大佬们讨论
外部团队给了一个 topic，这个 topic 只有一个分区，因为消息之间有强顺序关系。
问题
目前我们团队发现这个 topic 的消费速度有点慢，想优化下。
我自己想到了两种解决办法，感觉这两种方式都不太好。
解法 1
基于多单消费者的基础上，自己写个线程池，并发处理消息。
这个方法的缺点是只能有一个实例在消费消息(单消费者)，无法扩展。
解法 2
引入 kafka, 把消息做一层转发，可以根据自己的业务逻辑做分区。
缺点是引入了一个中间件。
欢迎大佬们讨论
 | 1 Fu4ng OP 感觉第二个办法会好点？ |
 | 2 jimmyismagic 2021 年 7 月 14 日 你这个题目得讲清楚，topic 是个啥，听样子也是个 kafka 消费慢，得看是读取慢，还是处理慢 |
| 3 Fu4ng OP @jimmyismagic 是的 也是一个 kafka |
| 4 Fu4ng OP @jimmyismagic 是处理慢 |
| 5 jimmyismagic 2021 年 7 月 14 日 @Fu4ng 扩展了就能处理快吗？得看你需要扩展几个线程，如果你要扩展到几百个分区才能处理，就扩展，否则就是 1 同时需要看一下处理是 cpu 密集型还是 io 密集型 |
| 6 Fu4ng OP @jimmyismagic 十分感谢。很专业的解答 |
 | 7 billlee 2021 年 7 月 14 日 我选 1, 既然写入时是一个分区，那么单线程读取也肯定没有问题。读出来再分发到处理线程就可以了。 单机就搞个线程池，集群就搞个 flink. |
 | 8 echoZero 2021 年 7 月 15 日 消息间的强顺序关系，不是所有消息都有强顺序吧，应该可以按照指定的方式来划分不同的分区吧。 |
Select Language