Skip to content

Celery配置Redis Sentinel做高可用

resolvewang edited this page Sep 3, 2017 · 2 revisions

关于Celery的基本知识很早就提过了,这里讲讲在使用redis做broker时如何做到redis的高可用。

一共有三种预选方案,第一种是使用redis cluster+haproxy+keepalived,一种方式使用redis sentinel,还有一种是使用codis这类redis proxy。

我使用第一种方式搭建起来了一个高可用redis集群,它实现了接口透明,但是redis cluster只有一个db 0,没有其他db可用。并且使用这种方法,结合到celery上去,celery worker都未启起来。后来又翻了一下celery在github上的issue,感觉celery的作者并没打算去支持它,也可能是我能力不足,没找到相关的资料。所以我放弃这种方法了。如果有别的应用场景需要做redis的高可用,可以参考这种方案。可以阅读这篇文章这篇文章以自己实践。

第三种方案的困难在于,我感觉codis的文档很少,搭建起来很费力,所以没有深入研究它,或许以后有时间,还是会去尝试的,多学一些以开拓视野。

第二种方案是本文要详细介绍的。在celery4.0以后,celery官方实现了对redis sentinel的支持

首先,第一步便是搭建redis sentinel。我在以前的博文中写过如何搭建,这里就不再啰嗦了。

然后,我们需要在项目的初始化 Celery APP之后,使用

app.conf.broker_url = 'sentinel:https://localhost:26379;sentinel:https://localhost:26380'

app.conf.broker_transport_options = { 'master_name': "cluster1" }

来设置sentinel相关的信息。除了这种方式,我们也可以在初始化celery app的时候直接指定broker_url

这里需要注意一点,这种方式不能指定backend,否则celery worker也无法启起来,也可能是我指定backend的方式不对吧,这一点还需要进一步确认。

经过这两步之后,关于celery+redis sentinel的配置就说完了。

经过两天的努力,总算是解决了celery redis broker的高可用问题,不过在这过程中,还有一些问题需要去复现和解决,比如celery 和redis cluster的问题,还有redis sentinel一直选举leader的问题。