架构师Linux

CentOS7安装redis集群指南

写在前面

先说一说为什么要写这一篇博客，主要是因为今天在配置redis集群的时候被恶心到了，各种杂七杂八的问题一涌而现，搞得我摸不着北。写这篇博文主要是起一个记录的作用，以免自己日后再遇到此类问题时不知所措，浪费时间。网上的一些博客大多数都写的是单机上的多个实例的情况，这个不符合实际的生产环境要求，所以本文按照完全分布式的情况来部署。本博客的Q&A环节放在下一篇博客里面。现在按照常规的步骤来走一遍。

环境准备

博主的操作环境是四台Linux服务器，版本都是CentOS 7 64bit。其中一台是管理机，另外三台是节点机。IP地址分别是，管理机（192.168.131.140），节点机1（192.168.131.141），节点机2（192.168.131.142），节点机3（192.168.131.143）。

配置安全环境

CentOS 7默认是没有iptables服务的，好像变成了一个新的叫firewalld的服务。我们还是建议用户使用iptables服务，具体通过yum来安装：

1
yum -y install iptables-services

其中，-y表示自动应答，免得安装过程中一直询问是否继续。

先关闭selinux安全设置，免得后面添加iptables服务失败。

1
vim /etc/selinux/config

更改SELINUX的值为disabled。

1
2
3
4
5
6
7
8
9
10
11
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

然后将iptables添加到系统启动项并开启它。

1
2
systemctl enable iptables
systemctl start iptables

关于iptables是否需要开启存在一些争议，有些人认为需要直接关闭防火墙，这样后面节点之间就可以直接通了，但是出于企业安全的考虑，大多数公司是不会关闭它的，所以需要我们加上这个。当然了，关闭iptables的命令很简单（当前不推荐关闭）：

1
systemctl stop iptables

安装zlib依赖包

redis的安装需要依赖zlib包，所以我们先得安装好zlib包。采用yum安装非常简单。

1
yum -y install zlib

安装ruby运行环境

后面启动整个集群需要使用到ruby编写的脚本，所以有必要先创建好ruby运行环境。一样的使用yum安装。

1
yum -y install ruby

安装redis集群

这里推荐采用源码安装，因为可配置性更高。采用yum安装会有很多不方便的地方，比如添加一个新的redis实例。

在每一台机器Linux服务器里面分别使用wget工具从这里http://download.redis.io/releases/redis-3.2.6.tar.gz下载好redis的源码包。如果没有wget工具，采用yum先安装一个。

1
2
yum -y install wget
wget http://download.redis.io/releases/redis-3.2.6.tar.gz

现在好以后，当前目录就会存在一个redis-3.2.6.tar.gz压缩文件。先解压，再安装。建议将其安装到一个/usr/local/目录下，因为这个目录是比较通用的一个目录。在里面创建一个文件夹redis_cluster。

1
2
3
4
tar -zxvf redis-3.2.6.tar.gz
cd redis-3.2.6
mkdir -p /usr/local/redis_cluster
make install PREFIX /usr/local/redis_cluster

安装好了以后在/usr/local/redis_cluster目录下就会存在一个生成的bin文件夹，里面包含这些文件。redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-sentinel redis-server，将之前解压的文件夹redis-3.2.6中的redis.conf拷贝到/usr/local/redis_cluster中。

1
cp redis.conf /usr/local/redis_cluster

好这一步安装完成。

安装gem-redis插件

安装完ruby之后其实会存在一个rubygem插件管理工具，这里我们需要安装操作redis的工具。很简单，一行命令就搞定了。

1
gem install redis

设置redis集群

我们的目标是什么？[没有蛀牙]。我们的目标是一个管理机，三个节点机。然后每一个节点机当中起两个redis实例，也就是说，3台节点机，6个实例。

根据前面的步骤，redis已经成功安装完毕了，但是只有一个实例。就是端口为6379的实例。我们分别在三台节点机里面新建两个目录：

1
2
3
cd /usr/local/redis_cluster
mkdir -p 6379
mkdir -p 6380

并将刚刚安装的redis_cluster目录中的文件分别拷贝到文件夹6379和6380中。

1
2
3
4
5
6
cp -r bin 6379
cp redis.conf 6379
cp -r bin 6380
cp redis.conf 6380
rm -rf bin
rm -rf redis.conf

注意每一台节点机上都需要进行这个操作。

修改配置文件

由于我们在一台设备上起了两个实例，所以端口不能冲突。文件夹6379和6380分别设置为他们文件名对应的端口号。因此，进入文件夹6379和文件夹6380修改redis.conf文件的内容是有区别的。

以节点机1（192.168.131.141）的文件夹6380为例，修改redis.conf中的下列选项：

1
2
3
4
5
6
7
port 6380 # 对应端口
bind 192.168.131.141 # 对应IP地址
daemonize yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

其他节点机按照这个对应地改就行了，重点是端口和bind的IP地址不能搞错。

添加iptables端口过滤

由于redis集群内部通讯的时候会使用它的实例端口xxxx和总线端口10000+xxxx。因此，在每一台节点机上面，我们除了需要加上6379和6380两个过滤规则外，还需要添加16379和16380两个过滤规则。

打开/etc/sysconfig/iptables按照上面的22号端口的格式来添加：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# sample configuration for iptables service
# you can edit this manually or use system-config-firewall
# please do not ask us to add additional ports/services to this default configuration
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 6379 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 6380 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 16379 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 16380 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT

保存退出。重新启动iptables。

1
systemctl restart iptables

启动每一个redis实例

在下面每一个节点机上启动redis实例。

节点机1（192.168.131.141）节点机2（192.168.131.142）节点机3（192.168.131.143）

1
2
6379/bin/redis-server 6379/redis.conf &
6380/bin/redis-server 6380/redis.conf &

在管理机上创建redis集群

还记得之前下载的redis-3.2.6文件夹么，打开它，找到里面的src文件夹，将redis-trib.rb，redis-server以及redis-cli拷贝到/usr/local/bin/下面。

然后直接启动集群

1
2
3
redis-trib.rb create --replicas 1 192.168.131.141:6379
192.168.131.141:6380 192.168.131.142:6379
192.168.131.142:6380 192.168.131.143:6379 192.168.131.143:6380

可以看到以下信息：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.131.141:6379
192.168.131.142:6379
192.168.131.143:6379
Adding replica 192.168.131.142:6380 to 192.168.131.141:6379
Adding replica 192.168.131.141:6380 to 192.168.131.142:6379
Adding replica 192.168.131.143:6380 to 192.168.131.143:6379
M: fa18d9e08a38adb66b353a87833a874188604c02 192.168.131.141:6379
   slots:0-5460 (5461 slots) master
S: 919e1155c9f93892cb5484fb44b85f8097f7aaea 192.168.131.141:6380
   replicates f3cbfc4cf2f01041c340dbf6363e7bcfa06c6a1e
M: f3cbfc4cf2f01041c340dbf6363e7bcfa06c6a1e 192.168.131.142:6379
   slots:5461-10922 (5462 slots) master
S: df94fa0b43786db04413cef4effbb948f51e8d95 192.168.131.142:6380
   replicates fa18d9e08a38adb66b353a87833a874188604c02
M: ad4ea1bdfcdeec8e7e5e76fc46b315fcc122629b 192.168.131.143:6379
   slots:10923-16383 (5461 slots) master
S: 744ccd205b0f817fd0346c19225ee3d1dc441c67 192.168.131.143:6380
   replicates ad4ea1bdfcdeec8e7e5e76fc46b315fcc122629b
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
[root@master ~]# redis-trib.rb create --replicas 1 192.168.131.141:6379 192.168.131.141:6380 192.168.131.142:6379 192.168.131.142:6380 192.168.131.143:6379 192.168.131.143:6380
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join.....
>>> Performing Cluster Check (using node 192.168.131.141:6379)
M: fa18d9e08a38adb66b353a87833a874188604c02 192.168.131.141:6379
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: f3cbfc4cf2f01041c340dbf6363e7bcfa06c6a1e 192.168.131.142:6379
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: 744ccd205b0f817fd0346c19225ee3d1dc441c67 192.168.131.143:6380
   slots: (0 slots) slave
   replicates ad4ea1bdfcdeec8e7e5e76fc46b315fcc122629b
S: df94fa0b43786db04413cef4effbb948f51e8d95 192.168.131.142:6380
   slots: (0 slots) slave
   replicates fa18d9e08a38adb66b353a87833a874188604c02
M: ad4ea1bdfcdeec8e7e5e76fc46b315fcc122629b 192.168.131.143:6379
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 919e1155c9f93892cb5484fb44b85f8097f7aaea 192.168.131.141:6380
   slots: (0 slots) slave
   replicates f3cbfc4cf2f01041c340dbf6363e7bcfa06c6a1e
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

表示创建成功。

总结

本片博客记录了如何安装redis集群，博主踩的坑是将redis.conf文件中的bind选项设置错误，设置成了bind 127.0.0.1 192.168.131.141这样，启动集群的时候每一次都会将结点的监听ip改写为127.0.0.1，所以这里需要去掉127.0.0.1，不然就要像我这样，找一天了。关于安装过程中可能会出现的各种问题，我们在下一篇博客里讨论。

分享到