rabbitmqでクラスターを組む際、
クラスターに参加するノードすべてが名前解決によって、
他ノードに接続する仕様となっている。
hostsファイルやdnsmasqなどの簡易DNSを立てるのが簡単ではあるが、
クラウド環境を使っていると、hostsファイルやresolve.confファイルなどが、
再起動等で書き換えられしまうケースもある。
そこで、独自に名前解決を行う必要があるのだが、
erlangの名前解決手法が意外にハマったので、
クラスターの構築手順と合わせて備忘録を残しておく。
[バージョン]
os：centos7.2
rabbitmq：3.6.10（rpmで入れた）
[前提]
各ノードの情報は以下の通り。
- 192.168.15.11（ホスト名はbroker01）
- 192.168.15.12（ホスト名はbroker02）
- 192.168.15.13（ホスト名はbroker03）
[クラスターの構築手順]
１．インストールしたら、とりあえずbroker01,02,03の全台で起動
# systemctl start rabbitmq
この時点では各ノードが個別に動いている状態である。
２．broker01,02,03に/etc/rabbitmq/hostsというファイルを以下内容で配備
192.168.15.11 broker01
192.168.15.12 broker02
192.168.15.13 broker03
３．brker01,02,03に/etc/rabbitmq/erl_inetrcというファイルを以下内容で配備
{hosts_file, "/etc/rabbitmq/hosts"}.
{lookup, [file,native]}.
４．broker01に/etc/rabbitmq/rabbitmq-env.confというファイルを以下内容で配備
export ERL_INETRC=/etc/rabbitmq/erl_inetrc
RABBITMQ_NODENAME=rabbit@broker01
# ↓の設定は、独自です。なければ、デフォルトが適用されます。
RABBITMQ_LOGS=/var/log/rabbitmq/rabbitmq.log
RABBITMQ_SASL_LOGS=/var/log/rabbitmq/rabbitmq-sasl.log
RABBITMQ_PID_FILE=/var/run/rabbitmq/rabbitmq.pid
RABBITMQ_NODE_IP_ADDRESS=0.0.0.0
RABBITMQ_NODE_PORT=5672
RABBITMQ_DIST_PORT=5675
５．broker02に/etc/rabbitmq/rabbitmq-env.confというファイルを以下内容で配備
export ERL_INETRC=/etc/rabbitmq/erl_inetrc
RABBITMQ_NODENAME=rabbit@broker02
# ↓の設定は、独自です。なければ、デフォルトが適用されます。
RABBITMQ_LOGS=/var/log/rabbitmq/rabbitmq.log
RABBITMQ_SASL_LOGS=/var/log/rabbitmq/rabbitmq-sasl.log
RABBITMQ_PID_FILE=/var/run/rabbitmq/rabbitmq.pid
RABBITMQ_NODE_IP_ADDRESS=0.0.0.0
RABBITMQ_NODE_PORT=5672
RABBITMQ_DIST_PORT=5675
６．broker03に/etc/rabbitmq/rabbitmq-env.confというファイルを以下内容で配備
export ERL_INETRC=/etc/rabbitmq/erl_inetrc
RABBITMQ_NODENAME=rabbit@broker03
# ↓の設定は、独自です。なければ、デフォルトが適用されます。
RABBITMQ_LOGS=/var/log/rabbitmq/rabbitmq.log
RABBITMQ_SASL_LOGS=/var/log/rabbitmq/rabbitmq-sasl.log
RABBITMQ_PID_FILE=/var/run/rabbitmq/rabbitmq.pid
RABBITMQ_NODE_IP_ADDRESS=0.0.0.0
RABBITMQ_NODE_PORT=5672
RABBITMQ_DIST_PORT=5675
７．broker01,02,03に/etc/rabbitmq/rabbitmq.configというファイルを以下内容で配備
[
{rabbit,
[
{loopback_users, []},
{tcp_listen_options,
[
{backlog, 1024},
{nodelay, true},
{exit_on_close, false}
]
},
{vm_memory_high_watermark, 0.4},
{disk_free_limit, "2GB"},
{cluster_partition_handling, pause_minority}
]
},
{rabbitmq_management,
[
{listener, [{port, 5676}]}
]
}
].
上記はあくまで一例で、ノード分断の際の生き残り戦略として、小数をダウンさせるという設定にしてます。
８．broker01,02,03の/var/lib/rabbitmq/.erlang.cookieファイルの内容を同じにする。
ここで、同ファイルの所有者はrabbitmq:rabbitmqで、権限は0400とする。
上記状態で、全ノードを再起動することで、
クラスター状態が完成する。
あと、rabbitmq-server.serviceファイルはちょっと変更して以下のようにしている。
デフォルトだと、nofile,noprocあたりがなかったような気がする。。
[Unit]
Description=RabbitMQ broker
After=syslog.target network.target
[Service]
Type=notify
User=rabbitmq
Group=rabbitmq
WorkingDirectory=/var/lib/rabbitmq
ExecStart=/usr/sbin/rabbitmq-server
ExecStop=/usr/sbin/rabbitmqctl stop
NotifyAccess=all
TimeoutStartSec=3600
LimitNOFILE=65536
LimitNPROC=65536
[Install]
WantedBy=multi-user.target
公式のドキュメントにだいたい書いてある通りですが。。
気になるのは、hugepageとか、OSレベルのIOのスケジューリングとかかな。
あとは、負荷テストやるのみ。。
また、負荷テストやったら書こうと思います。
以上