Кластер RabbitMQ не восстанавливается после сбоя сети

кластеры RabbitMQ не работают хорошо в ненадежных сетях (часть документации RabbitMQ). Поэтому, когда происходит сбой сети (в кластере из двух узлов), каждый узел думает, что он является главным и единственным узлом в кластере. Два главных узла автоматически не пересоединяются, потому что их состояния не синхронизируются автоматически (даже в случае ведомого RabbitMQ-фактическая синхронизация сообщений не происходит-ведомый просто "догоняет", когда сообщения потребляются из очереди и больше сообщений добавляются).

чтобы определить, есть ли у вас сломанный кластер, выполните команду:

rabbitmqctl cluster_status

на каждом из узлов, входящих в состав кластера. Если кластер сломан, вы увидите только один узел. Что-то вроде:

Cluster status of node rabbit@rabbitmq1 ...
[{nodes,[{disc,[rabbit@rabbitmq1]}]},{running_nodes,[rabbit@rabbitmq1]}]
...done.

в таких случаях вам нужно будет выполнить следующий набор команд на одном из узлов, которые составляли часть исходного кластера (так что он присоединяется к другому главному узлу (скажем, rabbitmq1) в кластере как раб):

rabbitmqctl stop_app

rabbitmqctl reset

rabbitmqctl join_cluster rabbit@rabbitmq1

rabbitmqctl start_app

наконец, проверьте состояние кластера еще раз .. на этот раз вы должны увидеть оба узла.

Примечание: Если у вас есть узлы RabbitMQ в конфигурации HA с использованием виртуального IP (и клиенты подключаются к RabbitMQ с помощью этого виртуального IP), то узел, который должен быть сделан мастером, должен быть тем, который имеет виртуальный IP.

RabbitMQ также предлагает два способа автоматической работы с сетевыми разделами: режим паузы-меньшинства и режим автоподогрева. (Поведение по умолчанию называется режимом игнорирования).

в режиме паузы-меньшинства RabbitMQ автоматически приостанавливает узлы кластера, которые определяют себя как находящиеся в меньшинстве (т. е. меньше или равны половине общего числа узлов) после просмотра других узлов. Поэтому он выбирает допуск разбиения над доступностью из теоремы CAP. Этот гарантирует, что в случае сетевого раздела, не более узлов в одном разделе будет продолжать работать.

в режиме autoheal RabbitMQ автоматически примет решение о выигрышном разделе, Если раздел считается произошедшим. Он перезапустит все узлы, которые не находятся в выигрышном разделе. Выигрышный раздел-это тот, который имеет больше всего автоматическая обработка разделов подключенные клиенты (или, если это создает ничью, с наибольшим количеством узлов; и если это все еще создает ничью, то один из разделов выбирается неопределенным способом).

вы можете включить режим, установив параметр конфигурации cluster_partition_handling для приложения rabbit в вашем файле конфигурации либо pause_minority или autoheal.

какой режим я должен выбрать?

важно понимать, что разрешение RabbitMQ автоматически работать с сетевыми разделами не делает их менее проблемными. Сеть разделы всегда будут вызывать проблемы для кластеров RabbitMQ; вы просто получаете некоторую степень выбора над тем, какие проблемы вы получаете. Как указано во введении, если вы хотите подключить кластеры RabbitMQ по ненадежным ссылкам, вы должны использовать federation плагин или shovel плагин.

С учетом сказанного, вы можете выбрать режим восстановления следующим образом:

• игнорировать: сеть очень надежна. Все ваши узлы находятся в стойке, соединенной с коммутатором, и этот коммутатор также является маршрутом во внешний мир. Вы не хотите рисковать завершением работы кластера, если какая-либо другая его часть завершится неудачно (или у вас есть кластер из двух узлов).

• pause_minority: ваша сеть, возможно, менее надежна. Вы сгруппировались через 3 AZs в EC2, и вы предполагаете, что только один AZ потерпит неудачу сразу. В этом случае вы хотите, чтобы оставшиеся два AZs продолжались работа и узлы от неудачного AZ воссоединиться автоматически и без суеты, когда AZ возвращается.

• autoheal: ваша сеть может быть ненадежной. Вас больше заботит непрерывность обслуживания, чем целостность данных. У вас может быть кластер из двух узлов.

этот ответ является ref из RabbitMQ docs. https://www.rabbitmq.com/partitions.html даст вам более подробное описание.