Содержание

Цель

Требования

Введение

Предварительные требования и меры предосторожности

Настройка

Настройка существующего контроллера в распределённый кластер через веб-интерфейс

Настройка распределённого кластера для нового контроллера через команды

Настройка принятия устройств через NAT с одним публичным IP

Высокая доступность распределённого кластера

Вопросы и ответы

Как изменить IP-адрес узла кластера

Как добавить или удалить узел

Как обновить контроллер в кластерном режиме

Как устранить неполадки, если распределённый кластер не работает?

Как устранить неполадки, если статус узла «отключён»

Как устранить сбои остановки узла из-за высокой загрузки системных ресурсов перед обновлением?

Как устранить сбой запуска узла из-за неодновременного выполнения команды запуска?

Цель

В этой статье представлена концепция распределённых узлов контроллера. Описаны два способа развёртывания: настройка распределённых узлов через веб-интерфейс с использованием существующего контроллера и через терминал при установке нового контроллера.

Требования

• Программный контроллер Omada
• Устройства Omada из списка продуктов для кластерного развёртывания Omada
• Ubuntu 22.04
• JAVA17
• Mongodb v7.0

Введение

Режим распределённого кластера программного контроллера Omada позволяет удовлетворять требования клиентов к высокой доступности сети. В этом режиме несколько узлов совместно управляют устройствами Omada. Такой подход не только значительно увеличивает верхний предел количества устройств, которыми может управлять контроллер, но и за счёт скоординированной работы нескольких узлов обеспечивает высокую доступность всей сети. В случае отказа узла запускается автоматическая балансировка нагрузки, и сервисы отказавшего узла переходят на другие узлы. В период переключения устройства на сайте, управляемом исходным отказавшим узлом, временно теряют связь, а затем автоматически переподключаются к другим узлам. После восстановления состояния «Подключено» все сервисы работают нормально.

Как показано на рисунке ниже, это типичная топология развёртывания распределённого кластера, где несколько узлов (три или более) могут совместно управлять устройствами Omada.

Предварительные требования и меры предосторожности

Перед настройкой и развёртыванием распределённых узлов обратите внимание на следующие рекомендации.

• Режим распределённого кластера требует как минимум трёх узлов. Подготовьте как минимум три контроллера перед настройкой.
• Установка распределённого кластера требует Java 17. Используйте sudo apt install openjdk-17-jre-headless для установки Java 17.
• Изменение лимита дескрипторов (handle count) системы является обязательным условием для использования распределённого кластера контроллера. Отредактируйте «/etc/security/limits.conf», добавьте следующие параметры, сохраните файл, выйдите из системы и войдите заново для применения изменений.

* soft nofile 65535

* hard nofile 65535

Обратите внимание, что способы изменения лимита дескрипторов могут различаться в зависимости от версии Linux. Изменяйте лимит в соответствии с вашей версией.

• Убедитесь, что системное время на каждом узле синхронизировано, разница не более 20 секунд.
• Убедитесь, что версии JDK и MongoDB одинаковы на всех узлах.
• IP-адреса узлов поддерживают только статические IP. При изменении IP/порта потребуется повторная инициализация. См. раздел «Как изменить IP-адрес узла кластера».
• Узел, уже входящий в кластер, должен быть отсоединён от исходного соединения и удалён из исходного кластера перед добавлением в новый.
• Рекомендуется развёртывать все узлы в одном сегменте сети.

Настройка

Настройка существующего контроллера в распределённый кластер через веб-интерфейс

Шаг 1. Перейдите в Глобальное представление > Настройки > Кластер в глобальном представлении и включите Кластер. Затем выберите режим Распределённый кластер.

Шаг 2. Нажмите Добавить узел и добавьте как минимум три узла. Введите ИМЯ и ИМЯ ХОСТА/IP ДЛЯ УПРАВЛЕНИЯ УЗЛОМ. Здесь IP-адреса и имена хостов должны соответствовать разным серверам. Укажите IP-адрес для управления устройством в поле ИМЯ ХОСТА/IP ДЛЯ УПРАВЛЕНИЯ УСТРОЙСТВОМ. Этот IP-адрес будет использоваться для установления соединения и связи с устройством. Если не указано, будет использоваться ИМЯ ХОСТА/IP ДЛЯ УПРАВЛЕНИЯ УЗЛОМ. Затем нажмите Применить. Перед нажатием «Применить» убедитесь, что все настроенные узлы контроллера находятся в рабочем состоянии. Это позволит автоматически скопировать файл properties на другие узлы, что сделает шаг 3 ненужным.

После этого контроллер отобразит окно с предложением загрузить init properties file. Загрузите этот файл. Для применения настроек потребуется перезагрузка контроллера. Перезагрузите его как можно скорее, чтобы избежать отключения устройств или других проблем. Узлы, добавленные в автономном режиме, будут считаться отключёнными, что повлияет на возможности восстановления. Запустите их как можно скорее.

Если появится следующее всплывающее окно, это означает, что файл properties был автоматически скопирован на все остальные узлы. В этом случае можно сразу перейти к шагу 4, как указано в сообщении.

Шаг 3. Замените файл properties (скачанный на шаге 2) на каждом узле. Путь к файлу properties: /opt/tplink/EAPController/data/cluster/omada_distributed_internal_mongo_cluster.properties

Шаг 4. Выполните команду инициализации на каждом узле. При инициализации узлов задайте учётную запись и пароль для всех узлов. При инициализации сначала инициализируйте главный узел (тот, который экспортирует init properties). В противном случае инициализация может завершиться ошибкой.

sudo omadacluster -config

/opt/tplink/EAPController/data/cluster/omada_distributed_internal_mongo_cluster.properties -nodeName init

• Пример вывода терминала при инициализации главного узла

• Пример вывода терминала при инициализации неглавного узла

Шаг 5. После успешного развёртывания перейдите на страницу кластера для подтверждения. Когда распределённый кластер работает корректно, доступ к контроллеру можно получить через любой узел.

Настройка распределённого кластера для нового контроллера через команды

Шаг 1. Выберите установку в кластерном режиме (автозапуск после установки отключён).

• Установка через deb

echo "omadac omadac/init-cluster-mode boolean true" | sudo debconf-set-selections

sudo dpkg -i /path/to/controller_installation_package

• Установка через tar.gz

После распаковки разверните кластерный режим с помощью скрипта установки. Выполните ./install.sh init - cluster - mode, система не запустится автоматически после установки, и будут выведены соответствующие подсказки для настройки кластера.

Шаг 2. Начните установку контроллера и отредактируйте файл properties, как указано.

Измените файл properties на каждом узле: /opt/tplink/EAPController/data/cluster/omada_distributed_internal_mongo_cluster.properties

Шаг 3. Выполните команду инициализации на каждом узле.

sudo omadacluster -config /opt/tplink/EAPController/data/cluster/omada_distributed_internal_mongo_cluster.properties -node <nodeName> init

• Пример вывода терминала при инициализации главного узла

Пример вывода терминала при инициализации неглавного узла

Шаг 4. После успешного развёртывания войдите в контроллер и задайте имя пользователя и пароль; остальные узлы синхронизируют эти учётные данные.

Затем перейдите на страницу кластера для подтверждения. Когда распределённый кластер работает корректно, доступ к контроллеру можно получить через любой узел.

Настройка принятия устройств через NAT с одним публичным IP

Функция Single Public IP Cross-NAT используется в распределённом режиме Linux для принятия устройств через сети L3. Несколько узлов используют один публичный IP-адрес на WAN-интерфейсе шлюза. Через NAT разные порты мапятся на соответствующие узлы, что позволяет всем узлам использовать один публичный IP со стороны WAN.

Шаги настройки

Шаг 1. После настройки распределённого кластера настройте на каждом узле Имя хоста/IP для управления устройством, Порт управления устройством, Порт обнаружения устройств и Порт мониторинга устройств в интерфейсе.

Убедитесь, что Имя хоста/IP для управления устройством одинаково на всех узлах (все должны использовать публичный WAN-IP шлюза). Настроенные порты не должны конфликтовать или перекрываться с уже используемыми портами.

Нажмите Применить по завершении.

Примечание: Порты, используемые другими функциями контроллера, также должны быть настроены в файле /opt/tplink/EAPController/properties/omada.properties на каждом узле в соответствии с указанными выше требованиями. Некоторые порты, например порт обновления, можно настроить в веб-интерфейсе каждого узла.

Шаг 2. При появлении всплывающего сообщения выберите Подтвердить.

Шаг 3. Все узлы будут отображать статус «ТРЕБУЕТСЯ ПЕРЕЗАГРУЗКА». Используйте команду tpeap restart для одновременной перезагрузки всех узлов.

Шаг 4. После перезагрузки все узлы будут отображать статус ПОДКЛЮЧЕНО, что означает завершение настройки на стороне контроллера.

Шаг 5. На странице NAT шлюза настройте правила NAT с WAN-IP + порт на LAN-IP + порт. Используйте инструмент infoUrl для передачи указанных Имени хоста/IP для управления устройством и Порта обнаружения устройств устройствам, находящимся в публичной сети, чтобы они могли быть приняты и управляться кластером. Убедитесь, что все NAT-правила настроены полностью и корректно, иначе недостижимые пакеты могут помешать принятию и управлению устройствами.

Высокая доступность распределённого кластера

Характеристики высокой доступности распределённого кластера описаны ниже. При общем количестве смешанных узлов 3–4 допускается отключение 1 узла; при 5–6 — до 2 узлов; при 7 — до 3 узлов. То есть количество отказоустойчивых смешанных узлов должно быть меньше половины от максимального числа смешанных узлов.

Если количество отключённых узлов превышает допустимый предел, весь кластер выйдет из строя. Для восстановления кластера необходимо вернуть отключённые узлы в онлайн, чтобы количество отказоустойчивых узлов стало меньше половины от максимального числа смешанных узлов.

При необходимости перезапуска кластера убедитесь, что после остановки всех узлов одновременно запущено более половины от общего числа узлов.

Вопросы и ответы

Как изменить IP-адрес узла кластера

Когда распределённый кластер контроллера работает, для изменения IP-адреса узла выполните следующие шаги:

(1) Если изменяемый узел имеет статус «подключено»:

a. Измените IP-адрес сетевого интерфейса узла так, чтобы он одновременно привязывал старый и новый IP-адреса.

b. В интерфейсе кластера любого узла измените IP-адрес указанного узла на новый.

c. На указанном узле выполните команду sudo tpeap stop для остановки узла, затем измените сетевой интерфейс так, чтобы он привязывал только новый IP.

d. Выполните sudo tpeap start для запуска узла.

(2) Если изменяемый узел имеет статус «отключён»:

a. Измените IP-адрес сетевого интерфейса узла так, чтобы он одновременно привязывал старый и новый IP.

b. В интерфейсе кластера любого онлайн-узла измените IP-адрес указанного узла на новый и экспортируйте новый файл properties.

c. Передайте файл properties на изменяемый узел.

d. На указанном узле выполните инициализацию с помощью этого файла properties: sudo omadacluster -config <propertiesPath> -node <nodeName> init.

Как добавить или удалить узел

(1) Добавление узла

Шаг 1. Настройте лимит дескрипторов на новом узле и установите контроллер той же версии.

Шаг 2. Настройте новый узел на существующем узле. Перейдите в интерфейс Глобальное представление > Настройки > Кластер, нажмите «Добавить узел». Введите Имя и IP/Имя хоста нового узла, затем нажмите Применить.

Нажмите Подтвердить.

Шаг 3. Нажмите Экспортировать init properties, скачайте файл и скопируйте его в папку /opt/tplink/EAPController/data/cluster контроллера на добавленном узле.

Шаг 4. Откройте терминал на новом узле и выполните команду инициализации.

sudo omadacluster -config

/opt/tplink/EAPController/data/cluster/omada_distributed_internal_mongo_cluster.properties -nodeName init

Шаг 5. После успешного добавления узла перейдите на страницу кластера для подтверждения. Когда распределённый кластер работает корректно, доступ к контроллеру можно получить через любой узел.

(2) Удаление узла

Шаг 1. Перейдите на удаляемый узел и остановите его контроллер.

Шаг 2. Проверьте статус узлов с любого узла.

Шаг 3. Когда на узле появится значок удаления, нажмите кнопку удаления, затем Применить.

Шаг 4. Вы увидите, что узел удаляется с любого узла.

Как обновить контроллер в кластерном режиме

В настоящее время Omada Cluster поддерживает автономные обновления. Перед обновлением кластера остановите контроллер на всех узлах.

Чтобы минимизировать влияние на сеть, старайтесь обновлять кластер в периоды низкой нагрузки.

Убедитесь, что прошивка всех устройств поддерживает кластерное развёртывание, чтобы после обновления не происходило отключений.

Конкретные шаги обновления:

1. Выполните команду sudo tpeap stop на всех узлах для остановки кластера.
2. Установите новую версию контроллера на всех узлах. В зависимости от того, как вы устанавливали предыдущую версию, используйте deb или tar.gz.
3. Убедитесь, что все узлы правильно обновлены до новой версии. Затем запустите контроллер на всех узлах одновременно командой sudo tpeap start.
4. Дождитесь, пока все контроллеры отобразят «Started successfully». После этого доступ к кластеру будет восстановлен.

Пример процесса обновления одного узла:

Как устранить неполадки, если распределённый кластер не работает?

• Проверьте, успешно ли изменён лимит дескрипторов. Используйте «ulimit -a» для проверки.
• Убедитесь, что параметры всех узлов一致, включая версию контроллера, версию MongoDB и версию Java.
• Если узлы долго не подключаются, при настройке существующего контроллера через веб-интерфейс обязательно инициализируйте узлы, начиная с главного узла.

Как устранить неполадки, если статус узла «отключён»

Проверьте, не превышает ли разница во времени между узлами в Глобальное представление > Настройки > Системные настройки > Текущее системное время узла 20 секунд.

Как устранить сбои остановки узла из-за высокой загрузки системных ресурсов перед обновлением?

1. Выполните команду ps -ef | grep 'java' на проблемном узле для поиска активных Java-процессов.
2. Выполните команду sudo kill -9 <PID> для принудительной остановки Java-процесса на проблемном узле (замените <PID> на реальный идентификатор процесса).
3. Следуйте обычным шагам для установки новой версии контроллера и завершите обновление.

Как устранить сбой запуска узла из-за неодновременного выполнения команды запуска?

Выполните команду sudo tpeap start на проблемном узле повторно.

Чтобы узнать более подробную информацию о каждой функции и настройке, перейдите в Центр загрузок, чтобы загрузить руководство для вашего продукта.