76
Станислав Брайчук Инженер центра технической поддержки Cisco TAC (Krakow) Ноябрь 24, 2015 Репликация базы данных CUCM Cisco Support Community Expert Series Webcast

Репликация базы данных CUCM

Embed Size (px)

Citation preview

Станислав Брайчук

Инженер центра технической поддержки Cisco TAC (Krakow)

Ноябрь 24, 2015

Репликация базы данных CUCM

Cisco Support Community

Expert Series Webcast

Вебинар на русском языке

Декабрь 22, 2015 в 11:00мск

Вебинар посвящен решению, разработанному компанией Cisco , которое позволяет управлять процессами идентификации и контроля доступа к сети. Содержит обзор сервисов, предоставляемых платформой Cisco ISE, и способов внедрения в сетевую инфраструктуру.

Cisco ISE в управлении доступом к сети

Александр

Стрельцов

Как стать активным участником? Легко!

• Создавайте документы, пишите блоги, загружайте

видео, отвечайте на вопросы пользователей.

• Вклад оценивается на основе таблицы лидеров

• Также оценивается количество документов, блогов

и видео, созданных пользователем.

• Вклад оценивается только по русскоязычному

сообществу, не включая рейтинг, набранный в

глобальном Cisco Support Community.

Премия "Самый активный участник Сообщества Поддержки Cisco"

Оцени контент

Ваши оценки контента дают возможность авторам получать баллы.

Хотите чтобы поиск был удобным и простым? Помогите нам распознать качественный контент в Сообществе. Оценивайте документы, видео и блоги.

Пожалуйста, не забывайте оценивать ответы пользователей, которые щедро делятся своим опытом и временем.

https://supportforums.cisco.com/ru/community/4926/pomoshch-help

16 ноября 2015 – 27 ноября 2015

Сессия «Спросить Эксперта» с Константином Ваксиным

Медиа обращение в контактный центр UCCX

https://supportforums.cisco.com/ru/discussion/12700966 Получить дополнительную информацию, а также задать вопросы эксперту в рамках данной темы Вы можете на странице, доступной по ссылке: https://supportforums.cisco.com/community/russian/expert-corner

24 ноября 2015 – 04 декабря 2015

Сессия «Спросить Эксперта» со Станиславом Брайчуком

Получить дополнительную информацию, а также задать вопросы эксперту в рамках данной темы Вы можете на странице, доступной по ссылке: https://supportforums.cisco.com/community/russian/expert-corner Вы можете получить видеозапись данного семинара и текст сессии Q&A в течении ближайших 5 дней по следующей ссылке https://supportforums.cisco.com/community/russian/expert-corner/webcast https://supportforums.cisco.com/ru/discussion/12712436

Конкурс “Репликация базы данных CUCM”

24 ноября в 14:00 мск

Мы предлагаем Вам принять участие в конкурсе после проведения вебкаста, который так и будет называться «Репликация базы данных CUCM»

• Первые три победителя получат фирменный куб Cisco-TAC

• Ответы присылайте на [email protected]

• Задание конкурса будет размещено сегодня после проведения

вебкаста (14-00мск)

Скачать презентацию Вы можете по ссылке:

https://supportforums.cisco.com/ru/document/12712411

Спасибо, что присоединились к нам сегодня!

Присылайте Ваши вопросы! Используйте панель Q&A, чтобы задать вопрос.

Татьяна и Кирилл ответят на ваши вопросы

Сегодняшняя

презентация включает

опросы аудитории

Пожалуйста, примите

участие в опросах!

Станислав Брайчук

Инженер центра технической поддержки Cisco TAC (Krakow)

Ноябрь 24, 2015

Cisco Support Community Expert Series Webcast

Репликация базы данных CUCM

Вопрос 1

Сталкивались ли вы с проблемами репликации Базы Данных CUCM?

1. Да

2. Нет

3. Что такое репликация БД?

• Архитектура БД CUCM

• Диаграмма процесса репликации БД

• Возможные причины нарушения репликации

• Симптомы нарушения репликации

• Поиск и устранение неисправностей

Содержание

Архитектура БД CUCM

ПК Сервер LDAP

CCM

IMDB LDAPSync

БД

Publisher

CCMAdmin

DBLj (TCP)

DBLj (TCP)

DBL (TCP)

ПК

CCM

IMDB

TFTP

БД

Subscriber

CCMAdmin

DBLj (TCP)

DBL (TCP) DBLj (TCP)

HTTP HTTP

Репликация IDS (TCP)

• Репликация полносвязная (fully meshed). Изменение на одном из серверов распростроняется на все остальные.

• Только UFF данные могут быть записаны на Subscriber, поэтому только эти данные могут реплицироваться от Subscriber.

• Логически, большая часть данных до сих пор еще является как hub-and-spoke с перспективы репликации, потому что она все еще может быть обновлена только на Publisher.

Архитектура БД: репликация

Список функционала UFF

Publisher

Subscriber Subscriber

Subscriber Subscriber

Эти данные могут быть записаны в

локальную БД:

• Call Forward All (CFA)

• Message Waiting Indication (MWI)

• Privacy Enable/Disable

• Do Not Disturb Enable/Disable (DND)

• Extension Mobility Login (EM)

• Hunt Group Logout

• Device Mobility Логическая однонаправленная репликация

Двунаправленная репликация UFF

Процесс репликации БД

Эти шаги выполняются автоматически скриптами репликации когда система инсталируется. Во время выполнения команды «utils dbreplication reset all», эти шаги повторяются снова.

1. Определение Publisher – это поможет установить сервер для начала репликации.

2. Определение шаблонов репликации и выполнение их – это говорит Publisher какие таблицы реплицировать.

Шаги репликации: Publisher

3. Определение каждого Subsriber.

4. Выполнение шаблонов на Subsriber – это говорит Subscriber какие таблицы они должны получить/послать.

5. Синхронизация данных с помощью cdr sync.

Шаги репликации: Subscriber

Pub установлен Статус на Pub = 0 Установка Sub1

Определение

Sub1 Статус на

Sub1 = 0

Таймер

репликации

истек

Реплкация

на Pub

есть?

Запустить таймер

репликации ДА

Pub определяет сервер

Pub, cоздает шаблоны

репликации для Pub и Pub

выполняет их

Sub1 пытается

снова проверить

репликацию на

Pub

Статус на Pub = 2

Pub начинает

процесс

репликации

НЕТ

Pub ожидает всех

Sub для участия в

репликации (в

этот момент

может быть

определен Sub2)

Выполнение

шаблонов на

определенных

Subs, cdr check на

Subs

Статус на

Sub1 = 2

Шаги репликации: Определение Subscriber

Внутри файла

Файл должен закончить с кодом [64], что означает успешное завершение.

Причины нарушения

• Потеря соединения между узлами кластера

• Host файлы разные

• Соединение на порту 8500/UDP/TCP нарушено

• Неверно настроен DNS (forward/reverse lookup)

• Недоступность NTP

• Не доступны «A Cisco DB» и «A Cisco DB Replicator»

• Сервис Dbmon завис/остановлен

Симптомы нарушения

• Статус 0: Устанавливается репликация

• Статус 1: Число репликацией неверно.

• ПРИМЕЧАНИЕ: Больше не используется.

• Статус 2: Репликация установлена успешно.

• Статус 3: Нет real-time репликации динамической таблицы репликации.

• Статус 4: Ошибка установки репликации.

Симптомы нарушения: Статус счетчика

• Сообщение об проблеме с репликацией:

Aug 14 23:57:17 SWMBH1CM01 local7 2 : 1: SWMBH1CM01: Aug 15 2015 03:57:17

AM.690 UTC : %UC_RTMT-2-RTMT_ALERT:

%[AlertName=DBReplicationFailure][AlertDetail= On Fri Aug 14 23:57:17 EDT

2015, alert DBReplicationFailure has occured. Counter Replicate_State of

Number of Replicates Created and State of Replication(ReplicateCount) on

node 10.100.243.129 has state value of 3. ReasonCode: Replication data

transfer is bad in the cluster.#012 ][AppID=Cisco AMC

Service][ClusterID=][NodeID=SWMBH1CM01]: RTMT Alert

• Счетчик статуса репликации в неверном состоянии (проактивный мониторинг)

Симптомы нарушения

Счетчик статуса в приложении RTMT

• В отчете CM Database Status Report в приложении Unified Reporting

• Вывод CLI команды «dbreplication status» показывает проблемы с таблицами, отсутствуют сервера либо сервер в состоянии Dropped:

Tue Apr 7 14:21:51 2015 main() DEBUG: -->

Tue Apr 7 14:22:07 2015 main() DEBUG: Replication cluster summary:

SERVER ID STATE STATUS QUEUE CONNECTION CHANGED

-----------------------------------------------------------------------

g_bldr_ccm4_ccm 2 Active Local 0

g_bldr_ccm5_ccm 3 Active Dropped 636 Sep 11 14:01:20

Симптомы нарушения

Вывод команды utils dbreplication runtimestate

Ошибки или несовпадения в таблицах

CM Database Status Report

• Проверка сервисов

• Проверка соединений

• Проверка host файлов

• Соединения на портах 1500/TCP, 8500/TCP/UDP

• Проверка доступности NTP и сетевой доступности

Тригеры

Необходимые сервисы:

DB = A Cisco DB - сервис поддерживающий движок БД.

RPC = A Cisco DB Replicator – обеспечивает синхронизацию БД между узлами.

DbMon = Cisco Database Layer Monitor - сервис отвечает за уведомления изменения в БД и миниторинг изменений.

Тригер: Сервисы

utils network connectivity

This command can take up to 3 minutes to complete.

Continue (y/n)?y

Running test, please wait ...

.

Network connectivity test with the publisher completed successfully.

Проверка записей DNS:

utils network host <hostname/ipaddress>

Простая проверка соединений между нодами:

utils network ping <hostname/ipaddress>

Тригер: Проверка соединений

/etc/hosts

Все сервера, которые добавлены в меню Server, должны быть отображены в этом файле.

Cluster Manager извлекает запись из hosts файла и создает правило в firewall.

Дублирующие записи разрешены.

/etc/services

Содержит информацию о портах и сервисах необходимых для репликации БД.

Тригер: Проверка файлов

/home/informix/.rhost

Содержит всю информацию о хостах, которым доверяет Informix (используется Informix для механизма аутентификации).

Если на сервере настроено доменное имя – должен быть указан FQDN.

Создается сервисом A Cisco DB и основан на HOSTS файле.

Дублирующие записи разрешены.

Тригер: Проверка файлов

/usr/local/cm/db/informix/etc/sqlhosts

Содержит информация для соединения для каждого сервера БД.

ID должен быть одинаковым (i=X) на всех серверах.

Создается сервисом A Cisco DB.

Дублирующие записи запрещены.

Тригер: Проверка файлов

admin:show tech network hosts

-------------------- show platform network --------------------

/etc/hosts File:

#This file was generated by the /etc/hosts cluster manager.

#It is automatically updated as nodes are added, changed, removed from the cluster.

127.0.0.1 localhost

::1 localhost

10.48.52.66 cucm10-sub

10.48.52.65 cucm10-pub

Тригер: Проверка файлов

admin:show tech dbstateinfo

------------------------ Show tech dbstateinfo -------------------

Database State Info

Output is in /cm/trace/dbl/showtechdbstateinfo182555.txt

Please use "file view activelog /cm/trace/dbl/showtechdbstateinfo182555.txt" to see the contents of File

Error Output is in /cm/trace/dbl/showtechdbstateinfo_cdr_err182555.out

Please use "file view activelog /cm/trace/dbl/showtechdbstateinfo_cdr_err182555.out" command to see the contents of File

Тригер: Проверка файлов

admin:file view activelog /cm/trace/dbl/showtechdbstateinfo182555.txt

(Нажмите «e», чтобы перейти в конец файла)

====================Executing cdr list server ====================

SERVER ID STATE STATUS QUEUE CONNECTION CHANGED

-----------------------------------------------------------------------

g_2_ccm10_5_2_12010_1 2 Active Local 0

g_3_ccm10_5_2_12010_1 3 Active Connected 0 Sep 9 08:34:34

***********************************************************************

Тригер: Проверка файлов

No of SQL Hosts

---------------

g_hdr group - - i=1

LOCAL onsoctcp 127.0.0.1 cucm10_pub_ccm10_5_2_12010_1 b=32767,rto=300

g_2_ccm10_5_2_12010_1 group - - i=2

cucm10_pub_ccm10_5_2_12010_1 onsoctcp 10.48.52.65 cucm10_pub_ccm10_5_2_12010_1 g=g_2_ccm10_5_2_12010_1 b=32767,rto=300

g_3_ccm10_5_2_12010_1 group - - i=3

cucm10_sub_ccm10_5_2_12010_1 onsoctcp 10.48.52.66 cucm10_sub_ccm10_5_2_12010_1 g=g_3_ccm10_5_2_12010_1 b=32767,rto=300

###NOTE: Need to use ipv4 address in host column of sqlhosts file and not hostname

cucm10_pub_car10_5_2_12010_1 onsoctcp 10.48.52.65 cucm10_pub_car10_5_2_12010_1 b=32767,rto=300

cucm10_pub_car10_5_2_10000_5 onsoctcp 10.48.52.65 cucm10_pub_car10_5_2_10000_5 b=32767,rto=300

************************************************************************

Тригер: Проверка файлов

No of rhosts

------------

### IDS BEGIN - DO NOT REMOVE

localhost

cucm10-sub

cucm10-sub

cucm10-pub

cucm10-pub

### IDS END - DO NOT REMOVE

Тригер: Проверка файлов

Тригер: Проверка файлов

Тригер: Проверка файлов

Тригер: Проверка файлов

Проверьте междукластерные порты для БД (ACCEPT на порту1500/TCP с указанием сервера).

admin:utils firewall ipv4 list

ACCEPT tcp -- 10.48.52.66 0.0.0.0/0 tcp dpt:1500 flags:0x02/0x02 limit: up to 50/sec burst 7500 mode srcip-dstport

Данные пример вывода с Publisher (10.48.52.65), где 10.48.52.66 – это Subscriber. Subscriber должен иметь аналогичную запись с IP адресом Publisher.

Если порт не открыт – необходимо проверить журналы сервиса Cluster Manager:

file list activelog platform/log/clustermgr* date detail

file view activelog platform/log/<последний обновленный файл>

12:42:33.844 |clm|HMAC_SHA1 match failed IP(10.44.11.22) (ошибка)

08:33:25.104 |hostname: cucm10-sub state POLICY_INJECTED (успешно)

admin:utils network capture port 8500

Убедитесь, что трафик принимается и передается по этим портам на всех серверах кластера.

Тригер: IPSec

Тригер: Работа сети и NTP

Вопрос 2

Был ли у вас опыт поиска и устранения проблем репликации БД CUCM?

1. Да, мы справились самостоятельно

2. Да, решили совместно с инженером TAC

3. Нет, проблем не возникало

Поиск и устранение неисправностей

Шаг 1

Запустите utils dbreplication runtimestate на Publisher и убедитесь, что все узлы имеют статус 2.

Убедитесь, что Cluster Replication State содержит актуальную информацию синхронизации.

Поиск и устранение: Шаг 1

Если необходимо (старые данные) запустите процесс синхронизации командой utils dbreplication status.

Поиск и устранение: Шаг 1

Обновить статус синхронизации можно командой utils dbreplication runtimestate.

Когда синхронизация завершена проверьте статус всех узлов как описано в начале шага 1.

Шаг 2

Сгенерируйте отчет CM Database Status на странице Cisco Unified Reporting:

1. Откройте приложение Cisco Unified Reporting.

2. Перейдите в System Reports > Unfied CM Database Status.

3. Сгенерируйте отчет с помощью иконки.

Примечание: В случае открытия кейса в Cisco TAC – сохраните отчет для предоставления его инженеру TAC.

Поиск и устранение: Шаг 2

Шаг 3

Если один из компонентов будет нарушен в отчете вы увидите красную иконку статуса компонента.

Убедитесь, что БД Local и Publisher доступны.

В случае нарушения проверьте, что сервис A Cisco DB запущен на узлах командой utils service list. Если сервис остановлен – попробуйте запустить его командой utils service start A Cisco DB. Если сервис не запускается – обратитесь в Cisco TAC.

Поиск и устранение: Шаг 3

Убедитесь, что Replication Server List (cdr list serv) заполнен на всех узлах.

Если список пуст для одного из узла – переходите к шагу 8.

Поиск и устранение: Шаг 3

Убедитесь, что файлы hosts, rhosts, sqlhosts эквивалентны на всех узлах.

Есть разница:

• Hosts – utils service restart A Cisco DB.

• Rhosts – utils service restart A Cisco DB и utils service restart Cluster Manager.

• Sqlhosts – utils system restart A Cisco DB.

После этого сгенерируйте новый отчет. Если файлы после перезагрузки сервиса/сервисов все еще не эквивалентны – обратитесь в Cisco TAC.

Если ошибки изсчезли – переходите к шагу 8.

Поиск и устранение: Шаг 3

Убедитесь, что в отчете DBL RPC hello нет ошибок.

В случае ошибки:

• Проверьте сетевое соединение между Subscriber и Publisher.

• Убедитесь, что порт 1515/TCP не блокируется сетевыми устройствами.

Сгенерируйте новый отчет – в случае повторения ошибки переходите к шагу 8.

Поиск и устранение: Шаг 3

Убедитесь, что нет ошибок в сетевой доступности узлов.

В случае ошибки:

• Проверьте сетевое соединение между узлами.

• Убедитесь, что порты не блокируется сетевыми устройствами.

Сгенерируйте новый отчет – в случае повторения ошибки переходите к шагу 8.

Поиск и устранение: Шаг 3

Шаг 4

Проверьте индивидуальные компоненты с помощью команды utils diagnose test.

Компонент validate_network проверяет все аспекты сетевой доступности всех узлов кластера.

В случае ошибки:

test validate_network: Error, intra-cluster communication is broken, unable to connect to [узел] – проверьте сетевое соединение с узлом

test validate_network: Reverse DNS lookup failed – убедитесь, что DNS настройки правильные командой utils network eth0 all и проверьте доступность узлов по IP адресам/имени узла с помощью команды utils network host <ip address/hostname>

Поиск и устранение: Шаг 4

Проверьте статус NTP c помощью команды utils diagnose test:

Либо командой utils ntp status:

Поиск и устранение: Шаг 4

Шаг 5

Если шаг 4 не показал ошибок запустите команду utils network connectivity на всех узлах, чтобы убедиться, что сетевое соединение к БД не имеет ошибок.

Если вы получили сообщение «Cannot send TCP/UDP packets» проверьте сеть на ретрансмиссии и блокирование TCP/UDP портов.

Поиск и устранение: Шаг 5

Проверьте, что security пароль одинаковый на всех узлах командой show network cluster.

Шаг 6

Команда utils dbreplication runtimestate показывает статусы out of sync или not requested.

Убедитесь, что:

• все узлы доступны и имеют небольшой RTT (Round Trip Time);

• для кластеризации через WAN: убедитесь, что для удаленных узлов задержка не более 80ms;

• правильно установлен таймаут репликации;

show tech repltimeout – проверить значение таймаута.

utils dbreplication setrepltimeout – установить значение таймаута.

[Server 1-5 = 1 Minute Per Server] + [Servers 6-10 = 2 Minutes Per Server] + [Servers >10 = 3 Minutes Per Server]

Поиск и устранение: Шаг 6

Перед тем как переходить к шагам 7 и 8 необходимо убедиться в выполнении следующих пунктов:

• Все сервера имеют сетевую доступность – Шаг 5.

• RPC доступно – Шаг 3.

• Обратитесь к Cisco TAC для выполнения шагов 7 и 8, если кластер состоит из более 8 серверов.

• Проводите данные процедуры в нерабочее время.

Поиск и устранение: Шаги 7 и 8

Шаг 7

Команда utils dbreplication runtimestate показывает ошибки и несоответсвия в таблицах.

Запустите команду utils dbreplication repair all.

Проверьте статус снова командой utils dbreplication runtimetate.

Переходите к шагу 8, если статус не изменился.

Поиск и устранение: Шаг 7

Шаг 8

Для того, чтобы сбросить репликацию и начать заново:

• utils dbreplication stop all (только на Publisher);

• utils dbreplication dropadmindb (сначала один за одним на Subscriber затем на Publisher);

• utils dbreplication reset all (только на Publisher);

Мониторить процесс репликации с помощью RTMT/команды utils dbreplication runtimestate.

Для сброса репликации на определенном узле:

• utils dbreplication stop <sub name/IP> (только на Publisher);

• utils dbreplcation dropadmindb (только на требуемом Subscriber);

• utils dbreplication reset <sub name/IP> (только на Publisher);

Поиск и устранение: Шаг 8

Перед обращение в Cisco TAC убедитесь, что у вас есть следующая информация (желательно предоставить при открытии сервисного обращения).

Выводы команд:

• utils dbreplication runtimestate

• utils diagnose test

• utils network connectivity

Отчеты:

• Cisco Unified Reporting CM Database Report (шаг 2)

• Создать отчет в CLI с помощью команды utils create report database и загрузить .tar архив, используя SFTP сервер.

Поиск и устранение: Обращение в TAC

Поиск и устранение: CLI отчет

Документация

• Troubleshooting CUCM Database Replication Linux Appliance Model (https://supportforums.cisco.com/document/52421/troubleshooting-cucm-database-replication-linux-appliance-model)

• TCP and UDP Port Usage Guide for Cisco Unified Communications Manager (http://www.cisco.com/c/en/us/support/unified-communications/unified-communications-manager-callmanager/products-maintenance-guides-list.html)

• Command Line Interface Guide for Cisco Unified Communications Solutions (http://www.cisco.com/c/en/us/support/unified-communications/unified-communications-manager-callmanager/products-maintenance-guides-list.html)

Дополнительная информация

Вопрос 3

Какая тема следующего вебинара вам более интересна?

1. UCCE – архитектура, основные компоненты, как они взаимодействуют

2. UCCE – Входящий звонок, как отследить звонок в логах и как передаются данные на агентское место

3. CVP Comprehensive Call Flow – какова логика работы, как отследить звонок в логах

Отправьте свой вопрос сейчас! Используйте панель Q&A, чтобы задать вопрос.

Эксперты ответят на Ваши вопросы.

Приглашаем Вас активно участвовать в Сообществе и социальных сетях

Vkontakte http://vk.com/cisco

Facebook http://www.facebook.com/CiscoSupportCommunity

Twitter https://twitter.com/CiscoRussia

You Tube http://www.youtube.com/user/CiscoRussiaMedia

Google+ https://plus.google.com/106603907471961036146

LinkedIn http://www.linkedin.com/groups/Cisco-Russia-CIS-3798428

Instgram https://instagram.com/ciscoru

Подписаться на рассылку [email protected]

Мы также предоставляем Вашему вниманию Сообщества на других языках!

Если Вы говорите на Испанском, Португальском или Японском, мы приглашаем Вас принять участие в Сообществах:

Русское http://russiansupportforum.cisco.com

Испанское https://supportforums.cisco.com/community/spanish

Португальское https://supportforums.cisco.com/community/portuguese

Японское https://supportforums.cisco.com/community/csc-japan

Китайское http://www.csc-china.com.cn

Если Вы говорите на Испанском,

Португальском или Японском, мы

приглашаем Вас принять участие и вести

общение на Вашем родном языке

Технические семинары в клубе Cisco Expo Learning Club

http://ciscoclub.ru/events

Пожалуйста, участвуйте в опросе

Спасибо за Ваше внимание!