Upload
cisco-russia
View
767
Download
4
Embed Size (px)
Citation preview
Станислав Брайчук
Инженер центра технической поддержки Cisco TAC (Krakow)
Ноябрь 24, 2015
Репликация базы данных CUCM
Cisco Support Community
Expert Series Webcast
Вебинар на русском языке
Декабрь 22, 2015 в 11:00мск
Вебинар посвящен решению, разработанному компанией Cisco , которое позволяет управлять процессами идентификации и контроля доступа к сети. Содержит обзор сервисов, предоставляемых платформой Cisco ISE, и способов внедрения в сетевую инфраструктуру.
Cisco ISE в управлении доступом к сети
Александр
Стрельцов
Как стать активным участником? Легко!
• Создавайте документы, пишите блоги, загружайте
видео, отвечайте на вопросы пользователей.
• Вклад оценивается на основе таблицы лидеров
• Также оценивается количество документов, блогов
и видео, созданных пользователем.
• Вклад оценивается только по русскоязычному
сообществу, не включая рейтинг, набранный в
глобальном Cisco Support Community.
Премия "Самый активный участник Сообщества Поддержки Cisco"
Оцени контент
Ваши оценки контента дают возможность авторам получать баллы.
Хотите чтобы поиск был удобным и простым? Помогите нам распознать качественный контент в Сообществе. Оценивайте документы, видео и блоги.
Пожалуйста, не забывайте оценивать ответы пользователей, которые щедро делятся своим опытом и временем.
https://supportforums.cisco.com/ru/community/4926/pomoshch-help
16 ноября 2015 – 27 ноября 2015
Сессия «Спросить Эксперта» с Константином Ваксиным
Медиа обращение в контактный центр UCCX
https://supportforums.cisco.com/ru/discussion/12700966 Получить дополнительную информацию, а также задать вопросы эксперту в рамках данной темы Вы можете на странице, доступной по ссылке: https://supportforums.cisco.com/community/russian/expert-corner
24 ноября 2015 – 04 декабря 2015
Сессия «Спросить Эксперта» со Станиславом Брайчуком
Получить дополнительную информацию, а также задать вопросы эксперту в рамках данной темы Вы можете на странице, доступной по ссылке: https://supportforums.cisco.com/community/russian/expert-corner Вы можете получить видеозапись данного семинара и текст сессии Q&A в течении ближайших 5 дней по следующей ссылке https://supportforums.cisco.com/community/russian/expert-corner/webcast https://supportforums.cisco.com/ru/discussion/12712436
Конкурс “Репликация базы данных CUCM”
24 ноября в 14:00 мск
Мы предлагаем Вам принять участие в конкурсе после проведения вебкаста, который так и будет называться «Репликация базы данных CUCM»
• Первые три победителя получат фирменный куб Cisco-TAC
• Ответы присылайте на [email protected]
• Задание конкурса будет размещено сегодня после проведения
вебкаста (14-00мск)
Скачать презентацию Вы можете по ссылке:
https://supportforums.cisco.com/ru/document/12712411
Спасибо, что присоединились к нам сегодня!
Присылайте Ваши вопросы! Используйте панель Q&A, чтобы задать вопрос.
Татьяна и Кирилл ответят на ваши вопросы
Сегодняшняя
презентация включает
опросы аудитории
Пожалуйста, примите
участие в опросах!
Станислав Брайчук
Инженер центра технической поддержки Cisco TAC (Krakow)
Ноябрь 24, 2015
Cisco Support Community Expert Series Webcast
Репликация базы данных CUCM
Вопрос 1
Сталкивались ли вы с проблемами репликации Базы Данных CUCM?
1. Да
2. Нет
3. Что такое репликация БД?
• Архитектура БД CUCM
• Диаграмма процесса репликации БД
• Возможные причины нарушения репликации
• Симптомы нарушения репликации
• Поиск и устранение неисправностей
Содержание
ПК Сервер LDAP
CCM
IMDB LDAPSync
БД
Publisher
CCMAdmin
DBLj (TCP)
DBLj (TCP)
DBL (TCP)
ПК
CCM
IMDB
TFTP
БД
Subscriber
CCMAdmin
DBLj (TCP)
DBL (TCP) DBLj (TCP)
HTTP HTTP
Репликация IDS (TCP)
• Репликация полносвязная (fully meshed). Изменение на одном из серверов распростроняется на все остальные.
• Только UFF данные могут быть записаны на Subscriber, поэтому только эти данные могут реплицироваться от Subscriber.
• Логически, большая часть данных до сих пор еще является как hub-and-spoke с перспективы репликации, потому что она все еще может быть обновлена только на Publisher.
Архитектура БД: репликация
Список функционала UFF
Publisher
Subscriber Subscriber
Subscriber Subscriber
Эти данные могут быть записаны в
локальную БД:
• Call Forward All (CFA)
• Message Waiting Indication (MWI)
• Privacy Enable/Disable
• Do Not Disturb Enable/Disable (DND)
• Extension Mobility Login (EM)
• Hunt Group Logout
• Device Mobility Логическая однонаправленная репликация
Двунаправленная репликация UFF
Эти шаги выполняются автоматически скриптами репликации когда система инсталируется. Во время выполнения команды «utils dbreplication reset all», эти шаги повторяются снова.
1. Определение Publisher – это поможет установить сервер для начала репликации.
2. Определение шаблонов репликации и выполнение их – это говорит Publisher какие таблицы реплицировать.
Шаги репликации: Publisher
3. Определение каждого Subsriber.
4. Выполнение шаблонов на Subsriber – это говорит Subscriber какие таблицы они должны получить/послать.
5. Синхронизация данных с помощью cdr sync.
Шаги репликации: Subscriber
Pub установлен Статус на Pub = 0 Установка Sub1
Определение
Sub1 Статус на
Sub1 = 0
Таймер
репликации
истек
Реплкация
на Pub
есть?
Запустить таймер
репликации ДА
Pub определяет сервер
Pub, cоздает шаблоны
репликации для Pub и Pub
выполняет их
Sub1 пытается
снова проверить
репликацию на
Pub
Статус на Pub = 2
Pub начинает
процесс
репликации
НЕТ
Pub ожидает всех
Sub для участия в
репликации (в
этот момент
может быть
определен Sub2)
Выполнение
шаблонов на
определенных
Subs, cdr check на
Subs
Статус на
Sub1 = 2
• Потеря соединения между узлами кластера
• Host файлы разные
• Соединение на порту 8500/UDP/TCP нарушено
• Неверно настроен DNS (forward/reverse lookup)
• Недоступность NTP
• Не доступны «A Cisco DB» и «A Cisco DB Replicator»
• Сервис Dbmon завис/остановлен
• Статус 0: Устанавливается репликация
• Статус 1: Число репликацией неверно.
• ПРИМЕЧАНИЕ: Больше не используется.
• Статус 2: Репликация установлена успешно.
• Статус 3: Нет real-time репликации динамической таблицы репликации.
• Статус 4: Ошибка установки репликации.
Симптомы нарушения: Статус счетчика
• Сообщение об проблеме с репликацией:
Aug 14 23:57:17 SWMBH1CM01 local7 2 : 1: SWMBH1CM01: Aug 15 2015 03:57:17
AM.690 UTC : %UC_RTMT-2-RTMT_ALERT:
%[AlertName=DBReplicationFailure][AlertDetail= On Fri Aug 14 23:57:17 EDT
2015, alert DBReplicationFailure has occured. Counter Replicate_State of
Number of Replicates Created and State of Replication(ReplicateCount) on
node 10.100.243.129 has state value of 3. ReasonCode: Replication data
transfer is bad in the cluster.#012 ][AppID=Cisco AMC
Service][ClusterID=][NodeID=SWMBH1CM01]: RTMT Alert
• Счетчик статуса репликации в неверном состоянии (проактивный мониторинг)
Симптомы нарушения
• В отчете CM Database Status Report в приложении Unified Reporting
• Вывод CLI команды «dbreplication status» показывает проблемы с таблицами, отсутствуют сервера либо сервер в состоянии Dropped:
Tue Apr 7 14:21:51 2015 main() DEBUG: -->
Tue Apr 7 14:22:07 2015 main() DEBUG: Replication cluster summary:
SERVER ID STATE STATUS QUEUE CONNECTION CHANGED
-----------------------------------------------------------------------
g_bldr_ccm4_ccm 2 Active Local 0
g_bldr_ccm5_ccm 3 Active Dropped 636 Sep 11 14:01:20
Симптомы нарушения
• Проверка сервисов
• Проверка соединений
• Проверка host файлов
• Соединения на портах 1500/TCP, 8500/TCP/UDP
• Проверка доступности NTP и сетевой доступности
Тригеры
Необходимые сервисы:
DB = A Cisco DB - сервис поддерживающий движок БД.
RPC = A Cisco DB Replicator – обеспечивает синхронизацию БД между узлами.
DbMon = Cisco Database Layer Monitor - сервис отвечает за уведомления изменения в БД и миниторинг изменений.
Тригер: Сервисы
utils network connectivity
This command can take up to 3 minutes to complete.
Continue (y/n)?y
Running test, please wait ...
.
Network connectivity test with the publisher completed successfully.
Проверка записей DNS:
utils network host <hostname/ipaddress>
Простая проверка соединений между нодами:
utils network ping <hostname/ipaddress>
Тригер: Проверка соединений
/etc/hosts
Все сервера, которые добавлены в меню Server, должны быть отображены в этом файле.
Cluster Manager извлекает запись из hosts файла и создает правило в firewall.
Дублирующие записи разрешены.
/etc/services
Содержит информацию о портах и сервисах необходимых для репликации БД.
Тригер: Проверка файлов
/home/informix/.rhost
Содержит всю информацию о хостах, которым доверяет Informix (используется Informix для механизма аутентификации).
Если на сервере настроено доменное имя – должен быть указан FQDN.
Создается сервисом A Cisco DB и основан на HOSTS файле.
Дублирующие записи разрешены.
Тригер: Проверка файлов
/usr/local/cm/db/informix/etc/sqlhosts
Содержит информация для соединения для каждого сервера БД.
ID должен быть одинаковым (i=X) на всех серверах.
Создается сервисом A Cisco DB.
Дублирующие записи запрещены.
Тригер: Проверка файлов
admin:show tech network hosts
-------------------- show platform network --------------------
/etc/hosts File:
#This file was generated by the /etc/hosts cluster manager.
#It is automatically updated as nodes are added, changed, removed from the cluster.
127.0.0.1 localhost
::1 localhost
10.48.52.66 cucm10-sub
10.48.52.65 cucm10-pub
Тригер: Проверка файлов
admin:show tech dbstateinfo
------------------------ Show tech dbstateinfo -------------------
Database State Info
Output is in /cm/trace/dbl/showtechdbstateinfo182555.txt
Please use "file view activelog /cm/trace/dbl/showtechdbstateinfo182555.txt" to see the contents of File
Error Output is in /cm/trace/dbl/showtechdbstateinfo_cdr_err182555.out
Please use "file view activelog /cm/trace/dbl/showtechdbstateinfo_cdr_err182555.out" command to see the contents of File
Тригер: Проверка файлов
admin:file view activelog /cm/trace/dbl/showtechdbstateinfo182555.txt
(Нажмите «e», чтобы перейти в конец файла)
====================Executing cdr list server ====================
SERVER ID STATE STATUS QUEUE CONNECTION CHANGED
-----------------------------------------------------------------------
g_2_ccm10_5_2_12010_1 2 Active Local 0
g_3_ccm10_5_2_12010_1 3 Active Connected 0 Sep 9 08:34:34
***********************************************************************
Тригер: Проверка файлов
No of SQL Hosts
---------------
g_hdr group - - i=1
LOCAL onsoctcp 127.0.0.1 cucm10_pub_ccm10_5_2_12010_1 b=32767,rto=300
g_2_ccm10_5_2_12010_1 group - - i=2
cucm10_pub_ccm10_5_2_12010_1 onsoctcp 10.48.52.65 cucm10_pub_ccm10_5_2_12010_1 g=g_2_ccm10_5_2_12010_1 b=32767,rto=300
g_3_ccm10_5_2_12010_1 group - - i=3
cucm10_sub_ccm10_5_2_12010_1 onsoctcp 10.48.52.66 cucm10_sub_ccm10_5_2_12010_1 g=g_3_ccm10_5_2_12010_1 b=32767,rto=300
###NOTE: Need to use ipv4 address in host column of sqlhosts file and not hostname
cucm10_pub_car10_5_2_12010_1 onsoctcp 10.48.52.65 cucm10_pub_car10_5_2_12010_1 b=32767,rto=300
cucm10_pub_car10_5_2_10000_5 onsoctcp 10.48.52.65 cucm10_pub_car10_5_2_10000_5 b=32767,rto=300
************************************************************************
Тригер: Проверка файлов
No of rhosts
------------
### IDS BEGIN - DO NOT REMOVE
localhost
cucm10-sub
cucm10-sub
cucm10-pub
cucm10-pub
### IDS END - DO NOT REMOVE
Тригер: Проверка файлов
Проверьте междукластерные порты для БД (ACCEPT на порту1500/TCP с указанием сервера).
admin:utils firewall ipv4 list
ACCEPT tcp -- 10.48.52.66 0.0.0.0/0 tcp dpt:1500 flags:0x02/0x02 limit: up to 50/sec burst 7500 mode srcip-dstport
Данные пример вывода с Publisher (10.48.52.65), где 10.48.52.66 – это Subscriber. Subscriber должен иметь аналогичную запись с IP адресом Publisher.
Если порт не открыт – необходимо проверить журналы сервиса Cluster Manager:
file list activelog platform/log/clustermgr* date detail
file view activelog platform/log/<последний обновленный файл>
12:42:33.844 |clm|HMAC_SHA1 match failed IP(10.44.11.22) (ошибка)
08:33:25.104 |hostname: cucm10-sub state POLICY_INJECTED (успешно)
admin:utils network capture port 8500
Убедитесь, что трафик принимается и передается по этим портам на всех серверах кластера.
Тригер: IPSec
Вопрос 2
Был ли у вас опыт поиска и устранения проблем репликации БД CUCM?
1. Да, мы справились самостоятельно
2. Да, решили совместно с инженером TAC
3. Нет, проблем не возникало
Шаг 1
Запустите utils dbreplication runtimestate на Publisher и убедитесь, что все узлы имеют статус 2.
Убедитесь, что Cluster Replication State содержит актуальную информацию синхронизации.
Поиск и устранение: Шаг 1
Если необходимо (старые данные) запустите процесс синхронизации командой utils dbreplication status.
Поиск и устранение: Шаг 1
Обновить статус синхронизации можно командой utils dbreplication runtimestate.
Когда синхронизация завершена проверьте статус всех узлов как описано в начале шага 1.
Шаг 2
Сгенерируйте отчет CM Database Status на странице Cisco Unified Reporting:
1. Откройте приложение Cisco Unified Reporting.
2. Перейдите в System Reports > Unfied CM Database Status.
3. Сгенерируйте отчет с помощью иконки.
Примечание: В случае открытия кейса в Cisco TAC – сохраните отчет для предоставления его инженеру TAC.
Поиск и устранение: Шаг 2
Шаг 3
Если один из компонентов будет нарушен в отчете вы увидите красную иконку статуса компонента.
Убедитесь, что БД Local и Publisher доступны.
В случае нарушения проверьте, что сервис A Cisco DB запущен на узлах командой utils service list. Если сервис остановлен – попробуйте запустить его командой utils service start A Cisco DB. Если сервис не запускается – обратитесь в Cisco TAC.
Поиск и устранение: Шаг 3
Убедитесь, что Replication Server List (cdr list serv) заполнен на всех узлах.
Если список пуст для одного из узла – переходите к шагу 8.
Поиск и устранение: Шаг 3
Убедитесь, что файлы hosts, rhosts, sqlhosts эквивалентны на всех узлах.
Есть разница:
• Hosts – utils service restart A Cisco DB.
• Rhosts – utils service restart A Cisco DB и utils service restart Cluster Manager.
• Sqlhosts – utils system restart A Cisco DB.
После этого сгенерируйте новый отчет. Если файлы после перезагрузки сервиса/сервисов все еще не эквивалентны – обратитесь в Cisco TAC.
Если ошибки изсчезли – переходите к шагу 8.
Поиск и устранение: Шаг 3
Убедитесь, что в отчете DBL RPC hello нет ошибок.
В случае ошибки:
• Проверьте сетевое соединение между Subscriber и Publisher.
• Убедитесь, что порт 1515/TCP не блокируется сетевыми устройствами.
Сгенерируйте новый отчет – в случае повторения ошибки переходите к шагу 8.
Поиск и устранение: Шаг 3
Убедитесь, что нет ошибок в сетевой доступности узлов.
В случае ошибки:
• Проверьте сетевое соединение между узлами.
• Убедитесь, что порты не блокируется сетевыми устройствами.
Сгенерируйте новый отчет – в случае повторения ошибки переходите к шагу 8.
Поиск и устранение: Шаг 3
Шаг 4
Проверьте индивидуальные компоненты с помощью команды utils diagnose test.
Компонент validate_network проверяет все аспекты сетевой доступности всех узлов кластера.
В случае ошибки:
test validate_network: Error, intra-cluster communication is broken, unable to connect to [узел] – проверьте сетевое соединение с узлом
test validate_network: Reverse DNS lookup failed – убедитесь, что DNS настройки правильные командой utils network eth0 all и проверьте доступность узлов по IP адресам/имени узла с помощью команды utils network host <ip address/hostname>
Поиск и устранение: Шаг 4
Проверьте статус NTP c помощью команды utils diagnose test:
Либо командой utils ntp status:
Поиск и устранение: Шаг 4
Шаг 5
Если шаг 4 не показал ошибок запустите команду utils network connectivity на всех узлах, чтобы убедиться, что сетевое соединение к БД не имеет ошибок.
Если вы получили сообщение «Cannot send TCP/UDP packets» проверьте сеть на ретрансмиссии и блокирование TCP/UDP портов.
Поиск и устранение: Шаг 5
Проверьте, что security пароль одинаковый на всех узлах командой show network cluster.
Шаг 6
Команда utils dbreplication runtimestate показывает статусы out of sync или not requested.
Убедитесь, что:
• все узлы доступны и имеют небольшой RTT (Round Trip Time);
• для кластеризации через WAN: убедитесь, что для удаленных узлов задержка не более 80ms;
• правильно установлен таймаут репликации;
show tech repltimeout – проверить значение таймаута.
utils dbreplication setrepltimeout – установить значение таймаута.
[Server 1-5 = 1 Minute Per Server] + [Servers 6-10 = 2 Minutes Per Server] + [Servers >10 = 3 Minutes Per Server]
Поиск и устранение: Шаг 6
Перед тем как переходить к шагам 7 и 8 необходимо убедиться в выполнении следующих пунктов:
• Все сервера имеют сетевую доступность – Шаг 5.
• RPC доступно – Шаг 3.
• Обратитесь к Cisco TAC для выполнения шагов 7 и 8, если кластер состоит из более 8 серверов.
• Проводите данные процедуры в нерабочее время.
Поиск и устранение: Шаги 7 и 8
Шаг 7
Команда utils dbreplication runtimestate показывает ошибки и несоответсвия в таблицах.
Запустите команду utils dbreplication repair all.
Проверьте статус снова командой utils dbreplication runtimetate.
Переходите к шагу 8, если статус не изменился.
Поиск и устранение: Шаг 7
Шаг 8
Для того, чтобы сбросить репликацию и начать заново:
• utils dbreplication stop all (только на Publisher);
• utils dbreplication dropadmindb (сначала один за одним на Subscriber затем на Publisher);
• utils dbreplication reset all (только на Publisher);
Мониторить процесс репликации с помощью RTMT/команды utils dbreplication runtimestate.
Для сброса репликации на определенном узле:
• utils dbreplication stop <sub name/IP> (только на Publisher);
• utils dbreplcation dropadmindb (только на требуемом Subscriber);
• utils dbreplication reset <sub name/IP> (только на Publisher);
Поиск и устранение: Шаг 8
Перед обращение в Cisco TAC убедитесь, что у вас есть следующая информация (желательно предоставить при открытии сервисного обращения).
Выводы команд:
• utils dbreplication runtimestate
• utils diagnose test
• utils network connectivity
Отчеты:
• Cisco Unified Reporting CM Database Report (шаг 2)
• Создать отчет в CLI с помощью команды utils create report database и загрузить .tar архив, используя SFTP сервер.
Поиск и устранение: Обращение в TAC
• Troubleshooting CUCM Database Replication Linux Appliance Model (https://supportforums.cisco.com/document/52421/troubleshooting-cucm-database-replication-linux-appliance-model)
• TCP and UDP Port Usage Guide for Cisco Unified Communications Manager (http://www.cisco.com/c/en/us/support/unified-communications/unified-communications-manager-callmanager/products-maintenance-guides-list.html)
• Command Line Interface Guide for Cisco Unified Communications Solutions (http://www.cisco.com/c/en/us/support/unified-communications/unified-communications-manager-callmanager/products-maintenance-guides-list.html)
Дополнительная информация
Вопрос 3
Какая тема следующего вебинара вам более интересна?
1. UCCE – архитектура, основные компоненты, как они взаимодействуют
2. UCCE – Входящий звонок, как отследить звонок в логах и как передаются данные на агентское место
3. CVP Comprehensive Call Flow – какова логика работы, как отследить звонок в логах
Отправьте свой вопрос сейчас! Используйте панель Q&A, чтобы задать вопрос.
Эксперты ответят на Ваши вопросы.
Приглашаем Вас активно участвовать в Сообществе и социальных сетях
Vkontakte http://vk.com/cisco
Facebook http://www.facebook.com/CiscoSupportCommunity
Twitter https://twitter.com/CiscoRussia
You Tube http://www.youtube.com/user/CiscoRussiaMedia
Google+ https://plus.google.com/106603907471961036146
LinkedIn http://www.linkedin.com/groups/Cisco-Russia-CIS-3798428
Instgram https://instagram.com/ciscoru
Подписаться на рассылку [email protected]
Мы также предоставляем Вашему вниманию Сообщества на других языках!
Если Вы говорите на Испанском, Португальском или Японском, мы приглашаем Вас принять участие в Сообществах:
Русское http://russiansupportforum.cisco.com
Испанское https://supportforums.cisco.com/community/spanish
Португальское https://supportforums.cisco.com/community/portuguese
Японское https://supportforums.cisco.com/community/csc-japan
Китайское http://www.csc-china.com.cn
Если Вы говорите на Испанском,
Португальском или Японском, мы
приглашаем Вас принять участие и вести
общение на Вашем родном языке
Технические семинары в клубе Cisco Expo Learning Club
http://ciscoclub.ru/events