отмена
Отображаются результаты для 
Вместо этого искать 
Вы имели в виду: 
Объявления
Добро пожаловать в Сообщество Технической поддержки Cisco. Мы рады получить обратную связь .
Cisco Employee

Спросить экперта: "Особенности траблшутинга маршрутизаторов ASR1000"

с Дмитрием Леонтьевым

 

Read the bio

В ходе сессии "Спросить Эксперта" инженер Cisco TAC Дмитрий Леонтьев ответит на вопросы об архитектуре разных моделей маршрутизаторов серии ASR1000 и особенностях траблшутинга этих устройств.

 

Дмитрий Леонтьев - инженер центра технической поддержки Cisco (Cisco Technical Assistance Center) в Москве. Занимается поддержкой решений в области маршрутизации и коммутации, имеет сертификат CCIE Routing&Switching и Service Provider.

 

Пожалуйста, не забывайте оценивать ответы Дмитрия, чтобы он знал, что Вы получили совет, который Вам помог. Общение может быть продолжено на нашем форуме и после окончании сессии. Сессия продлится до 6-го февраля.

 

Хотите узнать больше информации об этом событии?

 

        

42 ОТВЕТ.
New Member

Дмитрий, добрый день!Спасибо

Дмитрий, добрый день!
Спасибо за вебинар, очень интересно.
Вопрос.
Маршрутизатор ASR1004 с вот таким наполнением


sh platform
Chassis type: ASR1004            

Slot      Type                State                 Insert time (ago)
--------- ------------------- --------------------- -----------------
0         ASR1000-SIP10       ok                    21:50:20     
 0/0      SPA-1X10GE-L-V2     ok                    21:48:44     
 0/1      SPA-1X10GE-L-V2     ok                    21:48:36     
 0/2      SPA-5X1GE-V2        ok                    21:48:28     
1         ASR1000-SIP10       ok                    21:50:20     
 1/0      SPA-1X10GE-L-V2     ok                    21:48:43     
 1/1      SPA-1X10GE-L-V2     ok                    21:48:36     
 1/2      SPA-5X1GE-V2        ok                    21:48:27     
R0        ASR1000-RP2         ok                    21:50:20     
 R0/0                         ok, active            21:50:20     
 R0/1                         ok, standby           21:49:02     
F0        ASR1000-ESP20       ok, active            21:50:20     
P0        ASR1004-PWR-AC      ok                    21:49:53     
P1        ASR1004-PWR-AC      ok                    21:49:52     

Slot      CPLD Version        Firmware Version                       
--------- ------------------- ---------------------------------------
0         09111601            15.4(2r)S                          
1         09111601            15.4(2r)S                          
R0        13092401            15.4(2r)S                          
F0        08041102            15.4(2r)S                          

И свежей Cisco Suggested версией IOS-XE


#sh ver | i IOS
Cisco IOS XE Software, Version 03.13.01.S - Extended Support Release
Cisco IOS Software, ASR1000 Software (X86_64_LINUX_IOSD-ADVENTERPRISEK9-M), Version 15.4(3)S1, RELEASE SOFTWARE (fc3)

Пытаюсь ввести в работу как замену PE 7206, в конфиге ничего не обычного. Конфиг перенесен с 7206 за исключением того что на 7206 использовался inspect для фильтрации трафика на некоторых vrf а на 1004 переделал на zbf (mpls интерфейс в зоне default).
При попытки подать трафик на 1004 у него крашится ESP, произвольно, первый раз через 7 часом, второй раз через 40 минут.
Лог краша:


000390: Jan 28 23:24:24.867 VLAT: %IOSXE_OIR-6-OFFLINECARD: Card (fp) offline in slot F0
000391: Jan 28 23:24:24.868 VLAT: %IOSXE_RP_ALARM-6-INFO: ASSERT MAJOR module F0 Unknown state
000392: Jan 28 23:24:24.868 VLAT: %IOSXE_RP_ALARM-2-ESP: ASSERT CRITICAL module R0 No Working ESP
000393: Jan 28 23:27:07.918 VLAT: %CPPHA-3-FAULT: F0: cpp_ha:  CPP:0.0 desc:CPP Client process failed: FMAN-FP det:HA class:CLIENT_SW sev:FATAL id:1 cppstate:RUNNING res:UNKNOWN flags:0x0 cdmflags:0x0
000394: Jan 28 23:27:07.927 VLAT: %CPPOSLIB-3-ERROR_NOTIFY: F0: cpp_ha:  cpp_ha encountered an error -Traceback= 1#ad7b6151764b122da36bbd3eb8a057cd   errmsg:F379000+2230 cpp_common_os:FF59000+C670 cpp_common_os:FF59000+C470 cpp_common_os:FF59000+19DAC cpp_drv_cmn:FBFF000+23430 cpp_dmap:FEEC000+38260 :10000000+2273C :10000000+24090 :10000000+E61C :10000000+9C34 :10000000+D89C :10000000+F328 :10000000+11EA4 cpp_common_os:FF59000+11B38 cpp_common_os:FF59000+11C1C evlib:F0A9000+E1FC evlib:F0A9000+105E4 cpp_common_os:FF59000+
000395: Jan 28 23:27:07.932 VLAT: %CPPDRV-3-LOCKDOWN_INITIATED: F0: cpp_ha:  QFP0.0 CPP Driver LOCKDOWN being triggered due to fatal error.
000396: Jan 28 23:27:08.002 VLAT: %IOSXE-6-PLATFORM: F0: cpp_ha: Shutting down CPP MDM while client(s) still connected
000397: Jan 28 23:27:08.098 VLAT: %PMAN-3-PROCHOLDDOWN: F0: pman.sh:  The process cpp_ha_top_level_server has been helddown (rc 69)
000398: Jan 28 23:27:08.104 VLAT: %PMAN-3-PROCHOLDDOWN: F0: pman.sh:  The process fman_fp_image has been helddown (rc 139)
000399: Jan 28 23:27:08.704 VLAT: %CPPDRV-3-LOCKDOWN: F0: cpp_cp:  QFP0.0 CPP Driver LOCKDOWN encountered due to previous fatal error (SW: Userspace fault).
000400: Jan 28 23:27:26.337 VLAT: %IOSXE_RP_ALARM-6-INFO: CLEAR MAJOR module F0 Unknown state
000401: Jan 28 23:27:26.337 VLAT: %IOSXE_RP_ALARM-6-INFO: ASSERT MAJOR module F0 Disabled


После этого разваливается динамика

ESP бутается,


000423: Jan 28 23:27:31.892 VLAT: %IOSXE_RP_ALARM-6-INFO: CLEAR MAJOR module F0 Disabled
000424: Jan 28 23:27:31.892 VLAT: %IOSXE_RP_ALARM-6-INFO: ASSERT MAJOR module F0 Boot state
000471: Jan 28 23:28:24.567 VLAT: %IOSXE_OIR-6-ONLINECARD: Card (fp) online in slot F0
000472: Jan 28 23:28:24.568 VLAT: %IOSXE_RP_ALARM-2-ESP: CLEAR CRITICAL module R0 No Working ESP
000473: Jan 28 23:28:24.569 VLAT: %IOSXE_RP_ALARM-6-INFO: CLEAR MAJOR module F0 Boot state
000474: Jan 28 23:28:55.216 VLAT: %CPPHA-7-START: F0: cpp_ha:  CPP 0 preparing ucode
000475: Jan 28 23:28:56.221 VLAT: %CPPHA-7-START: F0: cpp_ha:  CPP 0 startup init
000476: Jan 28 23:29:02.313 VLAT: %CPPHA-7-START: F0: cpp_ha:  CPP 0 running init
000477: Jan 28 23:29:02.584 VLAT: %CPPHA-7-READY: F0: cpp_ha:  CPP 0 loading and initialization complete
000478: Jan 28 23:29:02.986 VLAT: %IOSXE-6-PLATFORM: F0: cpp_cp: Process CPP_PFILTER_EA_EVENT__API_CALL__REGISTER
000479: Jan 28 23:29:05.005 VLAT: %SCOOBY-5-SERIAL_BRIDGE_BLOCK_EVENT: F0: cman_fp:  Block cilink5/0 of serial bridge 0 had I/O event 0x2

 

После этого динамика собирается.
В Bug Search Tool я нашел 7-8 похожих по логам крашей, но они все закрыты к версии 3.13.1.S
Изначально решил что это HW проблема, достал второй ASR 1004 влил теже IOS-XE и конфиг. Тот же самый краш, дважды за сутки.
Вопрос, может ли что то в конфиге вызывать подобный краш ESP? Или менять по RMA?

Cisco Employee

Добрый день, Александр.Все

Добрый день, Александр.

Все вопросы, связанные к крэшами требуют изучения дополнительной информации - декодирования core-файлов, более подробного исследования логов. Обычно в такой ситуации мы советуем открыть кейс в Cisco ТАС и уже в рамках кейса изучить проблему. Так как вы упоминаете RMA я могу предположить, что Смартнет у вас есть и вы можете завести кейс. Если вы его откроете в понедельник с 10 до 18 он попадет в Российский ТАС и я с удовольствием займусь его решением.

По имеющимся данным сложно определить причину проблемы - HW или SW, но так как проблема повторилась на другом маршрутизаторе с таким же конфигом и IOS, я могу предположить что скорее всего проблема носит программный характер. В этой ситуации я могу посоветовать откатиться на 3.10.4, если конечно у вас не настроены какие-то функции, достпные только в 3.13.

Судя про предоставленным логам, причина проблемы заключается в механизмах High Availability - cpp_ha

 

New Member

Дмитрий, да все верно кейс

Дмитрий, да все верно кейс заведен - 633512921.

Получили по нему ответ:

I will be assisting you with this service request.  I have decoded the core files and the ESP is crash in the ZBFW per-filter statistics part of the code.  I have not found any known matching software bugs and this could be a new issue. I will need to contact our developers regarding the crashes and will update you as soon as I hear  back.

В общем то с этим вопросм ясно.

У меня осталось два :)

- можно ли отключить дебаги - Firewall Client error и Firewall Client warning

#sh debugging
IOSXE Conditional Debug Configs:

Conditional Debug Global State: Stop


IOSXE Packet Tracing Configs:

 

 

Platform Firewall Client:
  Firewall Client error on
  Firewall Client warning on

у меня не получилось :)

- и второй, спрашивал на вебинаре, можете порекомендовать хорошую книгу или две по ASR`ам 1000?

Cisco Employee

Помогу Дмитрию, как инженер

Помогу Дмитрию, как инженер по безопасности.

Это косметическая проблема. На самом деле у всех "QFP-фич" IOS-XE логирование включено по умолчанию на ур. notice. Так что в данном сл. мы имеем дефект визуализации:

CSCup38902    "Platform Firewall Client" debugs still on after un all

В версиях, доступных для пользователей, он пока не исправлен. Будет исправлен в XE3.15.

 

Cisco Employee

Книги мы не читаем, но кто-то

Книги мы не читаем, но кто-то на вебкасте предложил:

http://www.ciscopress.com/store/building-service-aware-networks-the-next-generation-9781587057885

По кр. мере там по архитектуре ПО что-то есть, я постараюсь посмотреть.

New Member

Добрый день. Спасибо за

Добрый день. Спасибо за презентацию. Было интересно.

Момент с обновлением IOS как раз пропустил  - обещали выложить запись с webex - стоит ждать ? Вообще вопрос только один: почему стоит обновлять только каждые третьи IOS xe ?

Cisco Employee

Добрый день, Андрей. Запись

Добрый день, Андрей. 

Запись вебкаста обещали выложить в ближайшее время. Нужно некоторое время, чтобы его конвертировать и загрузить. Видео также будет доступно на youtube.com.

Отвечаю на ваш вопрос про обновления: Каждый третий IOS: 3.10, 3.13, 3.16 и т.д. являются extended support, у них гораздо больший период жизни, поддержки, в них добавляются все фиксы багов, найденные и исправленные. 

Промежуточные версии 3.11, 3.12, 3.14, 3.15 имеют более короткий срок жизни и поддержки и используются для добавления новых функций. А как мы все знаем добавление новых функций часто сопряжено с "детскими болезнями", что может приводить, например, к крэшам. Поэтому если вы не ожидаете какую-то функцию, добавленную в релизе со стандартной поддержкой, то стоит обновляться на версии с расширенной поддержкой, коими и являются каждый третий - 3.7, 3.10, 3.13 и т.д., поддержка которых выполняется дольше, в которых содержится больше функций и исправленных багов.

New Member

Добрый день, Дмитрий.В данный

Добрый день, Дмитрий.

В данный момент мы осуществляем миграцию нашей инфраструктуры с 7301 на ASR 1001 и у нас возникла одна проблема:

На эти устройства сходится множество IP-IP IPSec туннелей. На каждом туннеле висит service-policy, которая шейпит весь трафик на неё уходящий, а дочерняя политика приоритизрует и резервирует полосу пропускания для трафика по классам трафика (протоколы+ACL). Так вот изучение документации позволяет сделать вывод, что NBAR не будет работать на таких туннелях и не получится применить на них политику, в которой присутствует определение классов.

Есть мысль маркировать трафик на входящем интерфейсе, а на туннелях работать с марками, но не совсем понятно, как в таком случае организовать резервирование полосы в политике.

Есть ли какой-нибудь выход из данной ситуации, или на ASR невозможно  контролировать трафик, уходящий в туннель?

Cisco Employee

Поясните пожалуйста термин

Поясните пожалуйста термин "IP-IP IPSec" или приведите настройку одного интерфейса tunnel.
 

New Member

Имеется в виду туннели такого

Имеется в виду туннели такого вида:

interface Tunnel10042
 ip address 172.16.1.2 255.255.255.252
 ip mtu 1450
 ip access-group ACL_IN in
 ip access-group ACL_OUT out
 ip ospf network point-to-point
 ip ospf mtu-ignore
 ip ospf cost 30
 qos pre-classify
 tunnel source x.x.x.x
 tunnel mode ipip
 tunnel destination y.y.y.y
 tunnel protection ipsec profile IPSec-AES
 service-policy input Tunnel_5M_IN

Cisco Employee

В данном случае проще будет

В данном случае проще будет перенастроить всю сеть на "tunnel mode gre ip", чем выяснить, что поддерживается, а что - нет на IPIP-туннелях и поддерживаются ли сами эти туннели на ASR1k совместно с IPSec в варианте "tunnel protection". Причем скорее всего после открытия кейса, багов и переписки с разработчиками выяснится, что все-таки нет. Например, я вижу баг:

CSCud74793    ASR1K does not encrypt packets w/ tunnel mode ipip and vrf

где написано: "On ASR platforms, tunnel protection is not supported for tunnel mode ipip. Marking this bug as an enhancement". Технически, это скорее всего неверно. Но, с др. стороны, разработчиков тоже можно понять, поскольку есть GRE и 99.99% клиентов используют его или чистый IPSec "tunnel mode ipsec ipv4". На них NBAR, т.е. "match protocol" должно работать прозрачно.

Я правда не понял, почему у вас "service-policy input", хотя shaping поддерживается только на output.

New Member

Это другая политика. Та,

Это другая политика. Та, которая на output, не применяется. Хорошо, если мы изменим тип туннелей и включим NBAR, то мы упрёмся в максимум NBAR-enabled interfaces, которых в последней версии софта всего 32, согласно документу http://www.cisco.com/c/en/us/td/docs/ios-xml/ios/qos_nbar/configuration/xe-3s/asr1000/qos_nbar-xe-3s-asr1000-book/clsfy-traffic-nbar.html#GUID-6DDD2F85-F1E5-4B83-BE36-12F50343BE58 ?

Не самая слабая железяка и всего 32 интерфейса. Причём чем выше версия, тем меньше интерфейсов поддерживается. Сплошные подводные камни.

Cisco Employee

Классификация с помощью

Классификация с помощью "match protocol" не требует включения Protocol Discovery, поэтому считайте, что этого ограничения нет.

New Member

Премного благодарен за

Премного благодарен за подсказку. Проблема оказалась в странном ограничении, упоминание которого я нашёл на форуме в интернете - политика не применяется на виртуальных интерфейсах, привязанных к Port-channel (если в группе более одного активного порта). После переноса на физический интерфейс и смены туннеля на GRE всё заработало.

New Member

Добрый день.Имеется access

Добрый день.

Имеется access-list (Extended IP access list ), который используется для L4 редиректа. Вопрос, какое максимальное количество ip-адресов я могу занести в этот access-list ?  Как  access-list использует память?

Вопрос актуален для следующего железа:

R0        ASR1002-RP1         ok, active                 
F0        ASR1000-ESP10-N     ok, active           

R0        ASR1000-RP2         ok, active                 
F0        ASR1000-ESP100      ok, active         

Cisco Employee

Добрый день.Ограничения по

Добрый день.

Ограничения по количеству IP адресов в ACL не определены, но есть следующие рекомендуемые значения:

RP1+ESP10:

IPv4 ACEs per ACL - 30K

IPv4 ACEs per System - 50K

IPv4 ACLs per System - 4 K

 

RP2 + ESP100:

IPv4 ACEs per ACL - 120K

IPv4 ACEs per System - 400K

IPv4 ACLs per System - 4 K

 

Думаю, что эти значения помогут вам правильно распределить ресурсы системы. 

Access-list заносится в таблицу TCAM, следить за состоянием которой можно с помощью команды show platform hardware qfp active tcam  

 

New Member

ВОПРОС С ВЕБКАСТА:Добрый день

ВОПРОС С ВЕБКАСТА:

Добрый день. Можете порекомендовать хорошую книгу, или пару, по ASR1000/OS-XE?

Cisco Employee

Олег Типисов ниже видимо

Олег Типисов ниже видимо ответил на этот вопрос:

"Книги мы не читаем, но кто-то на вебкасте предложил:

http://www.ciscopress.com/store/building-service-aware-networks-the-next-generation-9781587057885

По кр. мере там по архитектуре ПО что-то есть, я постараюсь посмотреть."

Я могу только согласиться с тем, что по ASR1000 мне не доводилось видеть полноценных книг. В основном я пользуюсь документами, доступными на cisco.com для отдельных тем и разделов. Материала достаточно, основная проблема в том, чтобы эти документы найти. 

New Member

ВОПРОС С ВЕБКАСТА:ASR1k может

ВОПРОС С ВЕБКАСТА:

ASR1k может делать erspan source cpu (брать control plane трафик с RP)? Парсер принимает команды, но трафик не шлется.

В данном конкретном случае - для отправки на стороннюю систему для дальнейшего анализа. Нужен трафик сигнализации SIP за весь день с сравнительно неплохо нагруженной железки (несколько сотен pps только SIP).

Cisco Employee

Был открыт кейс в ТАС по этой

Был открыт кейс в ТАС по этой теме.

source cpu для ERSPAN на ASR1000 не поддерживается. Девелоперы предложили пользоваться Embedded Packet Capture (EPC) для подобных задач.

New Member

ВОПРОС С ВЕБКАСТА:На ASR1002x

ВОПРОС С ВЕБКАСТА:

На ASR1002x встроенные порты обслуживаются каким-то встроенным SIP?

Cisco Employee

Нет, 6 встроенных Gig-портов

Нет, 6 встроенных Gig-портов - это "как-бы SPA" и обслуживаются они специальной ASIC, к которой также подключаются 2x PVDM, BiTS и крипто-чип Octeon. Встроенный "uplink"-интерфейс этой ASIC имеет пропускную способность около 10Gbps, за которым стоит еще одна микросхема, выполняющая ingress-классификацию входящего трафика в hi/lo-очереди. Ее "uplink"-интерфейс также 10Gbps. За ним стоит "как-бы SIP40" (ну, а точнее, микросхема от него), основная задача которого - обслуживать 3 SPA. Своим "uplink"-интерфейсом этот ASIC подключается уже к QFP через шину 12x5GHz (ESI-линки в интегрированных системах не используются).

Из-за такой архитектуры подключения производительность crypto на этой платформе ограничена 4Gbps, хотя сам крипто-чип имеет большую пропускную способность.

Замечу также, что подключение crypto-чипа через SPA bay, - это новое слово в роутеростроении и от него отказались уже в следующей модели ASR1001-X, которая имеет большую производительность crypto, но меньшую общую производительность.


 

New Member

ВОПРОС С ВЕБКАСТА:Правильно

ВОПРОС С ВЕБКАСТА:

Правильно ли я понимаю, что Firmware необходимо обновлять отдельно от обновления IOS-XE?

Cisco Employee

По сути, да. Обновление

По сути, да. Обновление firmware и IOS - это две разные процедуры и выполняются они независимо друг от друга. Кроме этого одна версия Firmware подходит для нескольких версий IOS, поэтому обновлять Firmware приходится реже. 

 

New Member

ВОПРОС С ВЕБКАСТА:Firmware

ВОПРОС С ВЕБКАСТА:

Firmware нужно апгрейдить до апгрейда IOS XE или после ?

Cisco Employee

В целом желательно Firmware

В целом желательно Firmware обновлять первым. Правда для ASR1000 я не встречал никаких проблем, если обновить позже (кроме иногда неправильной диагностики). А вот например у Catalyst4500, который сейчас тоже есть с IOS-XE, пока не обновили Firmware не загружалась  свежая версия IOS, при загрузке коммутатор уходил в rommon без сообщений об ошибке.

New Member

ВОПРОС С ВЕБКАСТА:Я правильно

ВОПРОС С ВЕБКАСТА:

Я правильно понял, что Firmware 15.4 на ASR1001 нет смысла ставить? А необходимо 15.2 (согласно таблице)?

Cisco Employee

Да, можно использовать 15.2

Да, можно использовать 15.2(1r)S, согласно таблице. Есть правда рекомендация Cisco - стараться чтобы версия Firmware совпадала (или была близка) с версией IOS на ASR1000. Но делать это при выходе каждой новой версии не обязательно

New Member

ВОПРОС С ВЕБКАСТА:Видел

ВОПРОС С ВЕБКАСТА:

Видел лицензию SGN(NAT). Будет ли работать NAТ без этой лицензии?

1051
Просмотры
10
Полезный материал
42
Ответы