отмена
Отображаются результаты для 
Вместо этого искать 
Вы имели в виду: 
Объявления
Добро пожаловать в Сообщество Технической поддержки Cisco. Мы рады получить обратную связь .
New Member

Проблемы с DMVPN

Добрый день коллеги.

Имеется два DMVPN хаба - использую Phase 1.

Cisco CISCO3925-CHASSIS (revision 1.0) with C3900-SPE200/K9

IOS : Version 15.2(4)M5

 

Эпизодически бывают проблемы с хабом-1, был out of memory + traceback при настройке SNAT на IOS : c3900e-universalk9-mz.SPA.153-1.T, перешёл на M ветку, поставил

c3900e-universalk9-mz.SPA.152-4.M5, в итоге на днях на данном хабе умерли вообще все туннели ~ 120 штук ( дебаги снять не успел), перезагрузка решила вопрос.

при этом с таким-же IOS на втором хабе проблем не фиксирую....

Что скажут знающие ? Это стабильные ветки ?

  • Безопасность (Security)
11 ОТВЕТ.

Есть ли BFD? EzVPN? Имеется

Есть ли BFD? EzVPN? Имеется по ним пара багов...

 

Неплохо бы все-таки узнать, куда девается память, и из-за памяти ли была последняя проблема... Лучше при подобных поломках в первую очередь снимать show tech.

New Member

BFD - нет,EasyVPN тоже.Что

BFD - нет,EasyVPN тоже.

Что насчёт М ветки, она должна быть стабильной насколько я в курсе.

как-то вносил изменения в static nat на обоих железках (использую SNAT) в итоге обе железки ушли в ребут..

Хочу уйти на что-то из этого:

c3900e-universalk9-mz.SPA.152-4.M6a.bin

c3900e-universalk9-mz.SPA.151-4.M8.bin

только кто-бы поделился ими для меня...

 

Вот логи в момент аварии:

 

Jun 23 15:32:51 wan1 14660: 027561: Jun 23 15:32:50.080 MSK: %SYS-2-CFORKMEM: Process creation of Virtual Exec failed (no memory). -Process= "TCP Remote Shell", ipl= 0, pid= 58
Jun 23 15:32:51 wan1 14661: -Traceback= 190C83Dz 2EC1A11z 2ECD212z 2ECD1E2z 1834225z 233A8A3z 233A59Ez 1F77610z 1F7268Az


Jun 23 15:33:02 wan1 14665: 027565: Jun 23 15:33:01.083 MSK: %SSH-3-DH_SECRET_FAIL: DH shared secret computation failed, status -2
Jun 23 15:33:06 wan1 14666: 027566: Jun 23 15:33:06.108 MSK: %SYS-2-MALLOCFAIL: Memory allocation of 48 bytes failed from 0x220242C, alignment 0
Jun 23 15:33:06 wan1 14667: Pool: Processor  Free: 110452  Cause: Memory fragmentation
Jun 23 15:33:06 wan1 14668: Alternate Pool: None  Free: 0  Cause: No Alternate pool
Jun 23 15:33:06 wan1 14669:  -Process= "IP Input", ipl= 4, pid= 123
Jun 23 15:33:06 wan1 14670: -Traceback= 190C83Dz 2E9B5ECz 2E9AD9Dz 220242Cz 2201FD9z 230D7F4z 211B89z 229DC2z 212FC0z 212ADCz 2127DDz 21261Ez


Jun 23 15:33:36 wan1 14688: 027585: Jun 23 15:33:36.147 MSK: %SYS-2-MALLOCFAIL: Memory allocation of 80 bytes failed from 0x220242C, alignment 0
Jun 23 15:33:36 wan1 14689: Pool: Processor  Free: 113544  Cause: Memory fragmentation
Jun 23 15:33:36 wan1 14690: Alternate Pool: None  Free: 0  Cause: No Alternate pool
Jun 23 15:33:36 wan1 14691:  -Process= "IP Input", ipl= 4, pid= 123
Jun 23 15:33:36 wan1 14692: -Traceback= 190C83Dz 2E9B5ECz 2E9AD9Dz 220242Cz 2201FD9z 230D7F4z 211B89z 229DC2z 212FC0z 212ADCz 2127DDz 21261Ez


Jun 23 15:34:06 wan1 14707: 027603: Jun 23 15:34:06.484 MSK: %SYS-2-MALLOCFAIL: Memory allocation of 132 bytes failed from 0x220242C, alignment 0
Jun 23 15:34:06 wan1 14708: Pool: Processor  Free: 117680  Cause: Memory fragmentation
Jun 23 15:34:06 wan1 14709: Alternate Pool: None  Free: 0  Cause: No Alternate pool
Jun 23 15:34:06 wan1 14710:  -Process= "IP Input", ipl= 4, pid= 123
Jun 23 15:34:06 wan1 14711: -Traceback= 190C83Dz 2E9B5ECz 2E9AD9Dz 220242Cz 2201FD9z 230D7F4z 211B89z 229DC2z 212FC0z 212ADCz 2127DDz 21261Ez


###

Jun 23 15:35:23 wan1 14787: 027702: Jun 23 15:35:23.276 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.57 (Tunnel1) is down: retry limit exceeded
Jun 23 15:35:24 wan1 14788: 027705: Jun 23 15:35:24.500 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.83 (Tunnel1) is down: holding time expired
Jun 23 15:35:24 wan1 14789: 027708: Jun 23 15:35:24.634 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.78 (Tunnel1) is down: holding time expired
Jun 23 15:35:24 wan1 14790: 027711: Jun 23 15:35:24.694 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.120 (Tunnel1) is down: holding time expired
Jun 23 15:35:24 wan1 14791: 027714: Jun 23 15:35:24.740 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.105 (Tunnel1) is down: holding time expired
Jun 23 15:35:24 wan1 14792: 027715: Jun 23 15:35:24.740 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.97 (Tunnel1) is down: holding time expired
Jun 23 15:35:24 wan1 14793: 027718: Jun 23 15:35:24.941 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.150 (Tunnel1) is down: holding time expired
Jun 23 15:35:24 wan1 14794: 027719: Jun 23 15:35:24.953 MSK: %DUAL-5-NBRCHANGE: EIGRP-IPv4 2: Neighbor 192.168.0.17 (Tunnel1) is down: holding time expired

Да, кончилась память, из-за

Да, кончилась память, из-за этого не хватило сил создавать EIGRP кипалайвы. Но без "show proc mem" не понять даже примерно, в какой подсистеме произошла утечка, остается только гадать... Когда узнаете виноватый процесс - наверняка сразу же сообразите, какой воркараунд можно применить.

 

Если в функционале 15.2М нет потребности, то лучше перейти на 15.1М, она лично мне больше нравится. И кстати, перечислите через запятую все фичи, которые задействованы на роутерах, или покажите конфиги.

 

А стабильных веток нет. Есть более вылизанные и менее вылизанные. Как правило, более вылизанные - те, что на 2-3 релиза отстают от последней.

New Member

С утра на c3900e-universalk9

по фичам: DMVPN/eigrp/hsrp/acl/qos/IPSec/SNAT

С утра на c3900e-universalk9-mz.SPA.152-4.M5.bin опять вылетели железки:

 

Jun 27 04:37:02 wan2 34292: 039513: Jun 27 04:37:02.284 MSK: %SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x2C20400, alignment 8

Jun 27 04:37:02 wan2 34293: Pool: Processor  Free: 2058112  Cause: Memory fragmentation
Jun 27 04:37:02 wan2 34294: Alternate Pool: None  Free: 0  Cause: No Alternate pool
Jun 27 04:37:02 wan2 34295:  -Process= "Chunk Manager", ipl= 6, pid= 1
Jun 27 04:37:02 wan2 34296: -Traceback= 18F7CA3z 2C16F68z 2C16719z 2C20400z 2C0A586z 2C0A438z

###

Jun 27 04:37:33 wan2 34308: Pool: Processor  Free: 2030800  Cause: Memory fragmentation
Jun 27 04:37:33 wan2 34309: Alternate Pool: None  Free: 0  Cause: No Alternate pool
Jun 27 04:37:33 wan2 34310:  -Process= "IP Input", ipl= 0, pid= 122
Jun 27 04:37:33 wan2 34311: -Traceback= 18F7CA3z 2C16F68z 2C16719z 2C20400z 2C0A586z 2C1E827z 2C1E713z 2C0A10Az 2C0A095z 256096z 255BECz 254A89z 253B85z 20FBFFBz 20D73A4z 1DDD87z
Jun 27 04:37:33 wan2 34312: 039523: Jun 27 04:37:33.117 MSK: %SYS-2-CHUNKEXPANDFAIL: Could not expand chunk pool for ipnat node. No memory available -Process= "Chunk Manager", ipl= 6, pid= 1
Jun 27 04:37:33 wan2 34313: -Traceback= 18F7CA3z 2C0A51Bz

 

откатился опять на : c3900e-universalk9-mz.SPA.153-1.T.bin

mem leak пропал, но зашёл на WAN1 - standby роутер залил новый IOS :

c3900e-universalk9-mz.SPA.154-2.T.bin далее указал :

boot system flash:c3900e-universalk9-mz.SPA.153-1.T.bin

и всё система ушла в ребут, в логах:

 

System returned to ROM by bus error at PC 0x1DEEF2, address 0x1DEEF2 at 16:33:04 MSK Fri Jun 27 2014

 

Last reload reason: bus error at PC 0x1DEEF2, address 0x1DEEF2

 

Из crashinfo:

 

CMD: 'sh run | i boot' 16:32:46 MSK Fri Jun 27 2014
CMD: 'conf t' 16:32:48 MSK Fri Jun 27 2014
CMD: 'boot system flash:c3900e-universalk9-mz.SPA.154-2.T.bin' 16:32:59 MSK Fri Jun 27 2014
CMD: 'end' 16:33:00 MSK Fri Jun 27 2014
000899: Jun 27 16:33:00.874 MSK: %SYS-5-CONFIG_I: Configured from console by vadim on vty0 (192.168.84.163)
CMD: 'wr' 16:33:01 MSK Fri Jun 27 2014
000900: Jun 27 16:33:04.675 MSK: %HSRP-5-STATECHANGE: GigabitEthernet0/0 Grp 2 state Standby -> Active
000901: Jun 27 16:33:04.677 MSK: %HSRP-5-STATECHANGE: GigabitEthernet0/2 Grp 1 state Standby -> Active
000902: Jun 27 16:33:04.677 MSK: %SNAT-5-PROCESS: Id 1, System starts converging
000903: Jun 27 16:33:04.677 MSK: %HSRP-5-STATECHANGE: GigabitEthernet0/2 Grp 1 state Active -> Speak
000904: Jun 27 16:33:04.679 MSK: %HSRP-5-STATECHANGE: GigabitEthernet0/0 Grp 2 state Active -> Speak

 16:33:04 MSK Fri Jun 27 2014: Unexpected exception to CPU: vector D, PC = 0x1DEEF2

-Traceback= 1DEEF2 21F21C1 60B541E 60B5317 21B8CAA

CPU Register Context:
EAX = 0x264E4A38  ECX  = 0x256B0DA4  EDX = 0x256B0D98  EBX  = 0x00000011
ESP = 0x256B0D68  EBP  = 0x256B0D7C  ESI = 0x00000000  EDI  = 0xFFFFFFFF
EIP = 0x001DEEF2  PS   = 0x00010206  CS  = 0x00000008  SS   = 0x00000010
DS  = 0x00000010  ES   = 0x00000010  FS  = 0x00000010  GS   = 0x00000010


========= Start of Crashinfo Collection (16:33:04 MSK Fri Jun 27 2014) =========

For image:
Cisco IOS Software, C3900e Software (C3900e-UNIVERSALK9-M), Version 15.3(1)T, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2012 by Cisco Systems, Inc.
Compiled Mon 26-Nov-12 18:34 by prod_rel_team

 

 

Ну технологические ветки

Ну технологические ветки априори не надо использовать на боевом железе, если нет серьезных причин на это.

 

Ну в общем узнавайте, куда именно утекает память.

New Member

Есть возможность поделиться

Есть возможность поделиться образами ?

c3900e-universalk9-mz.SPA.152-4.M6a.bin

c3900e-universalk9-mz.SPA.151-4.M8.bin

Я очень законопослушный

Я очень законопослушный человек, всегда пользуюсь лицензионным ПО и никогда не распространяю нелицензионное.

 

А еще у меня нет 3900-х роутеров и соответственно контрактов под них.

Cisco Employee

Такие беды обычно из-за NAT-а

Такие беды обычно из-за NAT-а и происходят. А SNAT уж и не поддерживается даже:

http://www.cisco.com/c/en/us/products/collateral/security/ios-network-address-translation-nat/end_of_life_notice_c51-611706.html

Интересно было бы посмотреть хотя бы на

show ip nat stat

А еще есть магическая команда "show mem debug leaks chunks", только не надо доводить до момента, когда память совсем кончится. Вот интуитивно-понятные команды для траблшутинга. По росту показаний можно понять, что происходит:

show memory statistics
show memory statistics history
show memory allocating-process totals
show proc memory sorted holding

 

Какой же кошмарный интерфейс тут.

 

New Member

насчёт EoL для SNAT - читал,

насчёт EoL для SNAT - читал, сильно удивился.

рекомендация от вендора - The recommended replacement for the Cisco IOS SNAT feature is the Cisco ASA Adaptive Security Appliance beginning with release 7.0.

У меня есть ASA failover на ветке 8.3 в тесте, но пока мигрировать на него не могу.

Решил сделать следующее:

1) увеличить DRAM - до 2Gb

2) Убрал SNAT overload, оставил только Static NAT.

3) Обновился до 152-4.M6a.bin.

Эпизодически ещё фиксирую падение железки (К примеру при изменении hsrp priority) - c bus error:

 

Last reload reason: bus error at PC 0x2503A6, address 0x2503A6

 

 

Region Manager:

      Start         End     Size(b)  Class  Media  Name
 0x00000000  0x000FFFFF     1048576  IText  R/W    bios
 0x00100000  0x3E0FFFFF  1040187392  Local  R/W    main
 0x0010176C  0x05D5D76F    96845828  IText  R/O    main:text
 0x05D5D780  0x0BC1928F    99334928  IData  R/W    main:data
 0x082C7DE0  0x08BAD2BF     9327840  Local  R/W    data:heap
 0x0BC19290  0x0C7F8D9F    12450576  IBss   R/W    main:bss
 0x0C7F8DA0  0x1E5F8D9F   299892736  Iomem  R/W    main:iomem
 0x1E5F8DA0  0x3BFFFFFF   497054304  Local  R/W    main:main
 0x1E5F8DA0  0x3BFFFFFF   497054304  Local  R/W    main:heap


Free Region Manager:

      Start         End     Size(b)  Class  Media  Name

 

Буду менять DRAM в итоге...

А кто-то SNAT использует вообще ? какие отзывы ?

737
Просмотры
0
Полезный материал
11
Ответы