Troubleshooting high cpu en 4500, 6500, 7600 y 3850 - Pregunte al Experto

[Cisco Moderador]

Dentro de la vida diaria nos enfrentamos a diferentes problemas en nuestra infraestructura, uno muy común es tener problemas relacionados con un excesivo uso de cpu en ciertos equipos.

En esta ocasión nos enfocaremos en las plataformas 3850, 4500, 6500 y 7600, donde veremos los temas más comunes que causan estos problemas y de misma manera orientación para resolver problemas más específicos.  

Haga sus preguntas del lunes, 1 al viernes, 12 de Febrero del 2016

Experto en Destaque

Salvador Encarnación García colabora actualmente como ingeniero del TAC en México en el equipo de LAN switching con una experiencia profesional en Routing and Switching de más de 4 años. Ingeniero en Redes y Telecomunicaciones egresado del Instituto Tecnológico de Estudios Superiores de Occidente mejor conocido como ITESO. Actualmente preparándose para el CCIE de Routing and Switching.

Salvador puede no ser capaz de responder a todas las preguntas, debido al volumen esperado durante este evento. Recuerde que también puede hacer sus preguntas en nuestra sub-comunidad de Routing & Switching. 

** Calificaciones fomentar la participación! **
Por favor, asegúrese de ordenar las respuestas a las preguntas!

[manuel.giraldo · Accepted solution]

Hola,

Tengo un par de switches 3850 en stacking que son los Core de una red LAN Enterprise. Desde que los implementé se experimentó 2 veces lentitud extrema en toda la red. En esa situación, los tiempos de respuesta de los ping se incrementan demasiado y al acceder remotamente por ssh al equipo es imposible. En esos casos lo que se ha hecho es ingresar por consola al equipo tratando de hacer un troubleshooting y tambien se experimenta lentitud excesiva.

Por lo que he visto me da la impresion que el 3850 viene con servicios activos por defecto que se debería desactivar.

Agradecería pueda indicarnos que acciones tomar cuando suceda esta situación. Que comandos ejecutar, que revisar y como corregir. 

Gracias de antemano.

Manuel

[Ang3loV]

Estimado Buenas Tardes 

Tengo dos Equipos WS-C6509-E Virtualizados (VSS) con dos supervisoras 2T-10G en cada chassis (VS4O Redundancy Domains), con IOS Version 15.1(2)SY4, hace poco tuve un problema el cual generaba intermitencia por el alto procesamiento dejo indicado algunos datos y logs:

Log:

2w3d: SW1_STBY: Warning: Uncorrectable Parity error is seen in the Netflow Table.
If any error is seen in Netflow flow creation or Netflow Data
export, it is advised to reboot the card in a maintenance window
2w3d: SW1_STBY: Warning: Uncorrectable Parity error is seen in the Netflow Table.
If any error is seen in Netflow flow creation or Netflow Data
export, it is advised to reboot the card in a maintenance window

Al final se logro restablecer el procesamiento con solo retirar el modulo de la supervisora que se encontraba como standby quisiera saber a que se debio dicho problema si fue por tema de algun bug de ios si fuera asi que version me recomendaria o si  fuera algun problema de hardware.

Agradeceria mucho de su apoyo, Gracias de antemano

Angel Johan

[Salvador Encarnacion Garcia]

Hola Buen dia!

Disculpa la demora, el problema que tienes es un hard parity error, ese problema causa que la supervisora se reinicie o no funcione de manera correcta. El problema es meramente de hardware y necesitas reemplazarla; en ocaciones se resuelve quitando la tarjeta del chassis y volviendola a conectar, sin embargo si el problema persiste el reemplazo es inminente.

Saludos y que tengas un buen dia!

[Salvador Encarnacion Garcia]

Hola buen día!
Antes que nada tendríamos que revisar que no tengamos un bug en la versión, pero me gustaría saber lo siguiente:

Cuando empezaste a tener este tipo de problemas?
Cuando notaste el problema, hiciste algún cambio en tu red o configuración?
Es una nueva implementación o ya tenía tiempo trabajando sin problemas?

Para poder hacer troubleshooting de este tipo de situaciones, me gustara saber si me podrías pasar la siguiente información:

show version
show proc cpu history

show proc cpu sorted | exclude 0.0
show spanning-tree detail | in exec|occur|from

Espero me puedas ayudar con esta información y ver si no tenemos un bug en la versión.

Saludos y que tengas un excelente día.

[jagosi1981]

Hola :)

Tengo el mismo problema con la serie 3850 por lo que dejo diagnostico del equipo:

Switch Ports Model SW Version SW Image Mode
------ ----- ----- ---------- ---------- ----
* 1 32 WS-C3850-24P 03.03.00SE cat3k_caa-universalk9 INSTALL

History information for system:

555555555555555555555555555555555555555555555555555555555555
000001111111111000000000011111000001111111111000002222211111
100
90
80
70
60
50 ************************************************************
40 ************************************************************
30 ************************************************************
20 ************************************************************
10 ************************************************************
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per second (last 60 seconds)

555555555555555555555555555555555555555555555555555555555555
221111111112111121121211212111221221112111111211111111121121
100
90
80
70
60
50 ############################################################
40 ############################################################
30 ############################################################
20 ############################################################
10 ############################################################
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%

555555555555555555555567555555555555555555555555555555555555555555555555
333363342333233232234228234283322333323323333422523363333323223333223332
100
90
80 *
70 *
60 * ** * * *
50 ########################################################################
40 ########################################################################
30 ########################################################################
20 ########################################################################
10 ########################################################################
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%

History information for core 0:

44444
999997777744444666664444477777777774444466666555557777733333
100
90
80
70
60
50 *****
40 *****
30 *****
20 *****
10 ********** ***** ********** ***************
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per second (last 60 seconds)

9 69 6292 2 99 9 1
786898756674979787871876676776896898879677777798781778896788
100 * * * ** *
90 * * * ** *
80 * * * ** *
70 * ** * ** *
60 * ** * # ** *
50 * ** * # ** *
40 * *# * # ** *
30 * *# **#* ** *
20 # *# **#* * ** #
10 *###*#*#########*##*#*#*##******##*#*#*#******##*##**#******
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%

1
999999999999999999999990999999999999999999999999999999999999
888878888888877889888880888887887888887887878888888788888888
100 ************************************************************************
90 ************************************************************************
80 ************************************************************************
70 ************************************************************************
60 ************************************************************************
50 ************************************************************************
40 ************************************************************************
30 ************************************************************************
20 ***********#***********#*#********#**#**#****#****#*****#****#**********
10 ########################################################################
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%

History information for core 1:

44444 4444444444 3333333333222226666644444
100
90
80
70
60
50
40
30
20
10 *****
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per second (last 60 seconds)

999999 19999 99 9999 999999
633453577677543877853546446443366546877642434635576886455453
100 ****** ##** ** *##* ***##*
90 *#**** ##** ** *##* ***##*
80 *#***# #### ** *##* ***##*
70 *#**## #### ** *##* ***##*
60 *##*## #### *# *##* *#*##*
50 *##*## #### *# *##* *#*##*
40 *##*## #### *# *### *#*##*
30 *##### #### *# *### *####*
20 *##### #### *# #### *####*
10 * * ######* *####* * * * ##* ####* * *###### ** *
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%

999999999999999999999999999999999999999999999999999999999999
888898988888888888888888888898888888889898988898888898989898
100 ************************************************************************
90 ************************************************************************
80 ************************************************************************
70 ************************************************************************
60 ************************************************************************
50 ************************************************************************
40 ************************************************************************
30 *##********#****#**#****#**#**#******#**#*****#******#*##*#***#**##*****
20 #####*#*##*##**################****#*######*#####**##########*#**#####*#
10 ########################################################################
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%

History information for core 2:

555559999999999999999999999999999999999999999999999999999999
111115555566666777775555544444666666666655555333334444477777
100 ******************** *************** *****
90 *******************************************************
80 *******************************************************
70 *******************************************************
60 *******************************************************
50 ************************************************************
40 ************************************************************
30 ************************************************************
20 ************************************************************
10 ************************************************************
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per second (last 60 seconds)

9999999 997999 9999999999999999999 9999999999999 9999999
777788777768777267577777777787888787427878877878777357787888
100 ##*###* ** *** **#*###**#####**##* *#########*** *######
90 ##*###* ** #*# **############**##* *#########*** *######
80 ####### ***#*# **#############*### *##########** #######
70 ####### ***#*# **#############*### *##########** #######
60 ####### #**#*# **#############*### ###########*# #######
50 ####### #**#*# **#############*### ###########*# #######
40 ####### #**### **#############*### ############# #######
30 ####### ##*### **#############*### ############# #######
20 ####### ##*### #*################# ############# #######
10 #######**###### *################### ############# *#######
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%

999999999999999999999999999999999999999999999999999999999999
889999889999998889998898999998899898888988889989899998998999
100 ************************************************************************
90 ************************************************************************
80 *******#**#**##****************####*#******#****##**#*#********##*****#*
70 #**########*####*##*###***#*##*######*##*#####*######*#**#*###*##**#####
60 ########################################*###############################
50 ########################################################################
40 ########################################################################
30 ########################################################################
20 ########################################################################
10 ########################################################################
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%

History information for core 3:

111111111111111111111111111111111111111111111111111111111111
000000000000000000000000000000000000000000000000000000000000
000000000000000000000000000000000000000000000000000000000000
100 ************************************************************
90 ************************************************************
80 ************************************************************
70 ************************************************************
60 ************************************************************
50 ************************************************************
40 ************************************************************
30 ************************************************************
20 ************************************************************
10 ************************************************************
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per second (last 60 seconds)

111111111111111111111111111111111111111111111111111111111111
000000000000000000000000000000000000000000000000000000000000
000000000000000000000000000000000000000000000000000000000000
100 ############################################################
90 ############################################################
80 ############################################################
70 ############################################################
60 ############################################################
50 ############################################################
40 ############################################################
30 ############################################################
20 ############################################################
10 ############################################################
0....5....1....1....2....2....3....3....4....4....5....5....
0 5 0 5 0 5 0 5 0 5
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%

111111111111111111111111111111111111111111111111111111111111
000000000000000000000000000000000000000000000000000000000000
000000000000000000000000000000000000000000000000000000000000
100 ########################################################################
90 ########################################################################
80 ########################################################################
70 ########################################################################
60 ########################################################################
50 ########################################################################
40 ########################################################################
30 ########################################################################
20 ########################################################################
10 ########################################################################
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%

switchxxx# sh spanning-tree det | inc exec | occur | from
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/23
from GigabitEthernet1/0/23
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/23
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15
from GigabitEthernet1/0/15

¿sirven los antecedentes aportados? Favor su apoyo. De antemano thank's.

[Salvador Encarnacion Garcia]

Hola Buen día!

Me gustaría saber si podrías ayudarme con la siguiente información:

show proc cpu sort | ex 0.0

De los dos primeros procesos que te aparezcan en la información mostrada del comando anterior por favor realiza lo siguiente:

show proc cpu detailed process <1er proceso mostrado en el comando anterior> sort | ex 0.0

Un ejemplo de lo que busco seria el siguiente:

3850-2#show processes cpu sort | exclude 0.0
Core 0: CPU utilization for five seconds: 53%; one minute: 39%;  five minutes: 41%
Core 1: CPU utilization for five seconds: 43%; one minute: 57%;  five minutes: 54%
Core 2: CPU utilization for five seconds: 95%; one minute: 60%;  five minutes: 58%
Core 3: CPU utilization for five seconds: 32%; one minute: 31%;  five minutes: 29%
PID    Runtime(ms) Invoked  uSecs  5Sec     1Min     5Min     TTY   Process
8525   472560      2345554  7525   31.37    30.84    30.83    0     iosd
5661   2157452     9234031  698    13.17    12.56    12.54    1088  fed
6206   19630       74895    262    1.83     0.43     0.10     0     eicored
6197   725760      11967089 60     1.41     1.38     1.47     0     pdsd

3850-2#show processes cpu detailed process iosd sort | ex 0.0
Core 0: CPU utilization for five seconds: 36%; one minute: 39%; five minutes: 40%
Core 1: CPU utilization for five seconds: 73%; one minute: 52%; five minutes: 53%
Core 2: CPU utilization for five seconds: 22%; one minute: 56%; five minutes: 58%
Core 3: CPU utilization for five seconds: 46%; one minute: 40%; five minutes: 31%
PID    T C  TID   Runtime(ms)Invoked uSecs 5Sec   1Min   5Min  TTY  Process
                                            (%)    (%)    (%)
8525   L          556160     2356540 7526  30.42   30.77  30.83  0   iosd
8525   L 1  8525  712558     284117  0     23.14   23.33  23.38  0   iosd
59     I          1115452    4168181 0     42.22   39.55  39.33  0   ARP Snoop
198    I          3442960    4168186 0     25.33   24.22  24.77  0   IP Host Track Proce
30     I          3802130    4168183 0     24.66   27.88  27.66  0   ARP Input
283    I          574800     3225649 0     4.33    4.00   4.11   0   DAI Packet Process

3850-2#show processes cpu detailed process fed sorted | ex 0.0
Core 0: CPU utilization for five seconds: 45%; one minute: 44%; five minutes: 44%
Core 1: CPU utilization for five seconds: 38%; one minute: 44%; five minutes: 45%
Core 2: CPU utilization for five seconds: 42%; one minute: 41%; five minutes: 40%
Core 3: CPU utilization for five seconds: 32%; one minute: 30%; five minutes: 31%
PID    T C  TID   Runtime(ms)Invoked uSecs 5Sec   1Min   5Min   TTY  Process
                                            (%)    (%)    (%)
5638   L          612840     1143306 536   13.22  12.90   12.93  1088  fed
5638   L 3  8998  396500     602433  0     9.87   9.63    9.61   0     PunjectTx
5638   L 3  8997  159890     66051   0     2.70   2.70    2.74   0     PunjectRx

Saludos. si hay alguna duda házmela saber.