シスコサポートコミュニティ
キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 

Nexus: EEM を利用した High CPU の原因特定手法

Nexus でプロセスごとの CPU の使用率を調査するコマンドは "show processes cpu sort" です。

SWITCH# show processes cpu sort

PID    Runtime(ms)  Invoked   uSecs  1Sec    Process
-----  -----------  --------  -----  ------  -----------
 3333     10126550   7583020   1335   42.6%  statsclient
 3247        66378    999344     66    5.1%  bcm_usd
 3150      8462683   2062356   4103    1.7%  pfma
 3243     25096281  237212641    105    1.7%  carmelusd
    1         9968    108119     92    0.0%  init
    2            2       294      9    0.0%  kthreadd
    3           56     12819      4    0.0%  migration/0

機器のCPU使用率が高い際に「どのプロセスが High CPU の原因になっているか」を調査する必要がある場合がございます。 その際、EEM を使うことで CPU 使用率が基準値以上になった際に上記の "show processes cpu sort" を自動で発行することで監視員が張り付く必要がなくなります。

ここでは CPU 使用率が 50 % を超えた際に、その瞬間と5秒後、10秒後にログをファイルに書き出すというシナリオのものとで EEM を設定します。3回ログを取っているのは、統計情報は必ずしもその瞬間のものが取れるとは限らないためです。

EEM はバージョンごとに若干の設定の違いがあると思いますので, 詳しくは configuration guide も参照下さい。

event manager applet HIGH-CPU
  event snmp oid 1.3.6.1.4.1.9.9.109.1.1.1.1.6.1 get-type exact entry-op ge entry-val 50 exit-op le exit-val 30 poll-
interval 5
  action 1.0 cli echo "=====" >> bootflash:high-cpu.txt
  action 2.0 cli show clock >> bootflash:high-cpu.txt
  action 3.0 cli show processes cpu sort | head lines 15 >> bootflash:high-cpu.txt
  action 4.0 cli sleep 5
  action 5.0 cli show clock >> bootflash:high-cpu.txt
  action 6.0 cli show processes cpu sort | head lines 15 >> bootflash:high-cpu.txt
  action 7.0 cli sleep 5
  action 8.0 cli show clock >> bootflash:high-cpu.txt
  action 9.0 cli show processes cpu sort | head lines 15 >> bootflash:high-cpu.txt

上記では SNMP の OID 1.3.6.1.4.1.9.9.109.1.1.1.1.6 (cpmCPUTotal5secRev) を5秒ごとに監視し、それが条件を満たしたら action 1-9 を行う設定となっております。

なお、今回はログが長くなるのを防ぐために "show processes cpu sort" の出力を削っています。

"show tech detail" を発行することで意図的に cpu 使用率を向上させて動作を確認します。ファイルの確認コマンドは "show file FILE_NAME" となります。

SWITCH# show tech-support details | last 1
------ Total Time Taken : 37 seconds -------
SWITCH#
SWITCH# show file bootflash:high-cpu.txt
=====
06:07:41.799 UTC Mon Oct 20 2014

PID    Runtime(ms)  Invoked   uSecs  1Sec    Process
-----  -----------  --------  -----  ------  -----------
 3247        66317    998330     66    9.5%  bcm_usd
 3150      8453775   2060290   4103    7.6%  pfma
 3243     25067306  236907399    105    3.8%  carmelusd
 3333     10114768   7573973   1335    1.9%  statsclient
 3221        53800     43120   1247    0.9%  sensor
    1         9963    108016     92    0.0%  init
    2            2       294      9    0.0%  kthreadd
    3           56     12778      4    0.0%  migration/0
    4        14492   4451770      3    0.0%  ksoftirqd/0
    5         3832    131996     29    0.0%  watchdog/0
    6           41      8768      4    0.0%  migration/1
    7        16660   5340917      3    0.0%  ksoftirqd/1
06:07:47.548 UTC Mon Oct 20 2014

PID    Runtime(ms)  Invoked   uSecs  1Sec    Process
-----  -----------  --------  -----  ------  -----------
 3995        32248     90737    355   35.4%  vlan_mgr
 3247        66318    998340     66   10.5%  bcm_usd
 3243     25067916  236910615    105    2.8%  carmelusd
29780          466       764    610    2.8%  vsh
    1         9963    108017     92    0.0%  init
    2            2       294      9    0.0%  kthreadd
    3           56     12804      4    0.0%  migration/0
    4        14505   4452685      3    0.0%  ksoftirqd/0
    5         3832    131998     29    0.0%  watchdog/0
    6           41      8792      4    0.0%  migration/1
    7        16677   5341818      3    0.0%  ksoftirqd/1
    8          344    131998      2    0.0%  watchdog/1
06:07:53.294 UTC Mon Oct 20 2014

PID    Runtime(ms)  Invoked   uSecs  1Sec    Process
-----  -----------  --------  -----  ------  -----------
 3995        36309     92948    390   24.8%  vlan_mgr
 3247        66319    998350     66    9.6%  bcm_usd
29780          746      1452    514    5.7%  vsh
 3150      8454087   2060398   4103    1.9%  pfma
 3243     25068151  236913771    105    1.9%  carmelusd
    4        14509   4453308      3    0.9%  ksoftirqd/0
 3408          291       805    362    0.9%  netstack
    1         9963    108018     92    0.0%  init
    2            2       294      9    0.0%  kthreadd
    3           56     12804      4    0.0%  migration/0
    5         3832    131999     29    0.0%  watchdog/0
    6           41      8792      4    0.0%  migration/1

上記のようにおおまかに高負荷なプロセスが把握できております。

High CPU の調査には以下のドキュメントも参照頂くとよいと思います。

 Nexus 7000 High CPU Usage Troubleshooting Guide

176
閲覧回数
0
いいね!
0
コメント