ACE: System low memory detected が発生する

[CscTsWebDocs]

2013年04月10日（初版）

TAC SR Collection
主な問題	ACE が crashinfo を生成し、突然再起動する現象が報告されています。 show version で再起動の原因を確認すると、下記のように出力されます。 last boot reason: System low memory detected また、再起動前に syslog 上に下記メッセージが出力され始め、 %ACE-2-901001 kernel: Available CP memory reached below 1 percent threshold, その時に show system internal dmesg を複数回取得すると、aaad の VMZ/RSS が増加していることが確認できます。 Available CP memory reached below x percent threshold, TotalMemFree: xxxxxxxx bytes, High MemFree: xxxxxx bytes           Process      Pid  VMZ(KB)  RSS(KB)         aclmerged      xxx   xxxxxx   xxxxxx              aaad      xxx   xxxxxx   xxxxxx
原因	これは、A4(1.1) で追加されたコードに問題があったため、aaad が確保したメモリが正常に開放されず、Control Plane(CP) のメモリが枯渇してしまうという下記不具合に起因しています。 CSCtr62421 ACE30 low memory crash: CP free memory below 1 percent threshold telnet 等、認証を伴う処理を行うと発生し、コマンドを実行する毎にメモリがリークしていきます。 メモリのリークは show system internal aaa mem-stats | i aaad で確認可能です。 - 問題が発生する version - # sh ver | i image   system image file: (hd0,1)/c4710ace-t1k9-mz.A4_2_1.bin # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                       205    206      31839      31844 # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                       206    207      31906      31914 # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                       207    208      31973      31981 # exit login: admin Password: [snip] # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                       213    214      32958      32966 - CSCtr62421 修正適用済みの version - # sh ver | i image   system image file: (hd0,1)/c4710ace-t1k9-mz.A5_2_2.bin # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                         0      1          0       577 # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                         0      1          0       577 # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                         0      1          0       577 # exit login: admin Password: [snip] # show system internal aaa mem-stats | i aaad    0 [r-xp]/isan/bin/aaad                         0      1          0       577
解決策	CSCtr62421 の修正が適用されている version を使用する以外に回避する方法はありませんので該当する version を使用している場合、version up をご検討ください。 もし、意図せぬ時間に再起動することを回避したい場合、%ACE-2-901001 メッセージが出力され始めた後、影響の少ない時間帯に ACE を手動で再起動してください。 この不具合は、ACE30/ACE4710 の両方で発生いたしますが、下記出力のように ACE30 の CP メモリの方が ACE4710 の CP メモリよりも少ないため、発生報告の多くが ACE30 における事例となっています。 - ACE30 - # sh system resources | i Mem Memory usage:      1873K total,       722K used,      1150K free - ACE4710 - # sh system resources | i Mem Memory usage:      5955K total,      1763K used,      4191K free メモリリークに関する不具合は他にも下記が報告されていますので、できるだけ新しい version への upgrade をお勧めします。 CSCtj62191 tcpdump proc memory keep on increasing monotonically pktcap test & crash CSCtr44432 ACE30: Kernel crash due to out of memory CSCtr66995 CP memory leak while add/rem or in/oos of reals CSCts50072 ACE30: HighFree memory 640Kb - track kernel leak

備考