ASA: 213日稼働後の通信停止問題の 影響バージョンと対処方法 [CSCvd78303] [FN64291]

[Taisuke Nakamura]

• はじめに
• 利用バージョンと稼働時間の確認方法
• 暫定回避策
• 恒久対応策
• 発生原因の詳細
• ケース別 対応例
• よくある質問
• 参考情報

はじめに

CSCvd78303の影響を受けるASAで、起動し213日(約7か月)経過すると、ARP処理に失敗するようになり、ASAを通過する通信や 管理通信の全断につながります。 2016年8月頃～2017年3月までにリリースの、ASA9.1トレイン以降の新規バージョンの多くが影響を受けます。 

各トレインの影響を受けるバージョンと、そのバージョンのCCO(Cisco.com)公開時期、修正バージョンの一覧は、以下表を確認してください。

トレイン別 影響バージョンと修正バージョン (2017年4月13日現在)：

トレイン	影響 バージョン	CCO 公開日	影響を受ける 主なCCOリリース	修正予定 バージョン	修正バージョン リリース予定
8.4  以前	影響無し	-	-	-	-
9.0	影響無し	-	-	-	-
9.1	9.1(7)8以降	2016年  8月下旬以降	9.1(7)9、9.1(7)11、  9.1(7)12、9.1(7)13、  9.1(7)15	9.1(7)16   もしくは  それ以降	リリース済み  (2017/4/3~)
9.2	9.2(4)15以降	2016年  10月中旬以降	9.2(4)17、9.2(4)18	9.2(4)20   もしくは  それ以降	リリース済み  (2017/4/3~)
9.3	影響無し	-	-	-	-
9.4	9.4(3)5以降	2016年  7月末以降	9.4(3)6、9.4(3)8、  9.4(3)11、9.4(3)12、  9.4(4)、9.4(4)2	9.4(4)5   もしくは  それ以降	リリース済み  (2017/4/3~)
9.5	9.5(3)以降	2016年  8月末以降	9.5(3)、9.5(3)1、  9.5(3)2、9.5(3)6	9.5(3)8   もしくは  それ以降	リリース済み  (2017/4/11～)
9.6	9.6(2)1以降	2016年  9月下旬以降	9.6(2)1、9.6(2)2、  9.6(2)3、9.6(2)7、  9.6(2)11、9.6(2)13、  9.6(3)	9.6(3)1   もしくは  それ以降	リリース済み  (2017/4/3~)
9.7	9.7(1)以降	2017年  1月下旬以降	9.7(1)、9.7(1)2	9.7(1)4   もしくは  それ以降	リリース済み  (2017/4/4~)
9.8	影響無し	-	-	-	2017年春

利用バージョンと稼働時間の確認方法

CLIの場合：

show version もしくは show tech コマンドで確認できます。 例えば、以下出力例の場合、ASAバージョンが9.4(3)12、稼働時間が約53日であることがわかります。show techの場合、当コマンド出力の先頭に show version と同等の出力が含まれます。

Internet-FW-01# show version

Cisco Adaptive Security Appliance Software Version 9.4(3)12 <--- 利用バージョン
Device Manager Version 7.5(2)

Compiled on Thu 20-Oct-16 17:57 PDT by builders
System image file is "disk0:/asa943-12-lfbff-k8.SPA"
Config file at boot was "startup-config"

Internet-FW-01 up 53 days 13 hours     <--- 稼働時間
failover cluster up 104 days 0 hours

Hardware: ASA5506, 4096 MB RAM, CPU Atom C2000 series 1250 MHz, 1 CPU (4 cores)
Internal ATA Compact Flash, 8192MB
BIOS Flash M25P64 @ 0xfed01000, 16384KB

ASDM(GUI)の場合：

Device Dashboardから確認できます。 ASA Version:が ASAソフトウェアバージョン、Device Uptime:が 対象機の稼働時間です。

暫定回避策

稼働し213日が経過する前に機器の再起動を実施してください。1つの目安として、稼働し180日(6ヶ月)以上経過し 残り猶予時間が少ない時に再起動を検討してください。

再起動後、ASA内部情報がリセットされるため、問題発生までの猶予期間は213日に戻ります。

ASA単体構成の場合：

 ・昼休憩や深夜、休日など、通信影響の少ない任意時間帯での、再起動の実施を検討

 ・ASAの再起動は、時間指定も可能。 詳しくは、ASA: 時間を指定しての ASA再起動方法 を参照

ASA冗長構成(Act/Stby)の場合：

 ・以下ドキュメントの手順を参考に、Standby機再起動→Failover→旧Active機再起動を行う事で、通信影響を抑えての両機器の再起動が可能

ASA: 冗長構成(Act/Stby)で Active機と Standby機の再起動方法 (CLI)
https://supportforums.cisco.com/ja/document/13265066

  
暫定回避策は、問題発生の猶予期間を213日に戻すのみの対応のため、問題の発生を先送りする効果しかありません。 そのため、修正バージョンへのアップグレード準備が整い次第、恒久対応策を実行してください。

恒久対応策

修正バージョンへのアップグレードを検討してください。

ASA単体構成の場合：

・アップグレード手順は以下ドキュメントなどを参考

ASA: ASDMを用いた、同じトレイン内の 最新バージョンへのアップグレード方法
https://supportforums.cisco.com/ja/document/12327751

ASA冗長構成(Act/Stby)の場合：

・アップグレード手順は以下ドキュメントなどを参考

ASA/PIX： CLI を使用して、フェールオーバー ペアのソフトウェア イメージをアップグレードする方法
http://www.cisco.com/cisco/web/support/JP/108/1082/1082820_asa-failover-upgrade.html#actstand

発生原因の詳細

この問題は、CSCva03607の不具合修正のためのコード変更に伴うリグレッションの影響です。 つまり、CSCva03607の修正コードを含むバージョンが、213日稼働後停止問題(CSCvd78303)の影響を受けます。

CSCvd78303の影響を受けるASAが稼働し、約213日12時間(※稼働状況により数時間前後するケースも御座います)を経過すると、ARP関連の内部処理に不整合が発生し、ASAがARP処理を正しく行えなくなります。 結果、以下の致命的な問題が発生します。

- ARP処理失敗に伴い、ARPエントリの学習に失敗するようになる
- show asp dropコマンドで、punt-rate-limit-exceededによる大量のドロップの上昇が確認できる
- ARP解決不可に伴い、対象ASAを通過する通信が停止
- ASA宛の管理通信(SSH/Telnet/ASDM)が不可 (管理通信もARPを利用するため)

  
問題が発生すると、リモートからの再起動による復旧も困難となります。その為、213日を越える前の再起動、もしくは 修正バージョンへのアップグレードを検討してください。

当問題の詳細は、以下のField Noticeと Bug Search を参照してください。 なお、Bug Searchの確認には、適切な権限を持つCCOアカウントが必要です。

Field Notice: FN - 64291 - ASA and FTD Software-Security Appliance Might Fail To Pass Traffic After 213 Days Of Uptime-Reboot and Software Upgrade Required
http://www.cisco.com/c/en/us/support/docs/field-notices/642/fn64291.html

Bug Search: ARP functions fail after 213 days of uptime, drop with error 'punt-rate-limit-exceeded'
https://bst.cloudapps.cisco.com/bugsearch/bug/CSCvd78303

ケース別 対応例

影響を受けるバージョンで稼働し、6か月(180日)経過していた場合

213日を越える前に、ご利用中トレインの修正を含む最新バージョンにアップグレードを実施(=恒久対応)するか、手動での再起動を実施(=暫定対応)を検討してください。 

新規導入予定のASAが影響を受けていた場合

修正バージョンが無く、かつ 時間に猶予の無い場合は、基本はCSCvd78303の影響を受ける各トレインの最新バージョンでの導入をお勧めします。 これは以下2点の理由からです。

- 各トレインの最新バージョンには最新の不具合や脆弱性の修正が行われていること
- CSCvd78303はASA内部処理に起因する不具合であり、ASAの脆弱性ではないこと

2017年4月4日現在、主要な長期サポート対象のトレインは全て修正バージョンがリリースされています。 ご利用中トレインの修正済み最新バージョンにアップグレードした後の 導入を検討してください。

影響機が213日経過し通信が停止した場合

対象機を手動で電源OFF/ONし再起動するか、もしくは、対象機にコンソールアクセスし reloadコマンドを実行してください。

よくある質問

以下はよくある質問と その回答です。

Q: 深夜や休日に時間指定しての再起動は可能ですか

はい、可能です。 CLI、もしくは ASDM(GUI)から、時間を指定しての再起動が可能です。 詳しくは以下ドキュメントを参照してください。

ASA: 時間を指定しての ASA再起動方法
https://supportforums.cisco.com/ja/document/13265081
   

Q: 影響を受ける製品は何ですか

ソフトウェアの不具合のため、ASAソフトウェアが稼働する製品が影響を受けます。 例えば、ASA5500シリーズ、ASA5500-Xシリーズ、ASA-SM、ASAv、ISA3000シリーズ、FirePOWER4100シリーズ、FirePOWER9300シリーズが、ASAソフトウェアを利用しています。

参考情報

Field Notice: FN - 64291 - ASA and FTD Software-Security Appliance Might Fail To Pass Traffic After 213 Days Of Uptime-Reboot and Software Upgrade Required
http://www.cisco.com/c/en/us/support/docs/field-notices/642/fn64291.html

Urgent Proactive Customer Notification to Prevent ASA Outages
http://blogs.cisco.com/security/urgent-proactive-customer-notification-asa

ファイアウォール トラブルシューティング
https://supportforums.cisco.com/ja/document/12725841#hdr-1

[M T]

こんにちは

　9.4(3)6 で修正された物（9.4（3）4？）の影響があるという事の様なので

　インターリムの修正が入ってない 9.4(3) 　は影響を受けないと言う認識はあっていますでしょうか？

よろしくお願いします。

[Taisuke Nakamura]

MTさん、こんにちわ。

はい、9.4(3)は、9.4(3)5より前のリリースなので、213日問題の影響を受けません。

以下は9.4トレインの変遷となりますが、以下の影響発生バージョン★から 修正バージョン◆の1つ前までのバージョン(赤字)が影響を受けます。

9.4(3)→9.4(3)1→9.4(3)2→9.4(3)3→9.4(3)4→9.4(3)5 ★→9.4(3)6→9.4(3)7→
 ...→9.4(4)→9.4(4)1→9.4(4)2→9.4(4)3→9.4(4)4→9.4(4)5◆→9.4(4)6→9.4(4)7→...

 
なお、弊社内ではInterimバージョンも 上記のように 連番にリリース・単独テストを実施してますが、その中から 外部リリースするバージョンを選定し、入念な統合テストの合格済みのバージョンのみCCOリリースさせて頂いてます。 

[M T]

中村 さん

　　　

　　　素早い回答ありがとうございました。

MT