ACI に関しては、ACI How To というポータルサイトに情報を集約しています。 そのため、設定やトラブルシューティング等、ACI に関する情報収集はまず、ACI How To をご参照ください。
このコンテンツも ACI Fabric Switch 交換時の注意事項 というタイトルで同様の内容が掲載されています。 Cisco Support Community は、Font や Format がくずれてしまうのでこのコンテンツも ACI How To での閲覧をお勧めします。
ACI Fabric Switch (Leaf/Spine Switch) の Hardware 障害によって、機器交換が必要になることがあります。
ここでは、機器交換時の注意事項について記載します。
1. NX-OS (Standalone) mode から ACI mode へ変更
新規購入品は、購入時に指定した image が install された状態で出荷されますが、
交換用の Nexus 9000 は、ACI mode image もしくは、NX-OS image の何れかがinstall された状態で出荷されます。NX-OSで出荷された場合は、ACI mode image に変更する必要があります。
ACI mode への変更方法は、Chapter: Converting from Cisco NX-OS to ACI Boot Mode and from ACI Boot Mode Back to Cisco NX-OS に記載されています。
簡単に手順だけ記載すると、下記になります。
1-a) NX-OS を 6.1(2)I3(3) 以降の version へ upgrade
1-b) bootflash: へ ACI 用の image を copy
1-c) 下記を実行し、ACI mode で起動
switch(config)# no boot nxos
switch(config)# copy running-config startup-config
switch(config)# boot aci bootflash:[aci-image-name]
switch(config)# reload
2. 証明書の確認
Switch に SSL 証明書が入っているかどうかを確認するためには、admin で login した後に、下記 command を実行する必要があります。(Fabric discovery 前の (none)# と表示されている状態で実行する必要があります。)
(none)# openssl asn1parse -in /securedata/ssl/server.crt | grep -e PRINTABLESTRING -e UTCTIME
51:d=5 hl=2 l= 13 prim: PRINTABLESTRING :Cisco Systems
75:d=5 hl=2 l= 22 prim: PRINTABLESTRING :Cisco Manufacturing CA
101:d=3 hl=2 l= 13 prim: UTCTIME :160918170914Z
116:d=3 hl=2 l= 13 prim: UTCTIME :260918171914Z
142:d=5 hl=2 l= 30 prim: PRINTABLESTRING :PID:XXXXXXXXXXX SN:N9K-C9396PX
183:d=5 hl=2 l= 11 prim: PRINTABLESTRING :N9K-C9396PX
もし、上記 3 行目が Cisco Manufacturing CA となっている場合には問題ありません。 Cisco Manufacturing CA となっていない場合には、SSL 証明書を再発行する必要があるため、Japan-TAC へお問い合わせください。
2014 年 5 月以前に出荷されたものは、SSL 証明書が入っていないため、RMA 品の場合、ACI mode にしても Fabric discovery に失敗する機器が出荷されることがありました。 2016 年 10 月現在、日本の depot では、RMA 品検査時に SSL 証明書が入っていないものについては SSL 証明書を入れる作業を追加しているため、証明書が入っていない状態で出荷される可能性は低いですが、念のため、上記をご確認ください。
3. 時刻確認
Switch の時刻が大幅にずれ、証明書の有効期間外になっている (上記例の場合、2016 年 9/18 17:09 - 2026 年 9/18 17:19 から外れている) 場合、Fabric discovery に失敗し、switch 起動時に下記のような message が出力されます。
*********CERTIFICATE VERIFICATION FAILED **************
*********PLEASE RE-PROGRAM CERTIFICATE ***************
その場合、下記 command で、時刻を合わせる必要があります。
## 現在時刻の確認
# date
## 時刻合わせ
# date --set="2016/10/16 17:00"
# setup-hwclock.sh
4. Policy Upgrade
Standalone mode から ACI mode へ変更した場合や、/bin/prepare-mfg.sh で version を変更した場合、EPLD/FPGA や BIOS version の変更は行われません。 そのため、下記のような message が出力されることがあります。
APIC GUI から switch の version を変更した場合、EPLD/FPGA, BIOS の version 確認が行われ、必要に応じて version up が自動的に実施されます。 そのため、Fabric discovery 前の version は実際に使用したい version よりも、すこし古い version を使用し、ACI Fabric へ接続した後に、APIC GUI を使用して、同じ version に合わせることをお勧めします。
# EPLD/FPGA
FPGA version mismatch detected. Running version: 0x14 Expected version:0x15
# BIOS
BIOS version mismatch detected. Running version: v01.29 Expected version:v01.42
また、EPLD/FPGA, BIOS の version 変更が必要かどうかは下記 command で確認可能です。
leaf1# moquery -c firmwareARunning | grep -E "dn|biosVer|expectedVer|version"
biosVer : v07.41(10/12/2015)
dn : sys/ch/supslot-1/sup/running
expectedVer : v07.41(10/12/2015)
version : 12.1(1h)
biosVer : v07.41(10/12/2015)
dn : sys/ch/lcslot-1/lc/running
expectedVer : v07.41(10/12/2015)
version : 12.1(1h)
dn : sys/ch/supslot-1/sup/fpga-1/running
expectedVer : 0x8
version : 0x8
dn : sys/ch/supslot-1/sup/fpga-3/running
expectedVer : 0x20
version : 0x20
biosVer : 07.41
descr : version 12.1(1h) [build 12.1(1h)]
dn : sys/fwstatuscont/running
version : n9000-12.1(1h)
leaf1#
4a. EPLD/FPGA
Policy upgrade を行わず、switch を fabric に接続してしまった場合等、手動で EPLD/FPGA の version up が必要になった場合、下記 command で EPLD/FPGA の version を合わせることが可能です。 ただし、11.1(2h) で追加された機能のため、それ以前の version では使用できません。
/bin/check-fpga.sh FpGaDoWnGrAdE
/usr/sbin/chassis-power-cycle.sh
4b. BIOS
BIOS 変更を手動で行うためには、root で login する必要があり、Japan-TAC へお問い合わせいただく必要があります。
以下は、root password を発行後の手順になります。
# root で login
apic# ssh root@leaf1
# id を確認
leaf1# id
uid=0(root) gid=0(root) groups=0(root)
# bios image が存在することを確認
leaf1# ls /isan/bin/bios_imgs/
BIOS_VERSIONS bios-sflc.bin.gz bios-x86i-spine.bin.gz
bios-x86ia-sflc.bin.gz
BIOS_VERSIONS_1 bios-x86i-gladden-7-18.bin.gz bios-x86i-tor.bin.gz
leaf1#
# bios version 変更
leaf1# update_bios.sh all
** Running INXOS PE IFC image ***
Warning: Updating bios with bios-x86i-tor.bin. Proceed Y/N y
<<== 3 秒以内に 'y' を実行
Wed Mar 30 14:26:19 2016 lib_bios_trans.c:44: Enter which = 0
[snip]
Wed Mar 30 14:32:51 2016 lib_bios_isup.c:735: Calculated Checksum:
0x7cad79abd71f539cec054d420c42c5e1
Command completed successfully <<== この message が出力される前に電源 cable を抜いたり ctrl+c を実行し、処理を停止すると起動しなくなってしまうため注意が必要です。
# logout 後、admin で login しなおし、再起動
leaf1# exit
logout
Connection to leaf1 closed.
apic# ssh admin@leaf1
leaf1# reload
This command will reload the chassis, Proceed (y/n)? [n]: y
5. 参考資料
このコンテンツは、Switch 交換時の注意点についてまとめています。 APIC 側に関しては、APIC HW交換方法 をご参照ください。
また、Fabric discovery を行う時の注意事項は fabric discovery失敗時の確認 にもまとまっています。(switch 部分は一部重複しています。)
