問題の概要
VXLAN 環境で利用している Nexus 9000/3000 シリーズで NVE interface の source に指定されている Loopback interface が Administrative down になる場合があります。
この動作はマニュアルに記載されている以下のように、 vPC 環境での peer-link 障害時に Secondary の通信を意図的に停止するための実装です。
VPC Considerations for VXLAN BGP EVPN Deployment
When peer-link is shut, the loopback interface used by NVE on the VPC secondary is brought down and the status is Admin Shut. This is done so that the route to the loopback is withdrawn on the upstream and that the upstream can divert all traffic to the VPC primary.
When peer-link is no-shut, the NVE loopback address is brought up again and the route is advertised upstream, attracting traffic.
ただし、この動作は vPC を利用していない環境で意図せず 引き起こされた事例がいくつかあり、以下のような注記が加えられています。
Notes for EVPN Convergence
Note :
When feature vpc is enabled and there is no VPC configured, the NVE source loopback is in "shutdown" state after an upgrade. In this case, removing feature vpc restores the interface to "up" state."
上記は、feature vpc が有効になっており、 vPC の設定がない状態でも、NVE の source に指定されている Loobpack interface が shutdown (Admin down) 状態になることを示しています。
また、7.0(3)I3(1) 以降にこのような実装に変更されたため、古いNX-OSから上記に該当した状態でアップグレードした場合に、予期せず Loopback interface がダウンしたままとなる問題が報告されています。
実際の動作
feature vpc を有効にしただけで Loopback interface が Admin down となる状況を以下に示します。
H/W:N9K-C93108TC-EX
S/W:7.0(3)I7(3)
N9K-C93108TC-EX(config)# int lo0
2018 Jun 15 10:28:52 N9K-C93108TC-EX %ETHPORT-5-IF_UP: Interface loopback0 is up
2018 Jun 15 10:28:52 N9K-C93108TC-EX %ETHPORT-5-IF_DOWN_ADMIN_DOWN: Interface loopback0 is down (Administratively down)
2018 Jun 15 10:28:52 N9K-C93108TC-EX %ETHPORT-5-IF_UP: Interface loopback0 is up
N9K-C93108TC-EX(config-if)# ip add 192.168.1.1/32
N9K-C93108TC-EX(config-if)# int nve 1
N9K-C93108TC-EX(config-if-nve)# source-interface loopback 0
N9K-C93108TC-EX(config-if-nve)# show int lo0
loopback0 is up
admin state is up,
Hardware: Loopback
Internet Address is 192.168.1.1/32
MTU 1500 bytes, BW 8000000 Kbit, DLY 5000 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation LOOPBACK, medium is broadcast
Auto-mdix is turned off
0 packets input 0 bytes
0 multicast frames 0 compressed
0 input errors 0 frame 0 overrun 0 fifo
0 packets output 0 bytes 0 underruns
0 output errors 0 collisions 0 fifo
0 out_carrier_errors
N9K-C93108TC-EX(config-if-nve)# feature vpc
2018 Jun 15 10:30:13 N9K-C93108TC-EX %ETHPORT-5-IF_DOWN_ADMIN_DOWN: Interface loopback0 is down (Administratively down)
N9K-C93108TC-EX(config-if-nve)# show int lo0
loopback0 is down (Administratively down)
admin state is up,
Hardware: Loopback
Internet Address is 192.168.1.1/32
MTU 1500 bytes, BW 8000000 Kbit, DLY 5000 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation LOOPBACK, medium is broadcast
Auto-mdix is turned off
0 packets input 0 bytes
0 multicast frames 0 compressed
0 input errors 0 frame 0 overrun 0 fifo
0 packets output 0 bytes 0 underruns
0 output errors 0 collisions 0 fifo
0 out_carrier_errors
参考情報 (CSCuw55005)
本実装は過去に以下の不具合として報告され実装変更が検討されましたが、期待動作と結論付けられています。
CSCuw55005: VxLAN:On standalone TOR, after feature VPC NVE loopback goes down.
このため古い NX-OS から vPC を利用していない VXLAN ネットワークをアップグレードする際は本制限に該当していないかを一度ご確認ください。
