シスコサポートコミュニティ
キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 

Cisco UCS B-series 仮想ネットワーク上でのトラブルシュート手法

本ドキュメントでは Cisco UCS B-series 上で、仮想コネクションが具体的にどの物理経路を使用しているのかを特定する手法をご説明いたします。

1. Cisco UCS B-series での仮想インターフェース

Cisco UCS B-series では、Service Profile を用いて動的に仮想NIC (vNIC) や仮想HBA (vHBA) を作成する機能が備わっています。

このために、一つの chassis で大量の仮想的な vNIC/vHBA を搭載する事ができます。

この際に問題になるのは、一つの vNIC で障害が発生した際に、通信が仮想化されている故に、具体的にどようような物理経路を通って通信が行われているかということを特定する事が困難であることが挙げられます。

例えば OS 上である vNIC がハードウェア障害でダウンした際に、まずは物理的な経路を特定させる必要があるのですが、通信が仮想化されている故に、物理的な経路の特定が困難であるケースがございます。

以下に UCS 内の仮想コネクションの物理経路を特定する手法をご紹介いたします。

 

2. Cisco UCS B-series インターフェース用語説明

まずは、UCSのインターフェースで使用される用語を説明いたします。

 

- Uplink Port

UCS に接続されているLANへの入り口となるポート

 

- Server Port(SIF) / Fabric Interface Port

Fabric Interconnect (FI) 上のポートで IOM (FEX = Fabric Extender) に接続されているポート

IOM Host Interface (HIF) は特定の SIF に関連づけられる(pining)

 

- IOM Network Interface (NIF)

IOM 上の FI に接続されているポート NIF は IOM 220X シリーズでは port channel を組む事が可能

 

- IOM Host Interface (HIF)

IOM のホスト側のポート chassis 内部で各ブレードサーバー用のインターフェース

 

- Virtual Interface (VIF)

各ブレードサーバーに提供される仮想インターフェース

Ethernet であれば veth、Fibre Channel であれば vfc と呼ばれる

OSからは vNIC (Ethernet)、vHBA(Fibre Channel)として定義される

 

まず UCS での仮想ネットワークを考える際にイメージして頂きたい事は、ブレードサーバーから FI に至るまでの複数の 10Gigabit の物理的な経路上に論理的に定義された VIF が何本も束ねられて存在するという事です。

この物理経路は幾つかのパスが存在します。VIF は予め決められた最適な物理経路上に配置されます。

 

今回は例を挙げて仮想ネットワークが、Uplink から VIF に至るまでの仮想通信がどの物理経路上を通って通信するかについてご説明いたします。

 

3. 仮想コネクショントレース方法

例として Server 1/5 上のホストOS上に提供されている eth0 が UCS B-series でどのような物理経路を使って通信しているのかを追っていきます。

 

a. VIF の特定

まずは Service Profile に設定されている eth0 がどの VIF 番号が振られているかを確認します。

$ show service-profile circuit server 1/5

Service Profile: JPGBSH005
Server: 1/5
    Fabric ID: A
        VIF        vNIC            Link State  Oper State Prot State    Prot Role   Admin Pin  Oper Pin   Transport
        ---------- --------------- ----------- ---------- ------------- ----------- ---------- ---------- ---------
              1281 Private         Up          Active     Passive       Backup      0/0        0/105      Ether
               783 MGMT            Up          Active     Passive       Backup      0/0        0/105      Ether
               784 eth0            Up          Active     Active        Primary     0/0        0/105      Ether
               786 eth1            Up          Active     Active        Primary     0/0        0/105      Ether
               788 eth2            Up          Active     Active        Primary     0/0        0/105      Ether
               791 eth3            Up          Active     Passive       Backup      0/0        0/105      Ether
               793 eth4            Up          Active     Passive       Backup      0/0        0/105      Ether
    Fabric ID: B
        VIF        vNIC            Link State  Oper State Prot State    Prot Role   Admin Pin  Oper Pin   Transport
        ---------- --------------- ----------- ---------- ------------- ----------- ---------- ---------- ---------
              1280 Private         Up          Active     Active        Primary     0/0        0/106      Ether
               782 MGMT            Up          Active     Active        Primary     0/0        0/106      Ether
               785 eth0            Up          Active     Passive       Backup      0/0        0/106      Ether
               787 eth1            Up          Active     Passive       Backup      0/0        0/106      Ether
               789 eth2            Up          Active     Passive       Backup      0/0        0/106      Ether
               790 eth3            Up          Active     Active        Primary     0/0        0/106      Ether
               792 eth4            Up          Active     Active        Primary     0/0        0/106      Ether

 

VIF 784 が eth0 に割り当てられおり、FI-A 側の経路を通っている事がわかります。

OS 上の eth0 は UCS では VIF 784 (veth 784) のインターフェースとして認識されております。

 

b. IOM 上の HIF の特定

次に server 1/5 が IOM の内部ポートのどの HIF に割り当てられているかを特定します。

ブレードサーバーと HIF の関連付けは、IOM 上から `show platform software woodside sts` コマンドを実行する事で特定できます。

 

$ show platform software woodside sts

Board Status Overview:
 legend:
        '  '= no-connect
        X   = Failed
        -   = Disabled
        :   = Dn
        |   = Up
        [$] = SFP present
        [ ] = SFP not present
        [X] = SFP validation failed
------------------------------

(FINAL POSITION TBD)     Uplink #:        1  2  3  4  5  6  7  8
                      Link status:        |  |  |  |
                                        +-+--+--+--+--+--+--+--+-+
                              SFP:       [$][$][$][$][ ][ ][ ][ ]
                                        +-+--+--+--+--+--+--+--+-+
                                        | N  N  N  N  N  N  N  N |
                                        | I  I  I  I  I  I  I  I |
                                        | 0  1  2  3  4  5  6  7 |
                                        |                        |
                                        |        NI (0-7)        |
                                        +------------+-----------+
                                                     |
             +-------------------------+-------------+-------------+---------------------------+
             |                         |                           |                           |
+------------+-----------+ +-----------+------------+ +------------+-----------+ +-------------+----------+
|        HI (0-7)        | |        HI (8-15)       | |       HI (16-23)       | |        HI (24-31)      |
|                        | |                        | |                        | |                        |
| H  H  H  H  H  H  H  H | | H  H  H  H  H  H  H  H | | H  H  H  H  H  H  H  H | | H  H  H  H  H  H  H  H |
| I  I  I  I  I  I  I  I | | I  I  I  I  I  I  I  I | | I  I  I  I  I  I  I  I | | I  I  I  I  I  I  I  I |
| 0  1  2  3  4  5  6  7 | | 8  9  1  1  1  1  1  1 | | 1  1  1  1  2  2  2  2 | | 2  2  2  2  2  2  3  3 |
|                        | |       0  1  2  3  4  5 | | 6  7  8  9  0  1  2  3 | | 4  5  6  7  8  9  0  1 |
+-+--+--+--+--+--+--+--+-+ +-+--+--+--+--+--+--+--+-+ +-+--+--+--+--+--+--+--+-+ +-+--+--+--+--+--+--+--+-+
 [ ][ ][ ][ ][ ][ ][ ][ ]   [ ][ ][ ][ ][ ][ ][ ][ ]   [ ][ ][ ][ ][ ][ ][ ][ ]   [ ][ ][ ][ ][ ][ ][ ][ ]
+-+--+--+--+--+--+--+--+-+ +-+--+--+--+--+--+--+--+-+ +-+--+--+--+--+--+--+--+-+ +-+--+--+--+--+--+--+--+-+
        -  |        -  |           -  |        -  |           -  |        -  |           -  |        -  |
        1  1        1  1           1  1        1  9           8  7        6  5           4  3        2  1
        6  5        4  3           2  1        0
  \__\__/__/  \__\__/__/     \__\__/__/  \__\__/__/     \__\__/__/  \__\__/__/     \__\__/__/  \__\__/__/
    blade8      blade7         blade6      blade5         blade4      blade3         blade2      blade1

 

この例では blade5 は HIF 15 (FEX port 9) に接続されている事がわかります。

これで server 1/5 と IOM の HIF の関連付けがわかりました。

 

c. IOM の NIF の特定

次に IOM の HIF がどの NIF に関連付けられているかを調べます。

今回のIOMは UCS-IOM-2204XP ですので、4 つの NIF ポートが存在します。 このケースでは以下の図に示すルールに従って、ブレードサーバーのポートが NIF に関連付けられています。

 

 

これにより、FEX port 9 (HIF 15) は NIF 1 に関連付けられている事がわかります。

 

d. Fabric Interconnect 上の Fabric Port の特定

次に NIF 1 が FI のどの Fabric Port に接続されているかを特定します。

この Fex port と Fabric Port の関連付けは `show fex detail` から特定する事ができます。

 

$ show fex detail
FEX: 1 Description: FEX0001   state: Online
  FEX version: 5.0(3)N2(2.11e) [Switch version: 5.0(3)N2(2.11e)]
  FEX Interim version: 5.0(3)N2(2.11e)
  Switch Interim version: 5.0(3)N2(2.11e)
  Chassis Model: N20-C6508,  Chassis Serial: FOX1725G7C9
  Extender Model: UCS-IOM-2204XP,  Extender Serial: FCH172578HL
  Part No: 73-14488-02
  Card Id: 184, Mac Addr: 7c:69:f6:1b:24:f6, Num Macs: 38
  Module Sw Gen: 12594  [Switch Sw Gen: 21]
  post level: complete
 pinning-mode: static    Max-links: 1
  Fabric port for control traffic: Eth1/3
  Fabric interface state:
    Eth1/1 - Interface Up. State: Active
    Eth1/2 - Interface Up. State: Active
    Eth1/3 - Interface Up. State: Active
    Eth1/4 - Interface Up. State: Active
  Fex Port        State  Fabric Port
         Eth1/1/1    Up      Eth1/1
         Eth1/1/2  Down        None
         Eth1/1/3    Up      Eth1/2
         Eth1/1/4  Down        None
         Eth1/1/5    Up      Eth1/3
         Eth1/1/6  Down        None
         Eth1/1/7    Up      Eth1/4
         Eth1/1/8  Down        None
         Eth1/1/9    Up      Eth1/1
        Eth1/1/10  Down        None
        Eth1/1/11    Up      Eth1/2
        Eth1/1/12  Down        None
        Eth1/1/13    Up      Eth1/3
        Eth1/1/14  Down        None
        Eth1/1/15    Up      Eth1/4
        Eth1/1/16  Down        None
        Eth1/1/17    Up      Eth1/4

 

この例では Fex Port Eth1/19 は Fabric Port Eth1/1 に接続されている事がわかります。

 

e. Uplink Port の特定

次に VIF 784 がどの uplink port に関連付けられているかを特定していきます。

 

$ show pinning border-interfaces

--------------------+---------+----------------------------------------
Border Interface     Status    SIFs
--------------------+---------+----------------------------------------
Po105                Active    Veth784 Veth786 Veth788 Veth791 Veth793


$ show pinning server-interfaces

---------------+-----------------+------------------------+-----------------
SIF Interface   Sticky            Pinned Border Interface  Pinned Duration
---------------+-----------------+------------------------+-----------------
Veth781         No                Po105                    9d 7:58:38
Veth783         No                Po105                    9d 7:42:49
Veth784         No                Po105                    9d 7:42:49
Veth786         No                Po105                    9d 7:42:49
Veth788         No                Po105                    9d 7:42:49
Veth791         No                Po105                    9d 7:42:49


$ show interface brief
--------------------------------------------------------------------------------
Ethernet      VLAN   Type Mode   Status  Reason                   Speed     Port
Interface                                                                   Ch #
--------------------------------------------------------------------------------
::
Eth2/12       1      eth  access down    SFP not inserted            10G(D) --
Eth2/13       1      eth  access down    SFP not inserted            10G(D) --
Eth2/14       1      eth  access down    SFP not inserted            10G(D) --
Eth2/15       397    eth  trunk  up      none                        10G(D) 105
Eth2/16       397    eth  trunk  up      none                        10G(D) 105

 

この例では VIF 784 は Po105 の Uplink Port を使用して上位ネットワークに pinning されている事がわかります。

更に Po105 は Eth2/15 と Eth2/16 の物理ポートを使用している事がわかります。

 

4. まとめ

Server 1/5 の eth0 は UCS では VIF 784 としてデプロイされており、以下の物理経路を通っている事がわかりました。

もし実際にOSのインターフェースがダウンするといった問題が発生した場合には、本ドキュメントで紹介した手法で仮想コネクションが通る物理インターフェースを特定し、それらの物理インターフェースでエラーが発生してないかどうかを調査します。

 

以上

771
閲覧回数
5
いいね!
0
コメント