Introdução
O Nexus 1000v é uma arquitetura de switching para virtualização de servidores desenvolvida pela Cisco para ambientes VMware ESX/ESXi. O Nexus 1000v permite o uso de políticas para conexões baseadas em Máquina Virtual (VM), mobilidade das propriedades de segurança e de rede e modelo operacional não-ruptivo para ambos, administradores de Rede e de Servidores.
O Nexus 1000v oferece recursos de rede, ferramentas de gerência e capacidades de diagnóstico consistentes com a infraestrutura física Cisco já existente. Além disso, é otimizado para os ambientes virtuais.
Assume-se que os seguintes recursos estejam instalados:
- VMware VC 4.0 U1/U2 ou VC 4.1
- Cisco Nexus 1000v 1.4 em uma VM ESX
- Pelo menos 2 hosts ESX 4.0 U1/U2 ou 4.1 com módulo VEM já carregados
- Nexus 1000v Distributed Virtual Switch (DVS) já criado no vCenter
- Servidores ESX já adicionados ao Nexus 1000v DVS
Sobre "LACP Offload"
A release 1.4 do Nexus 1000v traz um novo recurso, chamado de "LACP Offload". Tipicamente, LACP roda no plano de controle ("control plane") de um switch. No caso do Nexus 1000v, o plano de controle roda no VSM. Como o VSM e o VEM não coexistem na mesma entidade física, podem haver momentos nos quais o VEM está desconectado do VSM. Nestes cenários o VEM é considerado em modo "headless". Quando os VEMs estão em modo "headless", LACP não pode ser negociado com o switch upstream, já que o VEM não é capaz de rodar o protocolo para negociar os parâmtros LACP.
"LACP Offload" é uma tentativa para encaminhar a situação descrita acima, movendo o processo de negociação LACP para o módulo VEM. Com "LACP Offload" habilitado o VEM pode negociar LACP sem estar conectado ao VSM, eliminando diversos cenários onde o VEM e o VSM podem ficar isolados por causa de um port-channel LACP que não pode ser levantado.
Por padrão, "LACP Offload" está desabilitado nesta versão. Para habilitar "LACP Offload", siga os passos a seguir:
1. Topologia
2. Criar o port-channel LACP no Nexus 1000v e no Switch upstream
Port-channels LACP são suportados no Nexus 1000v quando todas as conexões do VEM se conectam:
- ao mesmo switch
- multiplos switches que suportam vPC, VSS ou "Stacking"
Este cenário utiliza o caso mais simples em que todas as conexões do VEM se conectam ao mesmo Catalyst 6500.
Criar o port-channel LACP no switch upstream:
cat6k-1#show run int gig 4/7
!
interface GigabitEthernet4/7
description esx-186
switchport
switchport mode trunk
no ip address
spanning-tree portfast
spanning-tree bpdufilter enable
spanning-tree bpduguard enable
channel-protocol lacp
channel-group 180 mode active
cat6k-1#show run int gig 4/9
!
interface GigabitEthernet4/9
description esx-186
switchport
switchport mode trunk
no ip address
spanning-tree portfast
spanning-tree bpdufilter enable
spanning-tree bpduguard enable
channel-protocol lacp
channel-group 180 mode active
cat6k-1#show running int port-channel 180
!
interface Port-channel180
switchport
switchport trunk encapsulation dot1q
switchport mode trunk
no ip address
3. Habilitar "LACP Offload"
Uma novidade nesta versão do Nexus 1000v é o comando "feature". Para que o Nexus 1000v suporte port-channels LACP, é necessário habilitar esse recurso:
n1kv-vsm# show feature
Feature Name Instance State
-------------------- -------- --------
dhcp-snooping 1 disabled
http-server 1 enabled
ippool 1 disabled
lacp 1 disabled
lisp 1 disabled
lisphelper 1 disabled
netflow 1 disabled
private-vlan 1 disabled
sshServer 1 enabled
tacacs 1 disabled
telnetServer 1 disabled
n1kv-vsm(config)# feature lacp
n1kv-vsm(config)# show feature
Feature Name Instance State
-------------------- -------- --------
dhcp-snooping 1 disabled
http-server 1 enabled
ippool 1 disabled
lacp 1 enabled
lisp 1 disabled
lisphelper 1 disabled
netflow 1 disabled
Uma vez que o "feature" LACP estiver habilitado, "LACP Offload" deve ser, então habilitado. Este passo requer um reboot do VSM.
n1kv-vsm(config)# lacp offload
Please do a "copy running startup" to ensure the new setting takes effect on
next reboot LACP Offload Status can be verified using "show lacp offload
status" Change in LACP Offload Status takes effect only on the next VSM Reboot
This can potentially cause modules with LACP uplinks to flap
n1kv-bl(config)# copy running-config startup-config
[########################################] 100%
n1kv-vsm(config)# reload
This command will reboot the system. (y/n)? [n] y
2010 Sep 29 16:40:37 n1kv-bl %PLATFORM-2-PFM_SYSTEM_RESET: Manual system
restart from Command Line Interface
Quando o VSM terminar o reboot, verificar se "LACP Offload" está habilitado e criar um "port-profile" de uplink com "channel-group auto mode on" no VSM.
n1kv-vsm# show lacp offload status
Current Status : Enabled
Running Config Status : Enabled
Saved Config Status : Enabled
n1kv-vsm(config)# port-profile type ethernet uplink-vpc
n1kv-vsm(config-port-prof)# vmware port-group
n1kv-vsm(config-port-prof)# switchport mode trunk
n1kv-vsm(config-port-prof)# channel-group auto mode active
n1kv-vsm(config-port-prof)# no shutdown
n1kv-vsm(config-port-prof)# system vlan 2,10
n1kv-vsm(config-port-prof)# state enabled
Adicione o host ESX ao Nexus 1000v que corresponde ao switch físico que corresponde ao configurado no primeiro passo. Um "show interface brief" no VSM deve mostrar o módulo com o port-channel LACP.
n1kv-vsm# show int brief
--------------------------------------------------------------------------------
Port VRF Status IP Address Speed MTU
--------------------------------------------------------------------------------
mgmt0 -- up 172.18.217.242 1000 1500
--------------------------------------------------------------------------------
Ethernet VLAN Type Mode Status Reason Speed Port
Interface Ch #
--------------------------------------------------------------------------------
Eth5/2 1 eth trunk up none 1000 2
--------------------------------------------------------------------------------
Port-channel VLAN Type Mode Status Reason Speed Protocol
Interface
--------------------------------------------------------------------------------
Po2 1 eth trunk up none a-1000(D) lacp
--------------------------------------------------------------------------------
Note como o módulo 5 possui um link participando do port-channel e que o Po2 está "up" e é um port-channel LACP.
Adicione, no host ESX, outro link ao port-channel para que se tenha dois link válidos no mesmo. Isto é feito no VMware vCenter. Após adicionar o segundo link, pode-se ver utilizando o comando "show interface brief" que há dois links e que Po2 permanece "up".
n1kv-vsm# show int brief
--------------------------------------------------------------------------------
Port VRF Status IP Address Speed MTU
--------------------------------------------------------------------------------
mgmt0 -- up 172.18.217.242 1000 1500
--------------------------------------------------------------------------------
Ethernet VLAN Type Mode Status Reason Speed Port
Interface Ch #
--------------------------------------------------------------------------------
Eth5/1 1 eth trunk up none 1000 2
Eth5/2 1 eth trunk up none 1000 2
--------------------------------------------------------------------------------
Port-channel VLAN Type Mode Status Reason Speed Protocol
Interface
--------------------------------------------------------------------------------
Po2 1 eth trunk up none a-1000(D) lacp
n1kv-vsm# show port-channel summary
Flags: D - Down P - Up in port-channel (members)
I - Individual H - Hot-standby (LACP only)
s - Suspended r - Module-removed
S - Switched R - Routed
U - Up (port-channel)
--------------------------------------------------------------------------------
Group Port- Type Protocol Member Ports
Channel
--------------------------------------------------------------------------------
2 Po2(SU) Eth LACP Eth5/1(P) Eth5/2(P)
E no switch upstream, pode-se verificar o port-channel LACP.
cat6k-1#show lacp 180 neighbor
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 180 neighbors
Partner's information:
Partner Partner LACP Partner Partner Partner Partner Partner
Port Flags State Port Priority Admin Key Oper Key Port Number Port State
Gi4/7 SA bndl 32768 0x0 0x1 0x502 0x3D
Gi4/9 SA bndl 32768 0x0 0x1 0x501 0x3D
Finalmente, verifica-se o VEM para certificar-se de que o port-channel LACP está "up".
n1kv-vsm# module vem 5 execute vemcmd show pc
pce_ind chan pc_ltl pce_in_pc LACP SG_ID NumVethsPinned mbrs
------- ---- ------ --------- ---- ----- -------------- ----
0 2 305 0 Y 0* 4 18,17,
4. Verificar se o "LACP Offload" está funcionando corretamente
Neste ponto o host ESX deve ter 2 NICs no port-profile de uplink e ambas participando do port-channel LACP para o Nexus 1000v. O benefício do "LACP Offload" é a possibilidade do VEM de negociar os parâmetros LACP com o swich upstream, se o VSM estiver "offline".
neste teste, o VSM será desligado e se fará um rebbot do host ESX. O port-channel do host ESX para o switch upstream deve levantar mesmo com o VSM "offline".
4.1. "copy rununing-config startup-config" no VSM
n1kv-vsm# copy run start
[########################################] 100%
4.2. Realizar um "shudown" do VSM desde a console do vCenter
4.3. Executar um reboot do host ESX ou executar o comando "vem restart"
Depois do reboot ou "vem restart" o port-channel deve subir. Com o comando "vemcmd show vpc" pode-se verificar o host ESX
[root@cae-esx-186 ~]# vemcmd show vpc
pce_ind chan pc_ltl pce_in_pc LACP SG_ID NumVethsPinned mbrs
------- ---- ------ --------- ---- ----- -------------- ----
0 2 305 0 Y 0* 4 17,18,
Também verificar no switch upstream que o port-channel está "up" e "active".
cat6k-1#show lacp neighbor
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in Active mode P - Device is in Passive mode
Channel group 180 neighbors
Partner's information:
Partner Partner LACP Partner Partner Partner Partner Partner
Port Flags State Port Priority Admin Key Oper Key Port Number Port State
Gi4/7 SA bndl 32768 0x0 0x1 0x502 0x3D
Gi4/9 SA bndl 32768 0x0 0x1 0x501 0x3D
4.4. Reabilite o VSM
Quando o VSM for reativado, não devem ocorrer mudanças na configuração do VEM, já que port-channel LACP já está "up". Uma vez que o VSM está "up", informações de CDP são propagadas e pode-se ver as portas do VEM aparecerem no switch upstream com o comando "show cdp neighbor".
cat6k-1#show cdp neighbors
Capability Codes: R - Router, T - Trans Bridge, B - Source Route Bridge
S - Switch, H - Host, I - IGMP, r - Repeater, P - Phone
Device ID Local Intrfce Holdtme Capability Platform Port ID
UCS-N5K-1(FOX1009009B)
Ten 2/1 158 S I N5K-C5020P Eth 1/19
UCS-N5K-2(FOX1009009B)
Ten 2/2 150 S I N5K-C5020P Eth 1/19
router10-gw1.cisco.com
Gig 4/1 167 R S I WS-C3560E- Gig 0/10
n1kv-vsm.cisco.com(Nexus-Switch)
Gig 4/7 159 S I Nexus-Swit Eth 5/2
n1kv-vsm.cisco.com(Nexus-Switch)
Gig 4/9 159 S I Nexus-Swit Eth 5/1
n1kv-vsm.cisco.com(Nexus-Switch)
Gig 3/25 143 S I Nexus-Swit Eth 4/2
UCS-6100-2-A(SSI12480256)
Ten 2/3 177 S I N10-S6100 Eth 1/17
UCS-6100-2-B(SSI12490560)
Ten 2/4 152 S I N10-S6100 Eth 1/17
Acima, pode-se ver que as portas 4/7 e 4/9 agora estão visíveis.