отмена
Отображаются результаты для 
Вместо этого искать 
Вы имели в виду: 
Объявления
Добро пожаловать в Сообщество Технической поддержки Cisco. Мы рады получить обратную связь .
New Member

Плохая производительность 3925E

Добрый день коллеги.
 
Решили заменить оборудование (на ISR-G2), ознакомился с рекомендациями от вендора
 
 
ISR G2 3925 : 
 
Fast/CEF Switching - 833,000 pps
                                      426.49 Mbps
 
IPSec Maximum Performance by Platform:
 
IPSec Mbps (SEC + HSEC license): 1494
 
 
 
Encrypted Tunnel Count by Platform: 
 
HSEC license IPSec VPN tunnels : 3000
 
###
 
Total:
 
NAT + QoS + ACL Performance by Platform, IMIX Traffic at 75-Percent CPU
 
Cisco 3925E - 534 Mbps
 
###
 
На данный момент апстримы у нас 200 Mbit/s, DMVPN хабы терминируют ~ 100 споков, в планах больше и данного оборудования хватает за глаза.
 
В итоге поставили 3925E + HSEC.
(функционал на данный момент:  DMVPN + LLQ + eigrp + acl + NAT/PAT и прочее..)
 

NAME: "CISCO3925-CHASSIS", DESCR: "CISCO3925-CHASSIS"
PID: CISCO3925-CHASSIS , VID: V02 , SN: FTX1448AHZM

NAME: "Cisco Services Performance Engine 200 for Cisco 3900 ISR on Slot 0", DESCR: "Cisco Services Performance Engine 200 for Cisco 3900 ISR"
PID: C3900-SPE200/K9   , VID: V01 , SN: FOC14454S08

 
 
Тестирую SNAT через www.speedtest.net получаю очень маленькие цифры ~ 90Mbit/s в лучшем случае...
Схема стенда простая:  
 
PC ---> core1 (3750_stack) ----> WAN1 и WAN2----BR1 и BR2
(везде линки гигабитные)
 
При этом если трафик гонять через прокси на этих же каналах, всё ок ~ 185 Mbit/s.
 
схема простая: proxy---BR1 и BR2--internet
 
(проблема получается между PC ---core1---wan1 и wan2)
 
На всех интерфейсах стоит : speed/duplex - auto, везде определяется 1000/full, ошибок нет, в очередях есть дропы:
 
# основной WAN1 hub
 

root@noc:~ # rsh wan1 "sh int gi0/2 | i Du"
  Full Duplex, 1Gbps, media type is RJ45

 

root@noc:~ # rsh wan1 "sh int gi0/2 | i err"
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     4183994774 packets output, 3852396711 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 babbles, 0 late collision, 0 deferred

 

  Input queue: 0/75/381061/18701542 (size/max/drops/flushes); Total output drops: 34203
  Queueing strategy: Class-based queueing

 

 

 

root@noc:~ # rsh wan1 "sh int gi0/0 | i Du"
  Full Duplex, 1Gbps, media type is RJ45

 

     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     1395450296 packets output, 2081682188 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 babbles, 0 late collision, 0 deferred

 

Input queue: 0/75/230/48372 (size/max/drops/flushes); Total output drops: 89582
  Queueing strategy: Class-based queueing

 

 

 

 

# резервный WAN2 hub

 

root@noc:~ # rsh wan2 "sh int gi0/0 | i Du"
  Full Duplex, 1Gbps, media type is RJ45

 

root@noc:~ # rsh wan2 "sh int gi0/0 | i err"
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     88332376 packets output, 3996897097 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 babbles, 0 late collision, 0 deferred
 
 

  Input queue: 0/75/914/7646 (size/max/drops/flushes); Total output drops: 4
  Queueing strategy: Class-based queueing

 

 

 

root@noc:~ # rsh wan2 "sh int gi0/2 | i Du"

  Full Duplex, 1Gbps, media type is RJ45

 
 
root@noc:~ # rsh wan2 "sh int gi0/2 | i err"
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     985258885 packets output, 2142210198 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 babbles, 0 late collision, 0 deferred
 
 
 
 Input queue: 0/75/19666/1391422 (size/max/drops/flushes); Total output drops: 20856
  Queueing strategy: Class-based queueing
 
Утилизации CPU особа нет:
 

root@noc:~vadim/NEW_LIC # rsh wan1 "sh proc cpu | ex 0.00"

CPU utilization for five seconds: 21%/18%; one minute: 19%; five minutes: 19%
 PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process
  33     1051470    66505351         15  0.15%  0.06%  0.05%   0 ARP Input
  86     6451154     3080365       2094  0.23%  0.23%  0.23%   0 Per-Second Jobs
 123    31180070   414197476         75  2.15%  1.88%  1.89%   0 IP Input
 376       93620      688335        136  0.03%  0.02%  0.03%   0 Multicast Replic
 379      750860     6519554        115  0.51%  0.32%  0.20%   0 IP NAT Ager
 394      465408    25458742         18  0.11%  0.04%  0.04%   0 EIGRP-IPv4

root@noc:~vadim/NEW_LIC # rsh wan2 "sh proc cpu | ex 0.00"

CPU utilization for five seconds: 5%/2%; one minute: 6%; five minutes: 5%
 PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process
   3          32           7       4571  0.63%  0.05%  0.01% 578 SSH Process
  86     6242444     3107692       2008  0.19%  0.19%  0.19%   0 Per-Second Jobs
 123    25145378   361678993         69  1.51%  1.71%  1.72%   0 IP Input
 301      398462    43377726          9  0.03%  0.02%  0.02%   0 Crypto IKE Dispa

 

 # rsh wan1 sh ver
Cisco IOS Software, C3900e Software (C3900e-UNIVERSALK9-M), Version 15.3(1)T, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2012 by Cisco Systems, Inc.
Compiled Mon 26-Nov-12 18:34 by prod_rel_team

ROM: System Bootstrap, Version 15.1(1r)T2, RELEASE SOFTWARE (fc1)

ru-msk-edge-wan1 uptime is 5 weeks, 15 hours, 36 minutes
System returned to ROM by reload at 23:06:41 MSK Mon Apr 14 2014
System restarted at 23:08:30 MSK Mon Apr 14 2014
System image file is "flash:c3900e-universalk9-mz.SPA.153-1.T.bin"
Last reload type: Normal Reload
Last reload reason: Reload Command

 

This product contains cryptographic features and is subject to United
States and local country laws governing import, export, transfer and
use. Delivery of Cisco cryptographic products does not imply
third-party authority to import, export, distribute or use encryption.
Importers, exporters, distributors and users are responsible for
compliance with U.S. and local country laws. By using this product you
agree to comply with applicable laws and regulations. If you are unable
to comply with U.S. and local laws, return this product immediately.

A summary of U.S. laws governing Cisco cryptographic products may be found at:
http://www.cisco.com/wwl/export/crypto/tool/stqrg.html

If you require further assistance please contact us by sending email to
export@cisco.com.

Cisco CISCO3925-CHASSIS (revision 1.0) with C3900-SPE200/K9 with 756736K/291840K bytes of memory.
Processor board ID FTX1448AHZM
4 Gigabit Ethernet interfaces
1 Virtual Private Network (VPN) Module
DRAM configuration is 72 bits wide with parity enabled.
256K bytes of non-volatile configuration memory.
254464K bytes of ATA System CompactFlash 0 (Read/Write)


License Info:

License UDI:

-------------------------------------------------
Device#   PID                   SN
-------------------------------------------------
*0        C3900-SPE200/K9       FOC14454S08

 

Technology Package License Information for Module:'c3900e'

-----------------------------------------------------------------
Technology    Technology-package           Technology-package
              Current       Type           Next reboot
------------------------------------------------------------------
ipbase        ipbasek9      Permanent      ipbasek9
security      securityk9    Permanent      securityk9
uc            None          None           None
data          None          None           None

Configuration register is 0x2102

 
 
 
У кого есть мысли, куда смотреть ?
 
6 ОТВЕТ.

Разница между "через прокси"

Разница между "через прокси" и "по SNAT" только в том, что в первом случае собственно отсутствуют связанные со stateful NAT обработки?

В момент проверки спидтестом что говорит show proc cpu sorted?

А вообще, уже многовато ip input... Покажите show int switching. Фрагментации нет? Спидтест через физический интерфейс с MTU 1500, или через туннели? Пинг с df-битом и размером 1500 в сторону того же гугла успешен?

Попробуйте собрать как транзитный трафик во вариантах "через прокси" и "напрямую" (cef), так и process switching трафик. https://supportforums.cisco.com/document/29616/utilizing-new-packet-capture-feature

New Member

>> связанные со stateful NAT

>> связанные со stateful NAT обработки?
думаю, что да..

>> В момент проверки спидтестом что говорит show proc cpu sorted?

CPU utilization for five seconds: 30%/27%; one minute: 26%; five minutes: 25%
 PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process
 123    34233190   441478537         77  1.15%  1.95%  1.96%   0 IP Input
 389      305330     1615912        188  0.47%  0.52%  0.48%   0 IP SNAT Conn Pro
 379     1097748     6831114        160  0.39%  0.50%  0.43%   0 IP NAT Ager
  86     6890332     3239907       2126  0.27%  0.25%  0.25%   0 Per-Second Jobs
  33     1149026    70345293         16  0.07%  0.08%  0.06%   0 ARP Input
 302      202296     2731207         74  0.03%  0.03%  0.03%   0 Crypto IKMP
 394      560834    29349136         19  0.03%  0.05%  0.04%   0 EIGRP-IPv4
 375      260934     1933911        134  0.03%  0.03%  0.03%   0 NHRP


>> root@noc:~ftp # rsh wan1 show int switching


GigabitEthernet0/0
          Throttle count          0
                   Drops         RP        230         SP          0
             SPD Flushes       Fast      67638        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs    2193771      Drops          0

    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   87334966 1263708671  158329959 2743111498
            Cache misses          0          -          -          -
                    Fast 4044449403 3046752751 1466524738 1009630311
               Auton/SSE          0          0          0          0

    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process    2063557  123813420     254691   15281460
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  CDP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process      53979   26665626      59992   24296760
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process         61       3660     323879   19432740
            Cache misses          0          -          -          -
                    Fast          0          0     250281  133225460
               Auton/SSE          0          0          0          0

    NOTE: all counts are cumulative and reset only after a reload.
GigabitEthernet0/1
          Throttle count          0
                   Drops         RP          0         SP          0
             SPD Flushes       Fast          4        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs         22      Drops          0

    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          9        968          1        114
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process         22       1320          8        480
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  CDP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0          2        465
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0          1         60
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    NOTE: all counts are cumulative and reset only after a reload.
GigabitEthernet0/2 ## core1 -> Gi 1/0/24
          Throttle count          0
                   Drops         RP     458521         SP          0
             SPD Flushes       Fast   24361111        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs   79497370      Drops          0

    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process  466771896 1313806683  413314451 3608092809
            Cache misses          0          -          -          -
                    Fast 2036171509 2185521276  293844165 2963508517
               Auton/SSE          0          0          0          0

    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   70725950 4243557140     988020   59281200
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  CDP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process      54002   34507278      59973   23749308
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   14374076 1643175553     323879   19432740
            Cache misses          0          -          -          -
                    Fast          0          0     719442  776362474
               Auton/SSE          0          0          0          0

    NOTE: all counts are cumulative and reset only after a reload.
GigabitEthernet0/3 ## inside-2

    All statistics for this interface are zero.
Loopback0 ## for DMVPN

    All statistics for this interface are zero.
NVI0

    All statistics for this interface are zero.
Tunnel1 ## DMVPN - Main
          Throttle count          0
                   Drops         RP         29         SP          0
             SPD Flushes       Fast          0        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs          0      Drops          0

    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   31168997 4173394284    2288692  259277412
            Cache misses          0          -          -          -
                    Fast 3554393463 3328889841  924280303  137269256
               Auton/SSE          0          0          0          0

    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0   24321411 3156125219
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0

    NOTE: all counts are cumulative and reset only after a reload.


>> Спидтест через физический интерфейс с MTU 1500, или через туннели? Пинг с df-битом и размером 1500 в сторону того же гугла успешен?

да, 1500....flow-control - Везде отключен или unsupported

####

root@noc:~ftp # rsh wan1 ping 8.8.8.8 size 1500 df-bit

Type escape sequence to abort.
Sending 5, 1500-byte ICMP Echos to 8.8.8.8, timeout is 2 seconds:
Packet sent with the DF bit set
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 16/17/18 ms


##

 

GigabitEthernet0/0 is up, line protocol is up
  Internet address is XXX.XXX.XXX.XXX/28
  Broadcast address is 255.255.255.255
  Address determined by non-volatile memory
  MTU is 1500 bytes
  Helper address is not set
  Directed broadcast forwarding is disabled
  Secondary address XXX.XXX.XXX.XXX/27
  Multicast reserved groups joined: 224.0.0.2 224.0.0.10
  Outgoing access list is not set
  Inbound  access list is smtp_acl_in
  Proxy ARP is disabled
  Local Proxy ARP is disabled
  Security level is default
  Split horizon is enabled
  ICMP redirects are never sent
  ICMP unreachables are always sent
  ICMP mask replies are never sent
  IP fast switching is enabled
  IP fast switching on the same interface is disabled
  IP Flow switching is disabled
  IP CEF switching is enabled
  IP CEF switching turbo vector
  IP multicast fast switching is enabled
  IP multicast distributed fast switching is disabled
  IP route-cache flags are Fast, CEF
  Router Discovery is disabled
  IP output packet accounting is disabled
  IP access violation accounting is disabled
  TCP/IP header compression is disabled
  RTP/IP header compression is disabled
  Policy routing is disabled
  Network address translation is enabled, interface in domain outside
  BGP Policy Mapping is disabled
  Input features: Common Flow Table, Stateful Inspection, Ingress-NetFlow, Virtual Fragment Reassembly, Access List, Virtual Fragment Reassembly After IPSec Decryption, NAT Outside, MCI Check
  Output features: Post-routing NAT Outside, Common Flow Table, Stateful Inspection, CCE Post NAT Classification, NAT ALG proxy, AF Policing, Post-Ingress-NetFlow
  Post encapsulation features: CAR
  IPv4 WCCP Redirect outbound is disabled
  IPv4 WCCP Redirect inbound is disabled
  IPv4 WCCP Redirect exclude is disabled


###

GigabitEthernet0/2 is up, line protocol is up
  Internet address is 192.168.85.12/21
  Broadcast address is 255.255.255.255
  Address determined by non-volatile memory
  MTU is 1500 bytes
  Helper address is not set
  Directed broadcast forwarding is disabled
  Multicast reserved groups joined: 224.0.0.2 224.0.0.10
  Outgoing access list is not set
  Inbound  access list is not set
  Proxy ARP is disabled
  Local Proxy ARP is disabled
  Security level is default
  Split horizon is enabled
  ICMP redirects are never sent
  ICMP unreachables are never sent
  ICMP mask replies are never sent
  IP fast switching is enabled
  IP fast switching on the same interface is disabled
  IP Flow switching is disabled
  IP CEF switching is enabled
  IP CEF switching turbo vector
  IP multicast fast switching is enabled
  IP multicast distributed fast switching is disabled
  IP route-cache flags are Fast, CEF
  Router Discovery is disabled
  IP output packet accounting is disabled
  IP access violation accounting is disabled
  TCP/IP header compression is disabled
  RTP/IP header compression is disabled
  Policy routing is disabled
  Network address translation is enabled, interface in domain inside
  BGP Policy Mapping is disabled
  Input features: Common Flow Table, Stateful Inspection, Ingress-NetFlow, Virtual Fragment Reassembly, Virtual Fragment Reassembly After IPSec Decryption, MCI Check
  Output features: NAT Inside, Common Flow Table, Stateful Inspection, CCE Post NAT Classification, NAT ALG proxy, AF Policing, Post-Ingress-NetFlow, Egress-Netflow
  Post encapsulation features: CAR
  IPv4 WCCP Redirect outbound is disabled
  IPv4 WCCP Redirect inbound is disabled
  IPv4 WCCP Redirect exclude is disabled

 

На gi0/2 какая-то печальная

На gi0/2 какая-то печальная ситуация, особенно в направлении out, где process switching'а аж больше, чем CEF.

Надо понять, что там за трафик. Снимите SPAN, ссылку я уже давал - https://supportforums.cisco.com/document/29616/utilizing-new-packet-capture-feature 

Нечто вроде:

monitor capture buffer cap
monitor capture buffer cap size 5000 max-size 100 linear
monitor capture point ip process-switched procsw both
monitor capture point associate procsw cap

monitor capture point start procsw

 

Потом monitor capture point stop all

monitor capture buffer cap export ...

 

"max-size 100" будет обрезать каждый пакет до 100 байт. Если хотите, можно поднять это значение.

 

И конфигурацию железки лучше покажите. Я уже вижу много фич на интерфейсах...

New Member

Добрый день коллеги. SPAN

Добрый день коллеги.

 

SPAN сделал, конфиг во вложении.

дамп посмотрел, вроде ничего криминального в Process switching..ssh сессии/SNAT/snmp/IGP и прочее..

Так как Cache misses  - по нулям, получается трафик идёт на сам роутер, а не транзитный.

Под 500 PPS одного только

Под 500 PPS одного только SNAT трафика. Прилично. Ну и как, собственно, было видно по предыдущим выводам, фич включено безумное число.

 

Все-таки как ходит трафик "через прокси"? В обход этих маршрутизаторов? Опишите путь трафика в этом сценарии и дайте IP адреса отправителя и получателя пакета.

 

Давайте займемся оптимизацией.

1) Убрать команду "ip nbar protocol-discovery ipv4" со всех поголовно интерфейсов. Категорически. Она нецелесообразно тяжелая.

2) На интерфейсах во внутреннюю сеть "ip virtual-reassembly" определенно не требуется. Наружу - наверняка тоже.

3) Не вижу смысла в командах, начинающихся на "ip route-cache". Хотя они вряд ли мешают. Лучше убрать.

4) У вас policy-map BRANCH-WAN-EDGE применен везде. Даже на тех интерфейсах, которые, как я понимаю, внутренние, между устройствами. Зачем? Если там будут теряться пакеты, то только из-за плохого СКС или перегрузки ЦП роутеров, и лишний шейпер делу гарантированно не поможет, он тоже нагрузку создает.

5) Вы часто пользуетесь ip flow top-talkers? Вам реально нужен netflow на всех интерфейсах, на двух из них - в обе стороны? Судя по трафику SNAT, сессий ОЧЕНЬ много. Оставьте например только на одном WAN интерфейсе в обе стороны, и по-хорошему поставьте внешний netflow коллектор. Можно настроить flexible netflow с ключами только в виде IP адресов, без портов. Базовое представление о характере трафика это даст. В идеале - совсем убрать netflow, перенеся эту задачу на наверняка имеющиеся поблизости хардварные свитчи/роутеры, им проще будет. Только аккуратно - если ошибетесь и не учтете особенности платформ, то получите катастрофическую просадку по производительности. Ну и netflow способен убить роутер, если пустят SYN флуд например.

6) На всякий случай сделайте show debug. Чуялка подсказывает, что что-то там нечисто :) 

7) Сделав везде "no ip unreachables", вы убили PMTUD. При вашей конфигурации он вроде как не используется, но в будущем это может превратиться в очень болезненные грабли. Рекомендация вносить данную команду в конфигурацию всегда и везде несколько устарела. Хотя негативного влияния на производительность это не оказывает.

 

 

Ну и обратите внимание, что информация вендора про 426 мегабит трафика (даже не рекомендация, просто информация) - это цифра, от которой отталкиваться надо лишь при сравнении платформ этого же вендора. Это даже не IMIX. Просто пускали мелкие пакеты без единой фичи, т.е. никакого NBAR, никакого crypto, никакого netflow, никаких ACL, никакого SNAT и так далее. Каждая фича, которую вы включаете, на сколько-то процентов просаживает производительность, так как фичи реализованы программно. Например, в случае SNAT я где-то встречал информацию о десятках процентов просадки. Если хотите не волноваться о производительности, то надо было брать, скажем, ASR1k, у которого мощнейший по меркам сетевого оборудования ЦП отвечает исключительно за control plane (а не за всё как в вашем случае), а весь data plane держится на могучем чипе QFP. Хотя там свои заморочки.

New Member

В итоге проблема была в stp

Насчёт ASR 1k, это вы компанию разорить решили мою ?)) Из пушки по воробьям как говорится.

В итоге проблема была в stp на уровне коммутаторов за WAN1/2 и до Br1/2...несколько линков, трафик бегал по пути 1 Gb --100Mbit/s --1Gb, вместо того чтобы использовать пусть 1Gb --8Gb---1Gb.

исправил stp cost всё стало ок.

Спасибо всем, за умные мысли.

263
Просмотры
0
Полезный материал
6
Ответы