Trouble Shooting

라우터 상태 모니터링

라우터 상태 모니터링 가이드

소 프 트 웨 어 분 석

IOS 버전, bootstrap 버전, 그외 소프트웨어 관련 통계 확인

모 니 터 링 및 조 치 show version : IOS 버전, platform, CPU type, 라우터의 Uptime 을 확인

show stack : 시스템 재가동시 장애 정보 확인

show version

Cisco Internetwork Operating System Software

IOS (tm) 7200 Software (C7200-J-M), Experimental Version 11.3(19970915:164752) [

hampton-nitro-baseline 249]

Copyright (c) 1986-1997 by cisco Systems, Inc.

Compiled Wed 08-Oct-97 06:39 by hampton

Image text-base: 0x60008900, data-base: 0x60B98000

ROM: System Bootstrap, Version 11.1(11855) [beta 2], INTERIM SOFTWARE

BOOTFLASH: 7200 Software (C7200-BOOT-M), Version 11.1(472), RELEASE SOFTWARE (fc1)

Router1 uptime is 23 hours, 33 minutes

System restarted by abort at PC 0x6022322C at 10:50:55 PDT Tue Oct 21 1997

System image file is "tftp://171.69.1.129/hampton/nitro/c7200-j-mz"

cisco 7206 (NPE150) processor with 57344K/8192K bytes of memory.

R4700 processor, Implementation 33, Revision 1.0 (512KB Level 2 Cache)

Last reset from power-on

Bridging software.

X.25 software, Version 3.0.0.

SuperLAT software copyright 1990 by Meridian Technology Corp).

TN3270 Emulation software.

8 Ethernet/IEEE 802.3 interface(s)

2 FastEthernet/IEEE 802.3 interface(s)

4 Token Ring/IEEE 802.5 interface(s)

4 Serial network interface(s)

1 FDDI network interface(s)

125K bytes of non-volatile configuration memory.

1024K bytes of packet SRAM memory.

20480K bytes of Flash PCMCIA card at slot 0 (Sector size 128K).

20480K bytes of Flash PCMCIA card at slot 1 (Sector size 128K).

4096K bytes of Flash internal SIMM (Sector size 256K).

Configuration register is 0x0

내 용 항 목

IOS (tm) 7200 Software (C7200-

J-M), Experimental Version 11.3

Version number 명 시

Recommend 되 는 버 전

ROM: System Bootstrap, Version

11.1(11855) [beta 2], INTERIM

SOFTWARE

Bootstrap version number

BOOTFLASH: 7200 Software

(C7200-BOOT-M), Version

11.1(472), RELEASE SOFTWARE

Boot version string.

System restarted by 최 근 에 boot 된 시 간( 시 스 템 error나 보 통

시 스 템 시 작 시 간 )

System image file is 네 트 워 크 를 통 해 booting 된 경 우, 인 터 넷

주 소 보 임 , ROM 을 통 해 booting 하 는 경 우

running default software.

cisco 7206 (NPE150) processor 하 드 웨 어 설 정 과 비 표 준 소 프 트 웨 서 옵 션 을

명 시

System last reset by System이 최 근 에 booting 된 방 법

Configuration register is Configuration register content 를 명 시 .

0x101, 0x2102 가 아 니 면 주 의

show stackSystem crash 가 발 생 시, 프 로 세 서 가 자 동 적 으 로 ROM monitor 에 서 장 애 를

확 인 하 여 장 애 정 보 를 저 장 하 고 필 요 에 따 라 시 스 템 을 재 시 작 한 다. 따 라 서

시 스 템 이 재 시 작 되 었 을 때 show stack 명 령 어 를 통 해 장 애 정 보 를 얻 을 수

있 다. 다 시 부 팅 하 게 되 면 장 애 정 보 가 사 라 지 므 로 재 부 팅 이 전 에 장 애

정보를 저장하도록 권고한다.

라 우 터 인 터 페 이 스 모 니 터 링

모 니 터 링 및 조 치show interfaces

GigabitEthernet0/0 is up, line protocol is up

Hardware is GigMac 3 Port GigabitEthernet, address is 0002.7d8e.7000 (bia 00

02.7d8e.7000)

Internet address is 211.192.46.1/25

MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec, rely 255/255, load 10/255

Encapsulation ARPA, loopback not set

Keepalive not set

Full-duplex mode, link type is force-up, media type is SX

output flow-control is unsupported, input flow-control is off

ARP type: ARPA, ARP Timeout 04:00:00

Last input 00:00:00, output 00:00:00, output hang never

Last clearing of "show interface" counters never

Queueing strategy: fifo

Output queue 0/40, 0 drops; input queue 0/75, 2351 drops

30 second input rate 233107000 bits/sec, 32944 packets/sec

30 second output rate 42181000 bits/sec, 24576 packets/sec

2556977120 packets input, 131629533 bytes, 0 no buffer

Received 125423 broadcasts, 0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 17024201 multicast, 0 pause input

244368151 packets output, 1912458355 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 pause output

0 output buffer failures, 0 output buffers swapped out

항 목 내 용

DLY 인 터 페 이 스 의 delay(miroseconds)

reliability 5 분 간 exponential average 를 이 용 해 서 255 분 율 로

계 산 된 인 터 페 이 스 의 신 뢰 도

99.9% 이 하 의 신 뢰 를 보 이 는 경 우 주 의

txload 5 분 간 exponential average 를 이 용 해 서 255 분 율 로

계 산 된 인 터 페 이 스 의 전 송 부 하

50% 이 상 의 부 하 율 을 보 이 는 경 우 경 고

rxload 5 분 간 exponential average 를 이 용 해 서 255 분 율 로

계 산 된 인 터 페 이 스 의 수 신 부 하

50% 이 상 의 부 하 율 을 보 이 는 경 우 경 고

broadcasts

sent/dropped

인 터 페 이 스 에 전 송 /drop 된 broadcast 패 킷 수

Last input 인 터 페 이 스 가 성 공 적 으 로 패 킷 을 받 은 가 장 최 근 시 간

Last output 인 터 페 이 스 가 성 공 적 으 로 패 킷 을 전 송 한 가 장 최 근

시 간

output hang 전 송 시 간 이 길 어 서 인 터 페 이 스 가 최 근 에 reset 한 시 간

Last clearing

of "show

interface"

counters

인 터 페 이 스 통 계 를 0 로 reset 한 후 경 과 한 시 간

Queueing

strategy

Queueing 방 법

Output queue

(size/max/dro

ps)

Output queue 의 packet 의 수 /queue 의 최 대 크 기/full queue

에 의 해 drop 된 packet 의 수 .

Input frame 의 0.5 와 1% 사 이 에 있 는 경 우 주 의

1% 이 상 인 경 우 경 고

Input queue

(size/max/dro

ps)

intput queue 의 packet 의 수 /queue 의 최 대 크 기/full queue

에 의 해 drop 된 packet 의 수 .

Input frame 의 0.5 와 1% 사 이 에 있 는 경 우 주 의

1% 이 상 인 경 우 경 고

5 minute

input rate

최 근 5 분 동 안 수 신 된 평 균 bit 와 패 킷 수 .

5 minute

output rate

최 근 5 분 동 안 전 송 된 평 균 bit 와 패 킷 수

packets input 시 스 템 이 받 은 오 류 없 는 전 체 패 킷 수

bytes 시 스 템 이 받 은 오 류 없 는 패 킷 의 바 이 트 수

no buffer 시 스 템 에 버 퍼 공 간 이 없 어 서 무 시 된 패 킷 수

예 ) Ethernet 의 broadcast storm, serial line의 noise

0 이 상 의 값 을 가 지 면 주 의

Received...

broadcasts

인 터 페 이 스 로 들 어 오 는 Broadcast 나 multicast packet 수

인 터 페 이 스 의 input frame 중 broadcast frame 의 비 율 이

10% 이 상 인 경 우 주 의 , 30% 이 상 의 경 우 경 고

runts 미 디 어 의 최 소 패 킷 크 기 보 다 작 아 서 무 시 된 패 킷 수

giants 미 디 어 의 최 대 패 킷 크 기 보 다 커 서 무 시 된 패 킷 수

throttles 버 퍼 나 프 로 세 서 overload 로 인 해 포 트 의 수 신 자 가

수 행 불 능 의 상 태 로 된 횟 수

input errors no buffer, runts, giants, throttles, CRCs, frame, overrun, ignored, and

abort counts 의 총 합 .

인 터 페 이 스 로 들 어 온 패 킷 에 대 한 input error 의 비 율 이

1% 보 다 큰 경 우 주 의

CRC 수 신 된 데 이 터 로 부 터 계 산 된 CRC 와 데 이 터 를 발 생 시 킨

곳 에 서 계 산 한 CRC 가 일 치 하 지 않 은 횟 수

시 리 얼 링 크 에 서 의 CRC 는 noise 나 전 송 문 제 를 표 시

frame CRC error 등 으 로 인 해 비 정 상 적 으 로 받 은 패 킷 수

시 리 얼 라 인 의 경 우 는 노 이 즈 나 전 송 문 제 때 문 에 발 생

overrun 수 신 자 가 수 신 된 데 이 터 를 h/w 버 퍼 에 전 송 하 지 못 하 는

횟 수

ignored 수 신 된 패 킷 이 인 터 페 이 스 에 의 해 무 시 된 횟 수

abort 시 리 얼 인 터 페 이 스 에 서 한 bit 의 잘 못 된 sequence

발 생

packets

output

시 스 템 이 전 송 한 메 시 지 수

bytes output 시 스 템 이 전 송 한 바 이 트 수 .

underruns 전 송 자 가 라 우 터 가 처 리 할 수 있 는 능 력 보 다 빠 르 게

패 킷 을 전 송 한 횟 수

output errors 오 류 로 인 해 인 터 페 이 스 밖 으 로 전 송 되 지 못 한 error

들 의 총 합

인 터 페 이 스 로 나 가 는 패 킷 에 대 한 output error 의 비 율 이

1% 보 다 큰 경 우 주 의

collisions Ethernet collision으 로 인 해 재 전 송 된 메 시 지 수

Overextend LAN 에 의 해 발 생

interface

resets

인 터 페 이 스 가 reset 된 횟 수

0 이 상 이 면 경 고

output buffer

failures

MEMD 공 유 메 모 리 의 부 족 으 로 인 해 Output hold

큐 로 부 터 패 킷 이 전 송 되 지 못 한 횟 수

output buffers

swapped out

Output 큐 가 차 서 패 킷 이 drop 되 는 것 을 방 지 하 기

위 해 버 퍼 를 메 인 메 모 리 에 swapping 함 으 로 써 패 킷 이

main memory queue 에 저 장 된 수 .

트 래 픽 이 bursty 할 수 록 수 가 커 짐

carrier

transitions

인 터 페 이 스 의 상 태 가 변 했 음 을 carrier 이 감 지 한 횟 수

DCD 가 down/up 한 경 우 carrier transition 은 2 회

증 가 한 다 .

Carrier detect line 이 자 주 바 뀌 는 경 우 모 뎀 이 나 회 선

문 제 를 확 인

DCD 인 터 페 이 스 의 data carrier detect signal 의 상 태

DSR 인 터 페 이 스 의 data set ready signal 의 상 태

DTR 인 터 페 이 스 의 data terminal ready signal 의 상 태 .

RTS 인 터 페 이 스 의 signal 을 전 송 하 기 위 한 요 청 상 태

CTS 인 터 페 이 스 의 signal 을 전 송 하 기 위 한 clear 상 태 .

조 치 사 항

input drop 이 많은 경우 ;CPU 사용률이 높은지 확인

Buffer 문제 있는지 확인 -> buffer tunning 필요

output drop이 많은 경우 ;

CPU 사용률이 높은지 확인

Burst 나 broad cast traffic 이 많은지 확인

라인에 트래픽이 많이 흐르는지 확인

시 리 얼 인 터 페 이 스 가 외 부 클 럭 을 사 용 하 는 경 우 인 터 페 이 스 의 실 제

clock rate와 라우터에 bandwidth 설정이 같은지 확인

input error 가 많은 경우 ‘

전송회선의 노이즈 확인

clock 설정이 잘못되었는지 확인

케이블이 잘못되었거나 너무 긴지 불량인지 확인

CSU 나 DSU 확인

output error 가 많은 경우 ;Ethernet 인 경우 tranceiver 확인

라인 연결 문제인지 확인

FastEthernet 의 경우 duplex 설정이 잘못되었는지 확인

케이블이 적절한 길이인지 확인

broadcast 트래픽이 많은 경우 ;Ethernet 의 경우 segment 분리

인터페이스 reset 의 경우 ;트랜시버의 문제 확인 <- Ethernet 의 경우

케이블링이 잘못됨 <- input error 항목값이 높은 경우

혼 잡 을 보 이 고 있 는 LAN media <- collision 이 나 CRC counter, reset counter를 확인하여 문제가 있는 경우

Serial 인터페이스의 경우 ;회선이 트래픽이 많음 <- output drop 이 많은 경우

CSU 나 DSU, 스위치 등의 장비 문제 확인 <- input error 항목값이

높은 경우

CPU 부 하 감 시

모 니 터 링 방 법Show process cpu

Router 에 서 실 행 되 고 있 는 프 로 세 스 의 수 와 각 각 의 CPU 사 용 률

(utilization) 정보 제공

이를 통해 CPU 부하 여부 확인

모 니 터 링 5 분간 CPU 사용률 평균을 x 라고 할 때

warning( 계속 모니터링 필요) : x > 65-74 % critical( 작업 필요) : x > 75%

CPU 부 하 가 높 을 때 발 생 되 는 현 상 입력큐 패킷 손실(input queue drops) 발생

성능 저하

라우터의 일부 서비스 무반응

CPU 부 하 원 인 규 명 및 조 치Interrupt 로 인 한 높 은 CPU 사 용 률

Show interface, show interface switching 으로 확인

라우터에 적절하지 않은 스위칭 path 가 설정되어 있는 경우

cisco 7000, 7500 을 사용하고 있는 경우 ip route cache <path> 설정

<path>는 cef, distributed, or cbus 중 하나

인 터 페 이 스 에 연 결 된 access list 가 설 정 된 경 우 netflow switching 을

설정

ip route-cache flow Memory alignment correction 에 의해 CPU 사용률이 높아질 가능성

트래픽이 많은 경우

show interfacesh interface를 통해 load 와 throttle 를 확인

load-interval seconds 으 로 트 래 픽 을 load 하 는 주 기 를 빠 르 게

하여 30 초 정도의 output 확인

throttle 은 라우터가 overload 되었음을 나타냄

buffer나 processor overload 에 의 해 port 가 disable 된 수 를

나타냄

show interface switching어떤 트래픽이 overload 된 인터페이스를 통해 지나갔는지 확인

만약 특정 인터페이스가 트래픽으로 overload 된 경우 네트워크에서

traffic flow 를 다시 설계하던가 H/W 를 upgrade 함

Process 로 인 한 CPU Utilization 프로세스가 많은 CPU 를 사용하는 경우 log message 에 error 메시지를

확인하여 비정상적인 동작 발생여부 확인

IP Input 이 많은 CPU 를 사용하고 있는 경우

많은 outgoing trafffic 이 있는 인터페이스에 대해 Fast switching이 disable 되어 있는 경우 : output interface 에 fast switching을

다시 enable 함

같은 인터페이스에 fast switching이 disable 되는 경우 ;인 터 페 이 스 가 많 은 수 의 secondary 주 소 를 가 지 고 같 은

인 터 페 이 스 를 source 로 하 고 같 은 인 터 페 이 스 를 destination 으 로

하 는 트 래 픽 이 많 이 있 는 경 우, 모 든 패 킷 을 process switching한다. 이런 경우 그 인터페이스에 ip route-cache same-interface를 설정

많은 패킷이 아주 높은 속도로 도착 - UDP 트래픽

많은 수의 멀티캐스트 트래픽이 라우터를 통과

라 우 터 에 멀 티 캐 스 트 라 우 팅 을 enable 한 경 우 fast switching을

enable 함 – ip mroute cache 많은 수의 broadcast traffic 라우터에 너무 많은 트래픽이 흐르는 경우

부하를 다른 라우터에 분산시키거나, high-end router 를 구매

SNMP virtual EXEC

너무 긴 output 을 발생시키는 경우, 혹은 debug output 이 vty 로

redirect되 는 경 우(terminal monitor, no logging console), virtual EXEC process 로 인해 사용되는 CPU 가 증가

TCP Timer TCP Timer 프 로 세 스 가 많 은 CPU 를 사 용 하 는 경 우 TCP

connection endpoint 가 많은 경우

Other Processes 다른 프로세스가 CPU 를 많이 점유하나 아무런 log 가 남지 않은

경우 IOS bug Cisco Techinical Assistance Center 에 게 도 움 을 요 청 하 고 자 하 는

경 우 show tech-support command 를 입 력 하 거 나 프 로 세 스 로 인 한

CPU 부하가 많은 경우 show stacks process-id 를 입력함

그 외 다 음 명 령 어 로 CPU 상 태 주 기 적 수 집 show processes cpu show interfaces show interfaces switching show interfaces stat

show align show version show log

명 령 어 설 명show process cpu

RouterA#show process cpu CPU utilization for five seconds: 8%/4%; one minute: 6%; five minutes: 5%

 PID  Runtime(ms)  Invoked  uSecs    5Sec   1Min   5Min TTY Process 

프 로 세 스 의 CPU 사 용 시 간

Process 가 invoke 된 횟 수

process invocation 을 위 한 CPU time

최 근 5 초 , 1 분 , 5 분 간 CPU 사 용 률

show interfaces switchingRouterA#show interfaces switching

Ethernet0 Throttle count 0

Drops RP 0 SP 0

SPD Flushes Fast 0 SSE 0

SPD Aggress Fast 0

SPD Priority Inputs 0 Drops 0

Protocol Path

Pkts

In

Chars

In

Pkts

Out

Chars

Out

Other Process 0 0 595 35700

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

최근 5초간 CPU 사용률/ interruptlevel에서 CPU 경과 시간 비율 /interrupt level에서 CPU 경과 시간

최근 1분간 CPU 사용률 최근 1분간 CPU 사용률

IP Process 4 456 4 456

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

IPX Process 0 0 2 120

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

Trans. Bridge Process 0 0 0 0

Cache misses 0

Fast 11 660 0 0

Auton/SSE 0 0 0 0

DEC MOP Process 0 0 10 770

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

ARP Process 1 60 2 120

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

CDP Process 200 63700 100 31183

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

Process processed packets. 라 우 터 가 destination 인 packet 과

fast swiching cache 에 없는 packet 들

Cache misses fast switching cache 에 없 는 packet 들 , destination 의

처 음 packet 은 process 되 고 이 후 Packet들 은 fast swiching됨

Fast fast switched된 packet. Fast switching은 default 로

enable 됨

Auton/SSE Automous switched, silion swiched, distributed switched packet. 스 위 치 프 로 세 서 나, Silicon Switch Processor 를

가 진 Cisco 700 시 리 즈 나 VIP 를 구 동 하 는 Cisco 7500에서만 가능

show interfaces statshow interfaces stat command : show interfaces switching 명 령 어 의

단순화된 형태. RouterA#show interfaces stat Ethernet0

Switching path Pkts In Chars In Pkts Out Chars Out

Processor 52077 12245489 24646 3170041

Route cache 0 0 0 0

Distributed cache 0 0 0 0

Total 52077 12245489 24646 3170041

show alignshow align: RISC processor based platform 에서만 가능

Alignment data for:

4500 Software (C4500-DS40-M), Version mis-aligned RELEASE SOFTWARE (fc1)

Compiled Tue 31-Mar-98 15:05 by jdoe

Total Corrections 33911, Recorded 2, Reads 33911, Writes 0

Initial Initial

Address Count Access Type Traceback

40025F4D 15561 16bit read 0x606F4A7C 0x601C78F8 0x6012FE94 0x600102C0

40025F72 18350 32bit read 0x606FB260 0x6013113C 0x600102C0 0x60010988

메 모 리 분 석

Memory Allocation Failure 라우터가 사용가능한 모든 메모리를 사용

메모리가 작게 fragment 되어 사용할 수 있는 메모리 블록을 찾을 수

없음, 이 경우는 프로세서 메모리나, 패킷 메모리에서 발생

현 상 The console or log message: "%SYS-2-MALLOCFAIL: Memory allocation of

1028 bytes failed from 0x6015EC84, Pool Processor, alignment 0" Telnet session이 거부됨

다른 명령어를 입력해도 show processor memory 명령어만 표시

“Low on memory” message가 표시

"Unable to create EXEC - no memory or too many processes" 와 같 은

console message 가 표시

show logging 명령어 입력시

%SYS-2-MALLOCFAIL: Memory allocation of [X] bytes failed from0x6015EC84, pool [Pool], alignment 0 -Process= "[Process]" ipl= 6, pid=5[x] 라 우 터 가 allocate하 고 자 하 나 충분 한 free memory 를 발견할 수

없는 경우

[pool] processor memory 나 packet memory 가 영향을 받는지 명시

High end router는 DRAM에 buffer가 있어서 packet memory 가 부족하면

pool process 로서 표시

7200 시리즈나 VIP card 는 packet memory 를 위해 pool PCI 에 error를 보고

[process] 메모리의 부족으로 영향받은 프로세스

원 인 및 조 치 방 법 메 모 리 크 기 가 IOS image 를 구 동 하 고 라 우 터 가 동 작 하 는 데 충분 하 지

않을 때

메모리 leak bug프로세서가 메모리를 할당하고 작업이 끝난 후 release 하지 않은 경우

발생, 시 간 이 경 과 함 에 따 라 메 모 리 블 록 이 reserve 되 어 free memory 가

남는 것이 없어짐, - 시스코 라우터 IOS 가 낮은 경우 발생. - 라우터를 reload, Software release 11.2(14) 를 구동하는 경우 가장

최신의 11.2(x) 로 upgrade 하도록 함

라 우 터 를 upgrade 하 지 않 는 경 우 sh process memory 통 해

주기적으로 다음 사항 확인, 1) free memory 가 줄어들어 release 되지 않음, 2) 계속 메모리를 사용만 하는 특정 프로세스 존재 확인

Holding columm 을 모니터링

Router> sh memory summary Head Total (b) Used (b) Free (b) Lowest (b) Largest (b)

Processor 60AB4ED0 5550384 2082996 3467388 3464996 3454608

I/O 40000000 16777216 1937280 14839936 14839936 14838908

Total = system image 를 load 하고 data structure 를 build한후 사용할 수 있는 메모리 총합

Used = 현재 할당된 메모리 총합

Free = 현재 가용한 메모리 총합. Lowest = 부팅한 이후로 가용한 메모리가 가장 작을 때 메모리

총합

Largest = 현재 가용한 가장 큰 메모리 블록

Router>show memory summary Total: 3149760, Used: 2334300, Free: 815460

P

ID

TT

Y

Allocat

ed Freed

Holdi

ng

Getbuf

s

Retbu

fs Process

0 0

22654

8 1252

1804

376 0 0 *Initialization*

0 0 320

542228

8 320 0 0 *Scheduler*

0 0

56636

92

217335

6 0

18561

00 0 *Dead*

1 0 264 264 3784 0 0 Load Meter

2 2 5700 5372

1312

4 0 0 Virtual Exec

3 0 0 0 6784 0 0 Check heaps

4 0 96 0 6880 0 0 Pool Manager

5 0 264 264 6784 0 0 Timers

6 0 2028 672 8812 0 0 ARP Input

7 0 96 0 6880 0 0

SERIAL A'

detect

8 0 504 264 7024 0 0 ATM ILMI Input

9 0 0 0 6784 0 0 ILMI Process

1 0 136 0 6920 0 0 M32_runts

0 pring

1

1 0 136 0 6920 0 0 Call drop procs

1

2 0 340 340

1278

4 0 0 ATMSIG Timer

1

3 0

44566

4 442936

1390

4 0 0 IP Input

1

4 0

23658

04

235715

2

1799

2 0 0 CDP Protocol

1

5 0 528 264 7048 0 0 MOP Protocols

1

6 0 188 0 9972 0 0 IP Background

1

7 0 0 1608 6784 0 0 TCP Timer

1

8 0

585211

6 0

1423

6 0 0 TCP Protocols

A.Allocated : 부팅이후 프로세스에게 할당된 전체 메모리 바이트수

B. Freed : 그 프로세스에 의해 release 된 전체 메모리 바이트수

C. Holding : 이 프로세스에 의해 현재 hold 되고 있는 메모리

바이트수

많 은 양 의 메 모 리 사 용원 인

Memory leak 현상으로 많은 양의 메모리 사용 후에 네트워크 불안정으로

free memory 를 0 로 만듬

라우터가 구동 되기에 불충분한 메모리 가짐

조 치 방 안 라우터가 reboot 되지 않는 경우 show memory sum 명령어로 확인 log

메시지 확인

많은 메모리 사용이 일반적인 경우에 발생시 – 메모리 증설

특별한 경우에 발생시 – 문제 해결

메 모 리 fragmentation 문 제 혹 은 오 류현 상

sh memory 에서 largest 값이 20000byte 이하이고 freed 는 충분이 큰

값인 경우

원 인 프 로 세 스 의 작 업 이 끝 난 후 에 서 메 모 리 의 fragment 가 다 른 프 로 세 스 에

의 해 사 용 되 어 메 모 리 가 fragment 되 는 현 상 이 여 러 번 발 생 하 여

메모리가 fragment 되고 모든 프로세스가 많은 양의 메모리를 필요로

하나 할당받지 못하는 현상 발생

조 치 메모리 fragmentation 현상으로 확인되는 경우 인터페이스를 shutdown시

-> fragment 된 메모리를 free시킴

메모리가 free되지 않으면 IOS bug

관 리 기 준show memory 로 확 인

Free Processor Memory %가 11% 초 과 25% 미 만 인 경 우 주 의, 10%미만인경우 경고

Largest Block Free(Bytes) 가 250KB 미만인 경우 경고

조 치 사 항 라우터 부팅

버 퍼 Tunning

Buffer 는 Small buffer,Middle buffer, Very Big buffer, Huge buffer 로 구성

Middle buffer 가 라우팅 정보 교환을 담당하므로 라우팅 안정화에 밀접하게

관련

no buffer show interface 를 통해 no buffer 확인

no buffer 는 들어 오는 패킷을 위한 버퍼 획득에 실패하는 경우 발생

Buffer Leak Bug show buffer 를 통해 확인

프로세스가 버퍼 작업이 끝난후 버퍼를 free해야함

buffer leak 는 프로세스가 버퍼를 프로세스 하지 못하거나 버퍼를 free하지

못하는 경우 발생

현 상 show buffer 를 이용해 buffer leak 를 확인

아래의 현상은 Middle buffer 가 8094 buffer 을 사용하고 반납하지 못함

(8122)Public buffer pools: Small buffers, 104 bytes (total 50, permanent 50):

50 in free list (20 min, 150 max allowed)

403134 hits, 0 misses, 0 trims, 0 created

0 failures (0 no memory)

Middle buffers, 600 bytes (total 8122, permanent 200):

28 in free list (10 min, 300 max allowed)

154459 hits, 41422 misses, 574 trims, 8496 created

Big buffers, 1524 bytes (total 50, permanent 50):

50 in free list (5 min, 150 max allowed)

58471 hits, 0 misses, 0 trims, 0 created

0 failures (0 no memory)

VeryBig buffers, 4520 bytes (total 10, permanent 10):

10 in free list (0 min, 100 max allowed)

0 hits, 0 misses, 0 trims, 0 created

0 failures (0 no memory)

Large buffers, 5024 bytes (total 0, permanent 0)

0 in free list (0 min, 10 max allowed)

0 hits, 0 misses, 0 trims, 0 created

0 failures (0 no memory)

Huge buffers, 18024 bytes (total 0, permanent 0):

0 in free list (0 min, 4 max allowed)

0 hits, 0 misses, 0 trims, 0 created

조 치 IOS upgrade 함

관 리 show buffer 를 통 해 확 인

Middle Misses % : Middle buffer miss*100/middle buffer hits(105-600bytes) : 0.5% 보다 큰 경우 경고

Big Misses % : Big buffer miss*100/middle buffer hits : 0.5% 보다 큰 경우 경고

Small Misses % : Small buffer miss*100/middle buffer hits : 0.5% 보다 큰 경우 경고

Very Big Misses % : Very Big buffer miss*100/middle buffer hits : 0.5% 보다 큰 경우 경고

Large Misses % : Large buffer miss*100/middle buffer hits : 0.5% 보다 큰 경우 경고

Huge Misses % : Huge buffer miss*100/middle buffer hits : 0.5% 보다 큰 경우 경고

Total Misses % : Total buffer miss*100/middle buffer hits : 0.5% 보다 큰 경우 경고

그 외 명 령 어 show buffer old: 1 분전 할당된 모든 버퍼를 보임

show buffer pool (small - middle - big - verybig - large - huge): 명시한 pool 의 버퍼의 요약정보 제공

show buffer pool (small - middle - big - verybig - large - huge) dump: 주어진 pool 의 버퍼 dump

스 위 칭 분 석

스 위 칭 Path 결 정 방 법 CEF, dCEF 는 가장 좋은 성능 보임

Netflow switching은 성능 향상 혹은 성능 저하 가능

Access list 나 accounting 을 하는 경우 netflow swiching 바람직

Netflow switching은 CPU 성능이 좋은 edge router에 구동

Forwarding AlgorithmCommand (Issue From config-interface Mode)

Fast switching ip route-cache

Same-interface switching ip route-cache same-interface

Autonomous switching (7000 platforms only)

ip route-cache cbus

Silicon switching (7000 platforms with an SSP installed only)

ip route-cache sse

Distributed switching (VIP-capable platforms only)

ip route-cache distributed

Optimum switching (high-end routers only)

ip route-cache optimum

Netflow switching (high-end routers only)

ip route-cache flow

Cisco Express Forwarding (CEF) ip cef

Distributed CEF ip cef distributed

확 인 명 령 sh ip int : 특정 인터페이스의 스위칭 Path 보기

sh process cpu sh memory sum

sh interfaces stat : Process switching 비율이 50% 이상인 경우 주의

sh interfaces swithching

플 랫 폼 별 로 가 능 한 스 위 칭 방 법Switching

Path

Low/

Middle

End(1)

Cisco 7000

w/RSP

Cisco

72xx/71xx

Cisco 75xx Cisco

GSR

12xxx

Comments

Process

Switching

ALL ALL ALL ALL NO Initializes the

switching cache

Fast

Switching

ALL ALL ALL ALL NO Default for all

except IP in

high end

Optimum

Switching

NO ALL ALL ALL NO Default for high

end for IP

before 12.0

Netflow

Switching

12.0(2),

12.0T &

12.0S

11.1CA,

11.1CC,

11.2,

11.2P,

11.3,

11.1CA,

11.1CC,

11.2, 11.2P,

11.3, 11.3T,

12.0, 12.0T,

11.1CA,

11.1CC,

11.2,

11.2P,

11.3,

12.0(6)S

11.3T,

12.0,

12.0T,

12.0S

12.0S 11.3T,

12.0,

12.0T,

12.0S

Distributed

Optimum

Switching

NO NO NO 11.1,

11.1CC,

11.1CA,

11.2,

11.2P, 11.3

& 11.3T

NO Using VIP2-

20,40,50

Not available

from 12.0.

CEF 12.0(5)T 11.1CC,

12.0 &

12.0x

11.1CC,

12.0 &

12.0x

NO NO Default for high

end for IP from

12.0

dCEF NO NO NO 11.1CC,

12.0 &

12.0x

11.1CC,

12.0 &

12.0x

Only on

75xx+VIPs and

on GSRs

Router 의 동 작 정 지 (hang) 문 제 해 결

콘 솔 이 반 응 하 지 않 는 경 우트 래 픽 이 여 전 히 라 우 터 를 통 해 흐 르 는 경 우

configure terminal scheduler interval 500 ^Zscheduler interval 입 력 을 통 해 CPU 가 100%이 상 인 경 우 에 도 명 령 어 를

입력할 수 있도록 함

(7200, 7500 의 경우 scheduler allocate 사용)sh process cpu 의 “ IP Input” 을 통해 IP traffic 이 과도하게 많은지

확인 필요

show interface statshow processessh process cpu등을 통해 확인

스위칭 되는 트래픽 줄이기

트 래 픽 이 라 우 터 를 통 해 흐 르 지 않 는 경 우소프트웨어적으로 문제가 있음

트 래 픽 이 반 응 하 지 않 는 경 우stack trace 정보를 얻음

1. Router#configure terminal2. Enter configuration commands, one per line. End with CNTL/Z.3. Router(config)#config-register 0x2002

라우터를 reloadbreak key를 입력 -> k 50 or stack -> c 나 cont 를 입력하여 계속동작

위의 단계를 반복

reload그외 show version, sh interface, sh run output 정보 수집

Environment monitor 및 조 치 방 법

7513 Router sh env all

HF104-11#sh env all

Arbiter type 1, backplane type 7513 (id 2)

Power supply #1 is 1200W AC (id 1), power supply #2 is 1200W AC (id 1)

Active fault conditions: noneFan transfer point: 1%

Active trip points: none

15 of 15 soft shutdowns remaining before hard shutdown

1

0123456789012

Dbus slots: XXXX X XXX X

card inlet hotpoint exhaust

RSP(6) 23C/73F 32C/89F 34C/93F

Shutdown temperature source is 'hotpoint' on RSP(6), requested RSP(6)

문 제 발 생 기 준기준값 측정값 문제발생 기준

+12V measured at 12.12 x< +10.2 , x>+13.8 -> 정상

+5V measured at 5.17 x<+4.74, x>+5.26 -> 정상

-12V measured at -12.21 x<-10.2 , x>-13.6 +24V measured at 24.06+2.5 reference is 2.48예) 문제 발생 기준이 x<+10.2 ,x>+13.8 인 경우 x 는 +10.2 보다 작고

x 는 +13.8 보 다 큰 값 일 때 장 애 발 생. 현 재측정 값 이 +12.12 이 므 로

정상상태임

PS1 +5V Current measured at 36.08 A (capacity 200 A)

PS1 +12V Current measured at 0.00 A (capacity 35 A)

PS1 -12V Current measured at 0.00 A (capacity 3 A)

PS1 output is 186 W

PS2 +5V Current measured at 40.00 A (capacity 200 A)

PS2 +12V Current measured at 0.55 A (capacity 35 A)

PS2 -12V Current measured at 0.11 A (capacity 3 A)

PS2 output is 214 W

GSR 12000 serialCenter_GSR_1>sh en table

Hot Sensor Temperature Limits (deg C):

Warning Critical Shutdown

GRP/GLC (Slots 0-15) 48 53 58

CSC (Slots 16-17) 60 65 70

SFC (Slots 17-20) 50 55 60

Inlet Sensor Temperature Limits (deg C):

Warning Critical Shutdown

GRP/GLC (Slots 0-15) 45 50 55

CSC (Slots 16-17) 50 55 60

SFC (Slots 17-20) 47 52 57

3V Ranges (mv):

Warning Critical Shutdown

Below Above Below Above Below Above

GRP/GLC (Slots 0-1) 3200 3400 3100 3500 3050 3550

CSC (Slots 16-17) 3200 3400 3100 3500 3050 3550

SFC (Slots 17-20) 3200 3400 3100 3500 3050 3550

5V Ranges (mv):

Warning Critical Shutdown

Below Above Below Above Below Above

GRP/GLC (Slots 0-15) 4850 5150 4750 5250 4680 5320

MBUS_5V Ranges (mv):

Warning Critical Shutdown

Below Above Below Above Below Above

GRP/GLC (Slots 0-15) 4850 5150 4750 5200 4600 5300

CSC (Slots 16-17) 4820 5150 4720 5250 4630 5450

SFC (Slots 17-20) 4850 5100 4750 5200 4600 5300

모 니 터 링 및 조 치 방 법예를 들어 위에 있는 온도에 대한 내용을 보면 슬롯에 대한 수 등 각종

정 보 가 나 와 있 다. 즉 48 이 면 경 고 메 시 지, 58 이 면 라 우 터 모 듈 이

다 운 된 다 는 내 용 이 보 일 것 이 다. 따 라 서 각 라 우 터 를 매 일 한 번 씩 은

모 니 터 링 해야 하며 경 고 메 시 지 가 뜨지 않더라 도 각 슬롯 별로 온 도 가

얼마인지는 체크를 해야 한다. 실제로 이것으로 인해 라우터가 부팅될 수도

있다. 각 모듈별 온도를 보면 다음과 같다

Center_GSR_1>sh env temp

Slot # Hot Sensor Inlet Sensor

(deg C) (deg C)

0 38.0 27.5

1 37.0 26.5

2 38.5 27.0

다 른 항 목 도 마 찬 가 지 로 다 음 내 용 을 체 크 하 여 그 에 상 응 하 는 조 치 를

취한다.

Warning Critical Shutdown

Below Above Below Above Below Above

Center_GSR_1>sh env fan

Slot # Fan 0 Fan 1 Fan 2

(RPM) (RPM) (RPM)

28 2979 3024 3015

29 3006 3027 2994

두번째로 fan 에 대 한 내 용 을 아 래 의 정 보 와 비교하 면 이 것 은 정 상

여부를 확인할 수 있다. Bottom Blower:

Warning Critical

Below Below

Fan 0 1000 750

Fan 1 1000 750

Fan 2 1000 750

장비 관련 Troubleshooting

라우터 트러블슈팅 가이드

가 입 자 수 용 라 우 터

7513 라 우 터 구 조Cisco 7513 내 부 구 조

( 그림 8-1) 7513 라우터 내부 구조도

Cybus 각각 Cxbus 와 Cybus 는 32 bit wide 16.67 Mhz Clock Frequency (60ns) Cybus BW = 2x(32x16.67) = 1.066Gbps 7507/7513 는 2 개의 Cybus 를 가짐(CyBus0,1)

RSP 구 성 Main Memory - IOS, Routing Table, Cache, System Buffer.

(RSP4에서 최대 256MB 로 Upgrade 가능) MEMD - Packet Memory, IPC.

보드에 2MB Static 메모리. Upgrade 불가. VIP 를 사용 권고

모든 MEMD Buffer Management 는 QA 에 의해 이루어짐

Route-Switch Processors

IP

IP

SiSi SiSi

VIP

VIP

VIP

메 인 메 모 리 (DRAM)isp-7505a#sh mem

Head Total(b) Used(b) Free(b) Lowest(b)

Largest(b)

Processor 60A31D00 56419072 3043644 53375428 53229672

53375000

Fast 60A11D00 131072 70808 60264 60264

60220

Address Bytes Prev. Next Ref PrevF NextF Alloc PC What

60A11D00 44 0 60A11D58 0 0 0 0

(fragment)

60A11D58 5396 60A11D00 60A13298 1 6015DAE8

*Hardware IDB*

60A13298 5396 60A11D58 60A147D8 1 6015DAE8

*Hardware IDB*

Total : IOS 와 Init Data Structure 가 사용한 후의 메모리

Free : 현재 Free 메모리량

Lowest : “Free” 에 대한 low-water mark Largest : 가장 큰 지속적인 Block Free

만약 이것이 적을 경우 MALLOCFAIL message를 볼 것

VIP(Versatile Interface Processor) 카 드

Switch Processor

PortPortAdapterAdapter

PortPortAdapterAdapter

Packet Memory

PPCCII

CCyyBBuuss

PPCCII

( 그림 8-2) VIP 카드 구조

CyBus 는 ~1Gb bandwidth 한 BUS 에 있는 모든 IP(Interface Processor) 는 이 Bandwidth 를

공유하며, VIP-to-Cybus connection point 는 ~400Mb, PCI (PA-to-VIP interconnect) 는 ~800Mb 임

시 스 템 버 퍼 – RSP System Buffer 는 DRAM에 있음

Process 레벨에서 사용

Interrupt 레벨에서만 만들어 지지 않음

시 스 템 관 리 명 령 어MEMD – sh controller cbus

isp-7505a#sh cont cbus

MEMD at 40000000, 2097152 bytes (unused 2336, recarves 8, lost 0)

RawQ 48000100, ReturnQ 48000108, EventQ 48000110

BufhdrQ 48000138 (2973 items), LovltrQ 48000150 (15 items, 2016 bytes)

IpcbufQ 48000160 (32 items, 4096 bytes)

IpcbufQ_classic 48000158 (8 items, 4096 bytes)

3570 buffer headers (48002000 - 4800FF10)

pool0: 9 buffers, 256 bytes, queue 48000140

pool1: 215 buffers, 1536 bytes, queue 48000148

pool2: 314 buffers, 4512 bytes, queue 48000168

pool3: 4 buffers, 4544 bytes, queue 48000170

slot0: EIP, hw 1.5, sw 20.03, ccb 5800FF20, cmdq 48000080, vps 4096

software loaded from system

Ethernet0/0, addr 00e0.feba.3c00 (bia 00e0.feba.3c00)

gfreeq 48000148, lfreeq 48000178 (1536 bytes), throttled 0

rxlo 4, rxhi 105, rxcurr 0, maxrxcurr 1

txq 48000180, txacc 48000082 (value 61), txlimit 61

sh interface

Fddi6/0 is up, line protocol is up

MTU 4470 bytes, BW 100000 Kbit, DLY 100 usec, rely 255/255, load 30/255

Encapsulation SNAP, loopback not set, keepalive not set

Last input 00:00:00, output 00:00:00, output hang never

Last clearing of "show interface" counters never

Queueing strategy: fifo

Output queue 0/40, 67 drops; input queue 0/75, 34749 drops, 26254

flushes

5 minute output rate 12101000 bits/sec, 6534 packets/sec

2149055 packets input, 769783618 bytes, 1 no buffer

Received 2601 broadcasts, 0 runts, 0 giants

0 input errors, 0 CRC, 0 frame, 0 overrun, 4 ignored, 0 abort

3601719 packets output, 874400945 bytes, 0 underruns

0 output errors, 0 collisions, 0 interface resets

0 output buffer failures, 0 output buffers swapped out

sh int statRouter>sh int stat

FastEthernet0/0/0

Switching path Pkts In Chars In Pkts Out Chars Out

Processor 2236510 1456816933 945951 332912440

Route cache 182 171743 16 15720

Distributed cache 457197292 2442471493 173591823 1806535251

Total 459433984 3899460169 174537790 2139463411

sh int switching

ptnic1-dr6>sh int switching

FastEthernet0/0/0 205.188.245.0 /25 Spinner Web Network

Throttle count 0

Drops RP 0 SP 0

SPD Flushes Fast 0 SSE 0

SPD Aggress Fast 0

SPD Priority Inputs 0 Drops 0

Protocol Path Pkts In Chars In Pkts Out Chars Out

Other Process 0 0 13720 823200

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

IP Process 6727 472922 45825 2841528

Cache misses 775

Fast 0 0 3 152

Auton/SSE 286107792 3740935187 245368271 3270423546

ARP Process 26426 1585560 14258 855480

Cache misses 0

Fast 0 0 0 0

Auton/SSE 0 0 0 0

CDP Process 323 129780 2294 926776

Cache misses 0

VIP Rx side Buffering

Router#sh controller vip 0 acc

Buffered RX packets by accumulator:

FastEthernet0/0/0:

local txacc 0x1A02: 0 in, 0 drops (0 paks, 0/24414/24414 bufs)

100000kbps

Serial1/0/0:

MEMD txacc 0x1A0A: 25 in, 0 drops (0 paks, 0/10793/10793 bufs)

44210kbps

No MEMD acc: 25 in, 0 limit drops, 0 no buffer

No MEMD buf: 0 in, 0 limit drops, 0 no buffer

Serial1/1/0:

MEMD txacc 0x1A12: 808 in, 0 drops (0 paks, 0/10793/10793 bufs)

44210kbps

No MEMD acc: 808 in, 0 limit drops, 0 no buffer

No MEMD buf: 0 in, 0 limit drops, 0 no buffer

Serial4/0/0:

MEMD txacc 0x1A82: 0 in, 0 drops (0 paks, 0/10793/10793 bufs) 44210kbps

No MEMD acc: 0 in, 0 limit drops, 0 no buffer

No MEMD buf: 0 in, 0 limit drops, 0 no buffer

Serial4/1/0:

MEMD txacc 0x1A8A: 0 in, 0 drops (0 paks, 0/10793/10793 bufs) 44210kbps

No MEMD acc: 0 in, 0 limit drops, 0 no buffer

sh proc cpuisp-7505a#sh proc cpu

CPU utilization for five seconds: 0%/0%; one minute: 0%; five minutes:

0%

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

1 36480 1789 20391 0.00% 0.00% 0.00% 0 Exec

2 455908 43050 10590 0.00% 0.02% 0.00% 0 Check heaps

3 0 1 0 0.00% 0.00% 0.00% 0 Pool Manager

4 0 2 0 0.00% 0.00% 0.00% 0 Timers

5 10816 71545142 0.00% 0.00% 0.00% 0 OIR Handler

6 0 1 0 0.00% 0.00% 0.00% 0 IPC Zone

Manager

7 0 1 0 0.00% 0.00% 0.00% 0 IPC Realm

Manager

8 8 117105 0 0.00% 0.00% 0.00% 0 IPC Seat

Manager

9 20788 98467 211 0.00% 0.00% 0.00% 0 ARP Input

10 0 1 0 0.00% 0.00% 0.00% 0 SERIAL

A'detect

11 15324 597 25668 0.00% 0.00% 0.00% 0 Microcode

Loader

12 0 1 0 0.00% 0.00% 0.00% 0 ATM ILMI

Input

라 우 터 Configuration Boot 순 서

ROM monitor : CPU 를 구 동 하 기 시 작 하 며, “boot loader” 를 찾 아

로드함

Boot loader : 모든 하드웨어 구성요소를 구동하기 시작하며, net boots 또는 system image 를 찾아 로 드 함. 라 우 팅 불 가, 그러나 Default 라우팅은 입력가능

System image

Boot Configuration

Boot loader image 는 하드웨어 구성요소에 맞는 최근의 Image 사용

좋은 예: 같 은 release 의 boot loader image 와 system image 를

사용

Flash Memory 운 용

cd device: 현재 device 의 변경

Flash Card: device = slot0, slot1

Flash Disk: device = disk0, disk1

pwd : 현재 작업중인 device 위치 표시

dir [/all | /deleted] [device:] : device 내용 표시

delete [device:]filename : Directory 에서 파일 제거

File 은 아직 flash memory에 있음 (dir/deleted 로 보여짐)

undelete [device:] index (flash card only) directory 에 파일을 복구함(index#로 지정)filename 충돌이 있을 경우 복구되지 않음

squeeze [device:] (flash card only) : 완전히 file 제거 및 공간확보

Cisco 7500 스 위 칭 모 드

boot bootldr bootflash:rsp-boot-mz.111-25.CCboot system flash slot0:rsp-jv-mz.111-25.CC

RSP에 기초한 스위칭—Process, Fast, Optimum, NetFlow, CEF, Tag VIP distributed switching—Optimum, NetFlow, CEF, Tag

ip route-cache -> Fast Switchingip route-cache [optimum | flow]

ip route-cache distributed 이것들은 interface config 명령어

CEF switching은 global configuration command 로 Configureip cef distributed switching

CEF global command 는 모든 지원되는 Interface 에서 CEF가능

같 은 interface 로 들 어 오 는 Inbound packet 은 여러 가 지 mode 로

스위칭 가능

Switching mode 는 input 와 output interface 에 세팅된 값에 따라

달라짐

라 우 터 트 러 블 슈 팅VIP Parity Error Fault Tree 분 석

Vip Crash

Packet MemoryRead Parity Error

Packet Bus WriteParity Error

Cache Parity Error Exception

PCI Bus Parity Erroror

PCI Bus System Error

Other Crash

Not a problem for reporting VIP. Check

RSP or other VIP for errors

Repeat? DRAM ErrorReplace VIP

Reseat PA orreplace PA and VIP

More AnalysisRequired

Yes

Yes Yes

Yes

No

No

No

No

Yes

Repeat? SRAM ErrorReplace VIP

Yes Yes

Continue to Observe

No

No

Continue to ObserveVip Crash

Packet MemoryRead Parity Error

Packet Bus WriteParity Error

Cache Parity Error Exception

PCI Bus Parity Erroror

PCI Bus System Error

Other Crash

Not a problem for reporting VIP. Check

RSP or other VIP for errors

Repeat? DRAM ErrorReplace VIP

Reseat PA orreplace PA and VIP

More AnalysisRequired

Yes

Yes Yes

Yes

No

No

No

No

Yes

Repeat? SRAM ErrorReplace VIP

Yes Yes

Continue to Observe

No

No

Continue to Observe

PCI Controlle

r

I/O Bus Controll

er

DRAM Controll

er DRAM

CyBus PCI

CPU 1

2

3

4

5

Cbus Controll

er 6

SRAM

The VIP2 Series has parity detection on the paths and boxes marked in red below.

1

2

3

4

5

6

Processor Memory Parity Error Exception Reno Read Parity Error I/O Controller Parity Error Packet Memory Read Parity Error PCI Bus Parity Error

CyASIC Parity error

7 Packet Bus Write Parity Error

7

RSP Parity Error Fault Tree 분 석

Cache Parity Error Exception

이 에러는 RSP 또는 VIP 에 서 같 게 보 임. 이 에러는 CPU 가 L1q cache에서 Parity error 를 감지했을 때 발생.

Error: primary data cache, fields: data,

virtual addr 0x6058A000, physical addr(21:3) 0x18A000,

vAddr(14:12) 0x2000

virtual address corresponds to main:data, cache word 0

Low Data High Data Par Low Data High Data

RSP Crash

Cache ParityException Error

CY Bus Parity Error

SRAM Parity Error

QA Parity Error

Single Bit Parity Error

Nt likely a RSP problem. Look for failed IP.

Repeat? Replace RSP

Replace RSP

Replace RSP

Y

Y Y

Y

N

N

N

N

YRepeat? DRAM Error

Replace RSP

Y

Y

ContinuetoObserve

Continue to Observe

N

N

CPU Write ParityError

More AnalysisRequired

Repeat?

Y

Continue toObserve

N

N

Y

Multi BitParity Error

Other Crash

Repeat?

Continue toObserve

Replace RSP

Replace RSP

N

N

Y Y

Y

N

RSP Crash

Cache ParityException Error

CY Bus Parity Error

SRAM Parity Error

QA Parity Error

Single Bit Parity Error

Nt likely a RSP problem. Look for failed IP.

Repeat? Replace RSP

Replace RSP

Replace RSP

Y

Y Y

Y

N

N

N

N

YRepeat? DRAM Error

Replace RSP

Y

Y

ContinuetoObserve

Continue to Observe

N

N

CPU Write ParityError

More AnalysisRequired

Repeat?

Y

Continue toObserve

N

N

Y

Multi BitParity Error

Other Crash

Repeat?

Continue toObserve

Replace RSP

Replace RSP

N

N

Y Y

Y

N

Par

L1 Data : 0:0xFEFFFEFE 0x65776179 0x13 1:0x20536572 0x76657220

0x89

2:0x646F6573 0x206E6F74 0x9C 3:0x20737570 0x706F7274

0xF8

Low Data High Data Par Low Data High Data

Par

Mem Data: 0:0xFEFFFEFE 0x65776179 0x13 1:0x20536572 0x76657220

0x89

2:0x646F6573 0x206E6F74 0x9C 3:0x20737570 0x706F7274

0xF8

2 번 이상 고장시 교체. Cache Parity error 는 “ System exception: signal 20 errors”로 다양하게

나타남

Unexpected exception, CPU signal 20, PC = 0x603BBDBC (From Crashinfo

file)

OR

%VIP2 R5K-1-MSG: slot3 System exception: sig=20, code=0xA002B8A3,

context=0x60260E90 (console error message)

2 번 이상 발생시 교체.

MEMD Parity Error

A MEMD Parity Error 는 MEMD (RSP 에 있는 SRAM) 가 CyBus 에 있는

IP로 부터 읽혀질 때 parity error 가 억세스시 detect 됨. RSP 는 이런

read 를 블 록킹하 지 않 으 므 로 만 약 받 는 IP가 VIP 인 경 우 parity error 를 CyAsic parity error 로 나타냄. error message 는 다음과 같음:

%RSP-3-ERROR: MD error 0000008000000200

%RSP-3-ERROR: SRAM parity error

2 번이상 발생시 교체.

CyBus Parity Error

CyBus parity error 는 MC ASIC 이 CyBus 에서 parity error 가 있다고

판단했을 때 나타남. error message 는 다 음 과 같 음 :

%RSP-3-ERROR: CyBus[0|1] error XX

XX 는 Address, Data 를 보여주며, error 난 Byte 들을 표시, 그다음

error message XX 가 담고 있는 decode 값을 보여줌.

CPU write Parity Error

만약 RSP 가 enhanced ECC DRAM controller 가 있는 경우 CPU write parity error 를 감 지 할 수 있 음 ( fatal condition) , 이 경 우 error message 는 다음과 같음:

%Tiger-2-PARITY: Parity Error on CPU write to address: <address>

Single Bit or Multi-Bit Errors with ECC

만 약 RSP가 enhanced DRAM controller 가 있 는 경 우 ECC 를

지 원 하 는 데, single bit errors 고칠 수 있 으며 multi-bit error를 Report 가능. single bit error 의 Correction 은 다음과 같음 :

%TIGER-3-SBE: Single bit error detected and corrected at <address>

Multi-Bit error의 감지는 Bus Error Exception 나 CPU Cache Parity Error Exception 에서 parity error 로 나타남.

I/O Controller and Reno Read Parity Errors

DRAM controller parity error 와 I/O Controller parity error 둘다 RENO ASICs bad parity 에 서 감 지 됨, DRAM controller parity error 는 CPU

Cache Parity Exception 로 Report 됨. I/O controller parity error 는 다음

error message 와 같음:

Reno read parity error - Bytes <bytes>

Packet Memory Read Parity Error

PMA ASIC 는 언제든지 VIP 에서 SRAM( 또는 Packet memory) Read시

Packet Memory Read Parity error 가 나 타날 수 있 으며, error message 다음과 같음:

PMA error register = <register contents>

Packet Memory Read Parity Error

2 번 이상 고장시 교체.

Packet Bus Write Parity Error

PMA ASIC 는 언제 든 지 Packet Memory 에 write 시 Packet Bus Write Parity error 를 Report 할 수 있으며, 이 VIP 는 messenger 이며 VIP 의

memory 와는 이상이 없음 . error message 는 다음과 같음:

PMA error register = <register contents>

Packet Bus Write Parity Error

PCI Bus Parity Error

VIP 에서 PA 와 함께 이루어진 PCI controller PCI bus 에서 parity error 감 지 할 수 있 으며, PA 에 직접적 으 로 연 결 되 어 있 는 2 PCI 가 있 으며, 공통된 PCI bus 를 통해 Bridge 되어 있음. PCI bus 0 는 공통 bus, PCI bus 1 와 PCI bus 2 는 PA bus 임. 만 약 error 가 감 지 되 면

message 는 다음과 같음:

PCI bus <num> parity error or

PCI bus <num> system error

PA 를 재삽입하거나 교체 요망.

Cy ASIC Parity Error

VIP 가 CyBus 에서 read 또는 write 연산에서 data 또는 Address에서

parity error 가 감지될 경우, 다음과 같은 error message 를 보여줌:

CYASIC Error Interrupt register 0x2020000C

Parity Error internal to CYA

Parity Error in data from CyBus

이 정보와 RSP log 의 혼합을 통해 error 의 근원지를 결정하는데 충분한

Information 을 제 공

실 제 환 경

%RSP-3-ERROR: MD error 0080000000040000

%RSP-3-ERROR: Cybus1 parity error (bytes 0:7) 40

%RSP-3-ERROR: bus command write 8bytes (0x7)

%RSP-3-ERROR: physical address (bits 20:12) 142000

%RSP-3-ERROR: virtual address (bits 23:17) 140000

%DBUS-3-CXBUSERR: Slot 1, CBus Error

%VIP2-1-MSG: slot1 Nevada Error Interrupt Register 0x3

%VIP2-1-MSG: slot1 CYASIC Error Interrupt register 0x2020000C

%VIP2-1-MSG: slot1 Parity Error internal to CYA

%VIP2-1-MSG: slot1 Parity Error in data from CyBus

%VIP2-1-MSG: slot1 CYASIC Other Interrupt register 0x200100

%VIP2-1-MSG: slot1 QE HIGH Priority Interrupt

%VIP2-1-MSG: slot1 CYBUS Error register 0xD001A02, PKT Bus Error register 0x0

%VIP2-1-MSG: slot1 PMA error register = 0070000440000000

%VIP2-1-MSG: slot1 Packet Bus Write Parity error

%VIP2-1-MSG: slot1 PCI master address = 0700004

%DBUS-3-CXBUSERR: Slot 12, CBus Error

%VIP2-1-MSG: slot12 Nevada Error Interrupt Register 0x3

%VIP2-1-MSG: slot12 CYASIC Error Interrupt register 0x2020001B

%VIP2-1-MSG: slot12 Parity Error in data from Packet Bus

%VIP2-1-MSG: slot12 Parity Error internal to CYA

RSP Reports Data with badparity coming from the cybusand is being written to SRAM

This VIP pulled data with bad Parity from packet memory and wrote it to the Cybus

This VIP is writing data with bad parity which it received from the CyBus into packet memory

%VIP2-1-MSG: slot12 Missing ACK on CyBus access

%VIP2-1-MSG: slot12 NACK present on CyBus access

%VIP2-1-MSG: slot12 CYASIC Other Interrupt register 0x200100

%VIP2-1-MSG: slot12 QE HIGH Priority Interrupt

%VIP2-1-MSG: slot12 CYBUS Error register 0xD001A22, PKT Bus Error register 0x0

%VIP2-1-MSG: slot12 PMA error register = 0070000400000400

%VIP2-1-MSG: slot12 Packet Memory Read Parity error

%VIP2-1-MSG: slot12 PCI master address = 0700004

%RSP-3-ERROR: MEMD parity error condition

%RSP-3-ERROR: MD error 0080000040000000

%RSP-3-ERROR: SRAM parity error (bytes 0:7) 40

%RSP-3-ERROR: MEMD parity error condition

부 팅 장 애 시 신 속 한 Hardware 점 검 요 령

Cool Booting 시도

RSP만 장착후 부팅시도 -> 불가시 RSP 교체 또는 IOS, Configuration 점검

RSP 왼쪽 Slot들만 (CyBus 0 영역) 카드 장착후 부팅시도 -> 불가시

각 Slot에 하나씩 카드 삽입후 리부팅 시도후 불량카드 교체

RSP 오른쪽 Slot들만 (CyBus 1 영역) 카드 장착후 부팅시도 -> 불가시

각 Slot에 하나씩 카드 삽입후 리부팅 시도후 불량카드 교체

IOS 고 려 사 항

IOS 11.1 는 VIP2-50 까지 지 원 : VIP Card의 Crash 또는 Parity Error 를 방지하기 위하여 11.1 34CC 이상의 IOS 버전 사용

IOS 12.0 는 VIP4-80 까지 지원 : VIP Card의 Crash 또는 Parity Error 를 방 지 하 기 위 하 여 12.0(11.3)S 이 상 의 IOS 버 전 사 용 => 현 재

12.0(12)S나 12.(12)S1 를 권고

RSP reports that data with bad parityhas been pulled from SRAM

고 속 중 계 라 우 터 (GSR)

GSR 구 조GSR 제 품 군

12008: 8 slots, 40Gbps. Narrow linecard. 12012: 12 slots, 60Gbps. Narrow linecard. 12016: 16slots, 80Gbps with CSC SFC

320 Gbps 지원시 CSC & SFC card 의 교체 필요(12416). 새로운 SFC/CSC card 와 함께 10Gbps card (engine4+) 지원.

12016 는 OC-192 card 를 지 원 하 기 위 해 Wider Card 사 용. 과열을

방지하기 위해 smaller card 에 대하여 Spacer 사용. "Quarter Dome" (12406): 4x10Gb slot + 2x2.5Gb slot "Half Dome" (12410): 8x10Gb slot + 2x2.5Gb slot

GSR 구 조 – 구 성

Route Processor Line Card

• • • • • •

Line Card

Line Card

Line Card

Route Processo

r

Switch Switch FabricFabric

Line Card

Line Card

Line Card

Route Processo

r

Maintenance BusPowerPowerSupplySupply

Fan/BlowerFan/BlowerSystemSystem

Switch Fabric MBUS Power and Cooling

Router Processor R5000 CPU (same as RSP4) IOS 운용과 라우팅 프로토콜

CEF table 을 각 line card 로 전송

관리용 Ethernet port 패킷 스위칭과는 관계가 없음

Line Card – 기 능 IP/MPLS - forwarding, ping 응답, fragmentation Queuing - FIFO, MDRR Congestion Control - WRED Features - ACL, CAR, Tunnels, BGP Policy Acct Statistics - Netflow, CEF accounting

GRP Boot 순 서 1. Power on 2. Rommon run 3. config register 값 분석

4. config file 읽기

5. Config file 에 정의된 image Load flash 에 image 가 있는 경우 bootloader 를 사용하지 말것

6. Decompress image 7. Begin initialization and discovery

init mbus power down line cards RP self discovery slot# mbus versions RP master/slave arbitration mbus 를 통해 chassis 구성 요소들을 찾게 됨

각각의 LC 는 거의 동시에 boot process 거침

LC Boot 순 서

1. configure fabric choose master If only 1 CSC, it's the master If 2 CSC, sync all LCs to each CSC in turn. CSC that can sync with the most LCs is master. CSC1 wins ties 2. power LCs, reset LCs, boot LC rommon, test LC memory, init LC memory 3. Tell RP that LC is in rommon 4. RP requests versions of post, flash loader, rom if flash loader is downrev or "service download-fl", load a new one over

mbus 5. Before launching the fabric loader check if fabric is initialized, check if clock synced 6. Launching the fabric loader get fia config over mbus primary clock - CSC0 or CSC1 mode - OC12 or OC48 redundancy - redundant or nonredundant carve buffers needed to load IOS image RP starts transmitting IOS image to LCs that are ready RP receives crc from LC after loading, If crc ok, launch IOS on LC 7. Launching IOS on LC start IPC system carve buffers

Line Card – 기 능 별 분 류

PLIM - Optics, Framer, MAC, ATM SAR L3 스위칭 엔진 - L3 lookup, rewrite, buffering, congestion control, 모든

L3/QoS Feature Fabric 인터페이스 - fabric SAR, fabric grant requests, fabric queuing, slot별 multicast 복사

MBUS

1 Mbps 이중화 CAN bus LC, RP, Fabric, Power Supply, Blower (12008 제외) 에 연결됨

Hardware discovery Firmware 업그레이드

통신을 위한 ‘ Channel’ LC log 및 debug messages message 에 의해 과부하 될 수 있음

(attach [slot #]) 를 통한 Out of band LC console access

스 위 칭 엔 진 : 구 조 및 구 성

라 인 카 드 – 스 위 칭 엔 진 Engine 0 - OC12/BMA Engine 1 - Salsa/BMA48 (aka TTM48) Engine 2 - PSA/TBM/RBM (aka Perf48) Engine 3- Edge Engine Engine 4- Backbone OC192

엔 진 0 – 구 성 및 특 성 R5000 CPU - software IP/MPLS lookup BMA - buffer management ASIC IOS Memory - 32-256MB EDO DRAM Packet Memory - 32-128MB SDRAM, 128k bufs Interface - OC12 POS, OC12 ATM, 4OC3 POS, 4OC3 ATM, CHOC12->DS3,

CHOC12->OC3 POS, 12DS3, CT3->T1

420kpps IP forwarding (186b OC12 line rate) ACL, CAR with performance impact (hit depth) Better ACL, CAR performance in 12.0(6)S (turbo) WRED with performance impact (200kpps) NetFlow (performance impact)

엔 진 1 – 구 성 및 특 성 R5000 CPU + Salsa ASIC - hardware IP lookup with software rewrite BMA48 - increased BMA bandwidth Packet Memory - 64-256MB SDRAM, 128k bufs Interfaces - TTM OC48 POS, TTM 4OC12 POS, GE, 8xFE, OC12 DPT

500-700kpps IP forwarding (media, features) CAR, ACL with performance impact (hit depth until turbo) WRED 지원하지 않음

NetFlow (performance impact)

엔 진 2 – 구 성 및 특 성 R5000 CPU - LC IOS, slow path only PSA - hardware IP/MPLS lookup RBM/TBM - hardware WRED, MDRR Packet Memory - 256-512MB SDRAM PSA Memory - PSA copy of FIB table (show ip psa a.b.c.d) Interfaces - OC48 POS, 4OC12 POS, 8/16OC3 POS, OC48 DPT (2 cards),

4OC12 ATM,3GE

4Mpps IP forwarding 4Mpps 의 WRED, MDRR PSA ACLs, with limitations,12.0(10)S No CAR -- PIRC provides limited CAR functionality in 12.0(10)S NetFlow 는 지원하지 않음

엔 진 3 – 구 성 및 특 성 OC48 bandwidth Engine 2 cards respun CHOC48 (multiple variations) 4Mpps forwarding Custom ASICs/TCAMs for matching

ALPHA: Enhanced PSA w/ TCAMs

RADAR: Rx-side queueing/buffering CONGA: Tx-side queueing/buffering PICANTE: next-generation SALSA FUSCILLI: Compact FIA/SLI package GEMA: GigaMac ASIC for 4xGE Edge GULF: channelized POS framer

엔 진 4 – 구 성 및 특 성 OC192 POS, 4xOC48 POS, OC192 DPT, 10x1GE, 1x10GE, Dense FE 25 Mpps IP/MPLS forwarding 12008 또는 12012 에서 사용될 수 없음

New ASICs: TX, RX, MCC RX~PSA, MCC~BMA Hardware WRED, MDRR, PIRC TX+ 과 RX+ ASIC 이 Wire rate 로 ACLs/NetFlow 지원

Switch Fabric : Clocking, Scheduling, Slicing and Sending

Fabric 기 능 Schedule fabric access LC 간 Cell 전송

RP 과 LC 간 Cell 전송

Multicast 복사 기능

Fabric 구 성 CSC – 오직 하 나 의 active CSC 운용. 전 체 의 switch complex 에 대 한

Scheduling Decision 수행. SFC - crossbar (fabric) SFC 는 NxN matrix (# of slots=N)

패 킷 스 위 칭

라 우 팅 선 택Directly connected routes

sl-bb20-rly#sh ip route 144.232.25.22

Routing entry for 144.232.25.0/25

Known via "connected", distance 0, metric 0 (connected, via interface)

Redistributing via bgp 1239

Advertised by bgp 1239 route-map connected-mbgp

Routing Descriptor Blocks:

* directly connected, via GigabitEthernet 1/0

Route metric is 0, traffic share count is 1

Non-recursive (IGP) routes

sl-bb20-rly#sh ip ro 144.232.25.8

Routing entry for 144.232.25.8/30

Known via "isis", distance 15, metric 2, type level-1

Redistributing via isis

Last update from 144.232.25.18 on POS13/0, 2w1d ago

Routing Descriptor Blocks:

* 144.232.7.214, from 144.228.241.10, via POS9/0

Route metric is 2, traffic share count is 1

Recursive (BGP) routes

sl-bb20-rly#sh ip route 152.1.9.10

Routing entry for 152.1.0.0/16

Known via "bgp 1239", distance 200, metric 261376

Last update from 144.232.189.166 2w1d ago

Routing Descriptor Blocks:

* 144.232.189.166, from 144.228.242.114, 2w1d ago <---(where did the

interface go???)

Route metric is 261376, traffic share count is 1

AS Hops 2, BGP network version 6803387

BGP next hop 은 자주 recursion 을 유발

fast-cache switching 는 영구적인 recursive resolution에 의존 -- bad! CEF는 모든 recursive Route Entry 를 해결

CEF: resolving recursive

CEF : FIB 에 는 무 엇 이 있 는 가 ? prefix & mask table version, loadshare type forwarding address/interface forwarding adjacency/type

CEF : FIB 테 이 블 을 만 드 는 과 정 IP routing table 부터 FIB 이 만들어 지며

Master FIB 은 GRP 에 존재

GRP 는 FIB 을 모든 LC 로 전달

Sh ip ro a.b.c.d => sh ip cef a.b.c.d => exec slot [slot#] sh ip cef

a.b.c.d

sl-bb20-rly#sh ip route 152.1.9.10Routing entry for 152.1.0.0/16 Known via "bgp 1239", distance 200, metric 261376Last update from 144.232.189.166 2w1d ago Routing Descriptor Blocks: * 144.232.189.166, from 144.228.242.114, 2w1d agoRoute metric is 261376, traffic share count is 1

AS Hops 2, BGP network version 6803387

sl-bb20-rly#sh ip cef 152.1.9.10152.1.0.0/16, version 53422, per-destination sharing0 packets, 0 bytes via 144.232.189.166, 0 dependencies, recursive next hop 144.232.25.18, POS13/0 via 144.232.189.164/30 valid adjacency Recursive load sharing using 144.228.242.114/32.

정상적인 경우:

tot-dr5#sh cef line

CEF table version 418730, 94262 routes

Slot CEF-ver MsgSent XdrSent Seq MaxSeq LowQ MedQ HighQ Flags

0 418730 828983 8351618 28663 28687 0 0 0 up, sync

1 418730 828984 8351617 28664 28687 0 0 0 up, sync

2 418730 828982 8351616 28662 28686 0 0 0 up, sync

3 418730 828975 8351615 28655 28679 0 0 0 up, sync

Reloading:

tot-dr5#clear cef line 3

tot-dr5#sh cef line

CEF table version 418768, 94199 routes

Slot CEF-ver MsgSent XdrSent Seq MaxSeq LowQ MedQ HighQ Flags

0 418768 829897 8450038 774 797 0 0 0 up, sync

1 418768 829914 8450037 790 813 0 0 0 up, sync

2 418768 829914 8450036 792 815 0 0 0 up, sync

3 418768 829904 8450007 0 0 93936 482 307 up, sync

Disabled:

tot-dr5#sh cef line

CEF table version 418768, 94199 routes

Slot CEF-ver MsgSent XdrSent Seq MaxSeq LowQ MedQ HighQ Flags

0 418768 829897 8450038 774 797 0 0 0 up, sync

1 418768 829914 8450037 790 813 0 0 0 up, sync

2 418768 829914 8450036 792 815 0 0 0 up, sync

3 327654 645367 5899471 0 0 0 0 0 disabled

CEF : Adjacency 란 무 엇 인 가 ? 각각의 next-hop 에 대하여 Adjacency 가 존재

point-to-point link는 1 개의 adjacency 가 존재

subinterfaces/VC 는 각각의 VC 에 대해 하나씩 존재

sl-bb20-rly#sh adj pos 4/1 internal

Protocol Interface Address

IP POS4/1 point2point(9)

type

686144 packets, 289521185 bytes

accounting

0F000800 L2

rewrite

CEF expires: 00:02:20

ager

refresh: 00:00:20

scheduled update

Fast adjacency disabled

IP redirect enabled

IP mtu 4470 (0x0), index 23

Output qs (0x0/0x4040)

rawq slot 0 port 0 channel 1

Output info 0x0, Encap 0x5

Fixup disabled

CEF : Ethernet ethernet 에 대하여 여러 개의 next-hop 이 존재

각각은 다른 L2 rewrite information 을 가지며 subnet entry 을 유지해야

함

각 각 의 host 의 Subnet 에 대 하 여 glean adjacency 가 지 며, full /32 (MAC) 를 가짐

ARP 은 Ethernet 에서 FIB 을 만들기 위해 사용

Glean adjacency for the subnet:

tot-dr5#sh ip cef 205.188.192.0 255.255.255.128205.188.192.0/25, version 32, attached, connected0 packets, 0 bytes via GigabitEthernet1/0, 0 dependencies valid glean adjacency

Glean adjacency for an unresolved host on subnet:

tot-dr5#sh ip cef 205.188.192.110205.188.192.0/25, version 32, attached, connected0 packets, 0 bytes via GigabitEthernet1/0, 0 dependencies valid glean adjacency

205.188.192.0/25

205.188.192.100/32205.188.192.51 /32

CEF 명 령 어

show cef line – 각각의 라인카드의 상태를 보여주며, Table status 는 항상

“ up, sync” 임

show ip cef <a.b.c.d>, exec slot [slot#] sh ip cef <a.b.c.d> -- GRP 와 LC 일치하는지 확인

sh ip cef summary – 전체 CEF entry 수 표시

sh ip cef <a.b.c.d> <mask> mask 길이에 맞는 prefix 표시

sh ip cef <a.b.c.d> <mask> longer 모든 longer prefix 들을 표시 (i.e. components)

sh ip cef summary prefix 의 수 를 보 거 나 , 노 드 수 등. memory recommendation 유용함

show adjacency – adjacency 보기

show adj sum – 각각의 인터페이스에 대한 FIB adjacency summary

Packet SwitchingPacket Forwarding

Packet 은 항상 ingress LC 에 의해 Fowarding 됨

Egress LC 는 오직 queue 에 의존적 인 WRED, CAR 등 이 outbound QoS 적용됨

Valid, cached adjacency for a resolved host:

tot-dr5#sh ip cef 205.188.192.100205.188.192.100/32, version 209, connected, cached adjacency 205.188.192.1000 packets, 0 bytes via 205.188.192.100, GigabitEthernet1/0, 0 dependencies next hop 205.188.192.100, GigabitEthernet1/0 valid cached adjacency

tot-dr5#sh adj gig 1/0Protocol Interface AddressIP GigabitEthernet1/0 spider-wa064 (5) (205.188.192.49)IP GigabitEthernet1/0 spider-wa063 (5) (205.188.192.48)IP GigabitEthernet1/0 spider-wa071 (5) (205.188.192.51)

Queue 점 검

isp-12008c# exec slot 2 sh controller tofab queue

========= Line Card (Slot 2) =======

Carve information for ToFab buffers

SDRAM size: 33554432 bytes, address: 30000000, carve base: 30019100

33451776 bytes carve size, 0 SDRAM bank(s), 0 bytes SDRAM pagesize, 2

carve(s)

max buffer data size 4544 bytes, min buffer data size 80 bytes

52307/52307 buffers specified/carved

33449888/33449888 bytes sum buffer sizes specified/carved

Qnum Head Tail #Qelem LenThresh

---- ---- ---- ------ ---------

4 non-IPC free queues:

26626/26626 (buffers specified/carved), 50.90%, 80 byte data size

1 101 26726 (# elements left)-->26626 65535

16184/16184 (buffers specified/carved), 30.94%, 608 byte data size

2 26727 42910 16184 65535

7831/7831 (buffers specified/carved), 14.97%, 1568 byte data size

3 42911 50741 7831 65535

1566/1566 (buffers specified/carved), 2.99%, 4544 byte data size

4 50742 52307 1566 65535

IPC Queue:

100/100 (buffers specified/carved), 0.19%, 4112 byte data size

30 67 66 100 65535

Raw Queue:

31 0 0 (waiting for the CPU)--> 0 65535

ToFab Queues:

Dest

Slot

0 0 0 (what’s backed up 0 65535

1 0 0 to this slot)--> 0 65535

2 0 0 0 65535

3 0 0 0 65535

4 0 0 0 65535

5 0 0 0 65535

6 0 0 0 65535

7 0 100 <-- GRP here... 0 65535

8 0 0 0 65535

9 0 0 0 65535

10 0 0 0 65535

11 0 0 0 65535

12 0 0 0 65535

13 0 0 0 65535

14 0 0 0 65535

15 0 0 0 65535

Multicast 0 0 0 65535

isp-12008c#exec slot 2 sh controller frfab queue

========= Line Card (Slot 2) =======

Carve information for FrFab buffers

SDRAM size: 33554432 bytes, address: 20000000, carve base: 2002D100

33369856 bytes carve size, 0 SDRAM bank(s), 0 bytes SDRAM pagesize, 2

carve(s)

max buffer data size 4544 bytes, min buffer data size 80 bytes

52177/52177 buffers specified/carved

33366592/33366592 bytes sum buffer sizes specified/carved

Qnum Head Tail #Qelem LenThresh

---- ---- ---- ------ ---------

4 non-IPC free queues:

26560/26560 (buffers specified/carved), 50.90%, 80 byte data size

1 101 26660 (# of free elem) --> 26560 65535

16144/16144 (buffers specified/carved), 30.94%, 608 byte data size

2 26661 42804 16144 65535

7811/7811 (buffers specified/carved), 14.97%, 1568 byte data size

3 42805 50615 7811 65535

1562/1562 (buffers specified/carved), 2.99%, 4544 byte data size

4 50616 52177 1562 65535

IPC Queue:

100/100 (buffers specified/carved), 0.19%, 4112 byte data size

30 78 77 100 65535

Raw Queue:

31 0 83 (waiting on CPU)--->0 65535

Interface Queues:

0 0 0 0 65535

1 0 0 (these are interfaces, 0 65535 <-- tx-queue-limit

2 0 0 NOT slot#s) 0 65535

3 0 0 0 65535

Queue 가 움직이 고 있 다 는 것 을 보 이 기 위 해 head & tail pointer 가

사용

#Qelem column 를 Check 함으로써 어떤 queue 가 back up인지 알

수 있음

Bottleneck 을 방지하기 위해 적절한 QoS 사용

PSA 카 드 : 엔 진 2

PSA = Packet Switching ASIC tag 또는 IP packet 를 위한 hardware lookup 과 rewrite 를 수행

Forwarding 과 QoS manipulation을 위 해 FIB table 의 local copy 를

사용

PSA table 은 external memory 에 저장됨( 오직 eng2 LC 에 존재) exec slot [slot#] sh controller psa mem

PSA 는 BMA 으로 부터 bufhdr 을 accept 하고, ToFab queue로 바로

drop 시킴

관련 명령어

Sh ip ro : GRP가 IP 라우팅 테이블을 만듬

Show ip cef : recursive route 를 pre-resolve 하고 CEF 테이블을 만듬

Exec slot[slot#] sh ip cef a.b.c.d : IPC 를 통 해 각 라 인카드 로 CEF 테이블 전송

Exec slot [slot#] sh ip psa a.b.c.d : CEF 테이블을 통해 PSA 메모리에

Forward 테이블 작성

트러블 슈팅

GSR 트 러 블 슈 팅 순 서 Show log show log slot [slot#] show log summary show gsr show diag summary show diag [slot#] show context summary show context [slot#] execute-on slot [slot#] <command to run on LC> diag [slot#] (verbose)

Logging 명 령 어isp-12008c# sh log sum

+-------+-------+-------+-------+-------+-------+-------+-------+

SLOT | EMERG | ALERT | CRIT | ERROR |WARNING| NOTICE| INFO | DEBUG |

+-----+-------+-------+-------+-------+-------+-------+-------+-------+

| 0 | | | | | | 1 | | |

| 1 | | | | | | 1 | | |

| 2 | | | | | | 1 | | |

| 3 | | | | | | | | |

| 4 | | | | | | 1 | | |

| 5 | | | | | | 1 | | |

| 6 | | | | | | 1 | | |

|*7* | . | . | . | . | . | . | . | . |

+----+-------+-------+-------+-------+-------+-------+-------+-------+

isp-12008c#sh log slot 2

+-------+-------+-------+-------+-------+-------+-------+-------+

SLOT | EMERG | ALERT | CRIT | ERROR |WARNING| NOTICE| INFO | DEBUG |

+-----+-------+-------+-------+-------+-------+-------+-------+-------+

| 2 | | | | | | 1 | | |

+-----+-------+-------+-------+-------+-------+-------+-------+-------+

SLOT 2:00:00:03: %SYS-5-RESTART: System restarted --

Cisco Internetwork Operating System Software

IOS (tm) GS Software (GLC1-LC-M), Version 12.0(7)S1, EARLY DEPLOYMENT RELEASE

SOFTWARE (fc2)

Copyright (c) 1986-1999 by cisco Systems, Inc.

Compiled Tue 30-Nov-99 19:08 by rnapier

Diag( 분 석 ) 명 령 어

isp-12008c#sh diag sum

SLOT 0 (RP/LC 0 ): 1 Port SONET based SRP OC-12c/STM-4 Multi Mode

SLOT 1 (RP/LC 1 ): 8 Port Fast Ethernet Copper

SLOT 2 (RP/LC 2 ): 4 Port Packet Over SONET OC-3c/STM-1 Multi Mode

SLOT 3 (RP/LC 3 ): 1 Port Packet Over SONET OC-12c/STM-4c Multi Mode

SLOT 7 (RP/LC 7 ): Route Processor

SLOT 16 (CSC 0 ): Clock Scheduler Card(8)

SLOT 17 (CSC 1 ): Clock Scheduler Card(8)

SLOT 18 (SFC 0 ): Switch Fabric Card(8)

SLOT 19 (SFC 1 ): Switch Fabric Card(8)

SLOT 20 (SFC 2 ): Switch Fabric Card(8)

SLOT 26 (PS B1 ): AC Power Supply(8)

isp-12008c# sh gsr

Slot 0 type = 1 Port SONET based SRP OC-12c/STM-4

state = Line Card Enabled

Slot 1 type = 8 Port Fast Ethernet

state = Line Card Enabled

Slot 2 type = 4 Port Packet Over SONET OC-3c/STM-1

state = Line Card Enabled

Slot 3 type = 1 Port Packet Over SONET OC-12c/STM-4c

state = MBUS Agent Downloading

Slot 7 type = Route Processor

state = IOS Running PRIMARY

Slot 16 type = Clock Scheduler Card(8)

state = Card Powered

Slot 17 type = Clock Scheduler Card(8)

state = Card Powered PRIMARY CLOCK

Slot 18 type = Switch Fabric Card(8)

state = Card Powered

Slot 19 type = Switch Fabric Card(8)

state = Card Powered

Slot 20 type = Switch Fabric Card(8)

state = Card Powered

Slot 26 type = AC Power Supply(8)

state = Card Powered

isp-12008c#sh gsr slot 3

SLOT STATE TRACE TABLE -- Slot 3 (Current Time is 754774.232)

+--------------+--------------+-------------------------------+---

| Timestamp | Duration | State Name | Flags

+--------------+--------------+-------------------------------+---

| 7.124| 19.052| Wait for Load of MBUS Agent

| 26.176| 753672.592| MBUS Agent Downloading analyzed

| 753698.824| 0.000| In Reset disabled

analyzed

| 753698.824| 7.792| Launching Field Diagnostics disabled analyzed

| 753706.616| 0.524| Getting ROM Images disabled analyzed

| 753707.140| 169.440| Downloading Field Diagnostics disabled analyzed

| 753876.580| 5.672| Launching Field Diagnostics disabled analyzed

| 753882.252| 293.584| Running Field Diagnostic tests disabled analyzed

| 754175.892| 7.792| In Reset disabled

analyzed

| 754183.684| 0.576| Getting ROM Images disabled analyzed

| 754184.260| 7.824| Launching Fabric Downloader disabled analyzed

| 754192.084| 1.208| Fabric Downloader Launch Complete

disabled

analyzed

| 754193.292| 1.392| Downloading IOS disabled analyzed

| 754194.684| 5.696| Launching IOS disabled analyzed

| 754200.380| 1.572| IOS Running disabled analyzed

| 754201.952| 400.108| Line Card Enabled analyzed

| 754602.112| 7.792| In Reset disabled

analyzed

| 754609.904| 0.576| Getting ROM Images disabled analyzed

| 754610.480| 7.824| Launching Fabric Downloader disabled analyzed

| 754618.304| 1.208| Fabric Downloader Launch Complete

disabled

analyzed

| 754619.512| 1.392| Downloading IOS disabled analyzed

| 754620.904| 5.476| Launching IOS disabled analyzed

| 754626.380| 1.572| IOS Running disabled analyzed

| 754627.952| 146.280| Line Card Enabled analyzed

isp-12008c#diag 3 verbose

Running DIAG config check

Runnning Diags will halt ALL activity on the requested slot.

[confirm]

isp-12008c#

Launching a Field Diagnostic for slot 3

Downloading diagnostic tests to slot 3 (timeout set to 400 sec.)

Field Diag download COMPLETE for slot 3

FD 3> *****************************************************

FD 3> GSR Field Diagnostics V3.0

FD 3> Compiled by award on Tue Aug 3 15:58:13 PDT 1999

FD 3> view: award-bfr_112.FieldDiagRelease

FD 3> *****************************************************

FD 3> BFR_CARD_TYPE_OC12_1P_POS testing...

FD 3> running in slot 3 (77 tests)

Executing all diagnostic tests in slot 3

(total/indiv. timeout set to 600/200 sec.)

FD 3> Verbosity now (0x00000001) TESTSDISP

FDIAG_STAT_IN_PROGRESS: test #1 R5K Internal Cache

FDIAG_STAT_IN_PROGRESS: test #2 Burst Operations

FDIAG_STAT_IN_PROGRESS: test #3 Subblock Ordering

<snip!>

FDIAG_STAT_IN_PROGRESS: test #75 From Fabric BMA to To Fabric BMA POS Packet F

FDIAG_STAT_IN_PROGRESS: test #76 From Fabric BMA to From Fabric POS Packet

FDIAG_STAT_IN_PROGRESS: test #77 PM5355 Framer Registers

FDIAG_STAT_DONE

Field Diagnostic ****PASSED**** for slot 3

Field Diag eeprom values: run 0 fail mode 0 (PASS) slot 3

last test failed was 0, error code 0

Shutting down diags in slot 3

Board will reload

Context 및 Crash 명 령 어isp-12008c#sh context sum

CRASH INFO SUMMARY

Slot 0 : 0 crashes

Slot 1 : 0 crashes

Slot 2 : 0 crashes

Slot 3 : 0 crashes

Slot 4 : 0 crashes

Slot 5 : 0 crashes

Slot 6 : 0 crashes

Slot 7 : 0 crashes

isp-12008c# sh context slot 2

isp-12008c#sh context all

라 인 카 드 에 서 수 행 하 는 명 령 어 Execute-on slot [slot #] <command>, execute-on all <command> attach 오직 하나의 session 만 ‘ attached’ 에서 가능

LC 의 Processor 와 Memory를 Checkrp-12008-11a#exec slot 0 sh mem sum

Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)

Processor 613D60E0 113418016 10290128 103127888 102599324 102896756

Fast 613B60E0 131072 44792 86280 86280 86236

It’s very important to watch the “free” and “largest” blocks. If these numbers

are continually decreasing, you have a memory leak.

rp-12008-11a#exec slot 2 sh proc cpu

========= Line Card (Slot 2) =======

CPU utilization for five seconds: 5%/0%; one minute: 5%; five minutes: 5%

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

1 0 118933 0 0.00% 0.00% 0.00% 0 Load Meter

2 1244 917761 1 0.00% 0.00% 0.00% 0 CEF process

3 161156 60440 2666 0.00% 0.02% 0.00% 0 Check heaps

remember that the number before the slash is the total CPU, the number after the

slash is interrupt context. Interrupt context is not accounted individually,

and includes packet switching, alignment corrections, etc. In the normal

case on E0/E1 cards, CPU interrupt utilization will scale linearly with

inbound packet rates. Normal case on eng2 is VERY low CPU, as the PSA ASIC

should be making this decision, not the CPU.

GSR 에 서 지 원 하 지 않 거 나 부 족 한 기 능 TCP intercept/IP accounting/named ACLs GRE Tunnels [in parser thru 12.0(11)S] eng2 NetFlow (sampled netflow 는 현재 작동되지 않음) per-vc-queueing ( 오직 4xOC3 ATM 만 가능) fast etherchannel ( 작동되지 않음) gig/pos channel (DE-pending) No ISL trunking 802.1q VLANs 가 지원되지만 제한적임

ethernet 0 를 transit traffic 용도로 사용하지 말 것

Case Studies, Feature Specifics메 모 리

GRP 항상 256M DRAM 이 Install 되어야 함

tot-dr5#sh mem sum

Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)

Processor 6161BD60 245252768 87229556 158023212 133581108 154208380

Fast 615FBD60 131072 44792 86280 86280 86236

tot-dr5#sh ip cef sum

IP Distributed CEF with switching (Table Version 438569)

94374 routes, 39 reresolve, 0 unresolved (0 old, 0 new)

94374 leaves, 7201 nodes, 19619928 bytes, 410635 inserts, 316261 invalidations

905 load sharing elements, 296840 bytes, 19886 references

2 CEF resets, 16053 revisions of existing leaves

27940 in-place modifications

refcounts: 1661202 leaf, 1518396 node

Adjacency Table has 275 adjacencies

tot-dr5#sh ip bgp sum

BGP router identifier 10.8.5.9, local AS number 10593

BGP table version is 11815041, main routing table version 11815041

93375 network entries and 186894 paths using 15412059 bytes of memory

29573 BGP path attribute entries using 1419504 bytes of memory

70 BGP rrinfo entries using 1680 bytes of memory

12342 BGP AS-PATH entries using 300816 bytes of memory

40 BGP community entries using 960 bytes of memory

BGP activity 335931/242556 prefixes, 861535/674641 paths

LC 는 안 전 의 최 소 한 으 로128M 를 사 용 해 야 함. 64M 는 충 분 하 긴

하지만 순간 Peak data에 적절하지 않음.

tot-dr5#exec slot 0 sh mem sum

========= Line Card (Slot 0) =======

Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)

Processor 40D6BF20 120144096 35002060 85142036 85142036 81981660

GSR 억 세 스 리 스 트 (ACL) GSR linecard 에 ACL을 사용하는 것은 performance 에 많은 영향을 줌

eng0 ACL 는 software 에 의 존. Turbo 로 configure 되 었 을 때, ~200kpps 로 예상

eng1 ACL 는 software 에 서 운용 되 나, 만 약 SALSA4 ASIC 이 존재 할

때, enable HW support (access-list hardware salsa). SALSA4 performance 좋은 편, SALSA4 이 없다면 eng0 performance 와 동일.

GSR 에 서 PSA ACL PSA ACL 는 Engine2 card 에서 PSA ASIC 을 사용하는 새로운 Feature

이며, ACL processing speed를 강화하는 메모리와 관계하며, 약간의 제한

사항이 있으므로 ACL을 Configure 하기 전에 완벽한 이해가 필요. Ingress ACL performance 는 egress ACL 보다 아주 강력. Performance 는 ~1Mpps ingress 와 ~500kpps egress 임. Ingress 와 egress 을 동 시 에 Configure 하 면 eng0 performance 가

나타나며, egress processing 을 Slow-path의 CPU 에서 처리

PSA-ACL 에 대 하 여 최 대128 line 허용. ACL이 이 제 한 사 항 을 초 과 할

경 우 CPU 에 서 처 리. POS input ACL 에 대 하 여 는 448 line 로 확 대

시킴. microcode 제한 때문에 , PSA ACL 는 다른 feature 와는 동시에 사용될

수 없 음 ( 이 것 은 PSA ACL 과 WRED/PIRC 를 동 시 에 설 정 할 수

없음)isp-12008c#exec slot 0 sh access psa sum

========= Line Card (Slot 0) =======

1 PSA ACL Configured: yes, Running: yes (Building)

2 Access list limits: 4 ingress, 5 egress (max 128 lines each)

3 ACL in microcode configured in input direction (Input ACL microcode

4 loaded)

5

6 Input interface: 0 1 2 3

7 ACL total lines: 0 128 0 0

8 Lines on cpu: 0 0 0 0

9 Access List : - 102 - -

10 Run state: off mic off off

11

12 Total ACL memory allocated. PLU: 5120 KBytes TLU: 16 KBytes SRAM: 8

KBytes

13 Mtrie prefixes with access lists. Src: 0 Dst : 128

14 TLU memory used for prefixes: 10 Kbytes

15

16 ACL Timing Statistics

17 List Changes: 0

18 Input Interface Changes: 1 Average Time taken: 4364.0ms

19 Output Interface Changes: 4 Average Time taken: 15008.0ms

20 Times microcode loaded. ACL: 4 Other: 3

1: shows whether they are configured (meaning 'hardware psa' in the config), and then whether they're running. You'll see yes/no if you have the config in there, but either don't have any ACLs defined, or don't have them applied to an interface. Will also say: (Building) while the ACL is actually being built in microcode.

2: the limits on the number we support. note that ingress means on that particular card, while egress means on the box as a whole.

3: which direction we are currently using (can't have both)6: this will be EITHER the input interface for ingress ACLs, or the output

ACL number (on the whole box!)7: how many lines the ACL has configured.8: if the ACL is forced to run on the CPU, this is how many lines it uses9: the ACL number that is applied to that interface (if ingress)10: the state, either mic or cpu (mocrocode == FAST cpu == SLOW)12-14: memory utilization for the ACLs17: counter of the number of times we have changed an ACL, meaning the

ACL definition itself.18-19: How many times we have changes the way we apply an

ingress/egress ACL. This also has a calculator for the average time it takes to re-build the ACL in microcode. This time can be rather long (as long as 300 seconds) if the PSA memory is very full -- meaning lots of routes and multiple ACLs applied.

20: A counter for the number of times we have loaded the PSA microcode

for this card.

일 반 적 인 PSA-ACL Note PSA ACL 는 configuration command "access-list hardware psa" 에 의해

Enable 됨. 만약 configuration 에서 제거되었을 경우, packet이 engine 2 card 로 ingress 될때 ACL은 작동되지 않음.

이 Feature 를 위해 많은 memory (CPU DRAM) 요구. 현재는 SDRAM 에서

특정 고정된 수의 Table space 와 ACL의 prefix의 단편조각에 의존하는

특 정 동 적 인 수 의 Table space 을 활당( 최악의 경 우 128*16*2 extra unique prefix). ACL 이 configure 되었을 때, ACL support 를 위해 사용된

메모리는 preifx의 수를 줄이게 됨. Input ACL size: 최대 16 input ACLs ( linecard카드 당). 각각의 ACL은

128 line 까지 가능. 만약 초과되면, performance 는 line card cpu ACL performance 로 떨어짐

Output ACL size: 위와 동일한 상태, 오직 5 ACL가 가능 ( ROUTER 당). 이 것은 라우터에서 5 개의 outbound ACL 가능,

input 와 output ACL 의 동시 사용은 적절하지 못함

Turbo ACL 로 속 도 를 저 하 시 키 는 ACL 은 source port, type of service, precedence, logging , IGMP 등임.

ACL은 주 interface 만 사용되면. Sub interface 에서는 ACL이 지원되지

않음

Best case 의 input ACL performance 는 900Kpps, worst case 는 거의

700Kpps. output ACL 은 대략 500Kpps. 만 약 위 의 configuration guideline 을 초 과 할 때, processing

performance 는 TurboACL 과 비교할만 함. 만 약 어 떤 Interface 에 ACL이 configure 되 었 다 면, processing

performance 는 inbound 모 든 packet 은 속 도 가 떨어 지 게 될 것 임. ACL이 없는 Linecard 에 대하여는 1Mpps 까지 가능.

PSA-ACL Recommendationengine 2 Card 에 서 최 적 의 ACL Performance 를 수 행 하 기 위 해 위 에 서

언급되었던 제한사항을 준수하고 아래 내용을 고려

output ACL 을 사용하지 말 것

128 line 을 초과하지 말 것

Note 5 에 언급했 던 log, tos, precedence, src port 같 은 조 합 을 ACL line 에서 사용하는 것을 피할 것.

output ACL 과 input ACL 을 동시에 사용하지 말 것.