11

台灣高品質學術研究網路TaiWan Advanced Research and Education Network

TWAREN國網南科維運中心 (NOC)

顏經洲 梁明章陳俊傑陳勝賢張權力劉德隆

22

拜訪 GigaPOP 討論內容• TWAREN Network Architecture• 目前 TWAREN 設備在各校的配置• TWAREN 網管系統網路整體架構圖 • 連線單位連到 TWAREN POP 的 Options • TWAREN Routing Policy• POP 7609 共 管 原 則 • NCHC/NOC 的聯絡方式及窗口• TWAREN 測線工具使用說明• Access Grid (AG) 簡介• Q & A• 結論結論

33

台灣高品質學術研究網路 TWAREN 骨幹網路於 92 年底佈建完成，可提供全島高品質寬頻網路環境，支援台灣學術研發機構進行研究、教育及先進技術的開發與應用

TWAREN 網路共有 20G 頻寬，分三種網路架構： Production Network （ 10G ） Research Network （ 10G ） Optical Network ( 骨幹與 Research Network 共用 )

44

具三層級的全方位網路

工作網路工作網路 (Production Network)(Production Network) 充分滿足各學研界一般網路應用的需求研究實驗網路研究實驗網路 (Research Network)(Research Network) 供學研界從事先進科學應用的研究或網路技術研究之 需。可機動性提供連線，供特定實驗之需光網路 光網路 (Optical Network)(Optical Network) 賴以滿足傳輸量特高之研究需求，及光網路技術的發。是支撐 Grid 的要件，也是下一代網路的基石，將與實驗 網路結合。若擁有 lambda network, 未來可廉價彈性擴頻。

55

Production Network

台北

台中

台南新竹

中央研究院東華大學

交通大學

清華大學 中興大學 暨南大學中山大學

成功大學

中正大學

中央大學

台灣大學

TWAREN

Optical

Production

Research

10GE

STM-64/OC-192STM-16/OC- 48GE建議電路C7609

C7609

C7609

C7609

C7609

C7609 C7609

C7609

C7609

C7609C7609

GSR

GSR

GSR

GSR

66

Research NetworkOptical

Production

Research

STM-64/OC-19210GE

STM-16/OC-48GE建議電路

TWAREN

ONS15600 ONS15600

GSR

GSR GSR

ONS15454 ONS15454

ONS15454

GSR

ONS15454

交通大學

中央大學

台灣大學

C7609

C7609

C7609

清華大學

中興大學C7609

C7609

中央研究院

東華大學

中正大學

C7609

C7609

C7609

ONS15454

中山大學

C7609

C7609

成功大學

暨南大學C7609

台北

新竹 台南

台中

ONS15600

ONS15454

77

Optical NetworkSTM-64/OC-19210GE

STM-16/OC-48

Production

Optical

Research

台北

台中

台南新竹

中央研究院東華大學

交通大學

清華大學中興大學 暨南大學

中山大學

成功大學

中正大學

中央大學

台灣大學

TWAREN

ONS15454

ONS15454

ONS15454

ONS15454ONS15454ONS15454ONS15454

ONS15454

ONS15454 ONS15454

ONS15454

ONS15454

ONS15600

ONS15454

ONS15600ONS15600

ONS15454

建議電路

ONS15454

88

StarLightStarTap

CA*Net4

Abilene

VancouverEdmonton

CalgaryWinnipeg

MontrealHalifax

Toronto

STM

-16

(2.5

G)

1.6 G

國際連線

台北

中央

東華

交大清大

中正成大

中山

中興暨南

中研院台大

台南

新竹

台中

11 區網中心合作分工

TWARENTWAREN 的國際連線的國際連線

至西雅圖之連線升級為 2.5 Gb/s 西雅圖連至 STARLight( 芝加哥 ) 升級為 622Mb/s 向 CA*net4 租用 1 GbE Lightpath, 是為 Taiwan

Light 加入芝加哥 TransLight, 與全球相當層級網路相連 經美國高頻寬 研網 Abilene 與全球接軌

99

7609P 12416P10GiE

12416P10G POS

台北 台南 成大中央

7609PProduction

Network

ResearchNetwork

OpticalNetwork

10G POS

15454

7609R10GiE

12416R

OC-19215454

7609R

15600

10GiE12416R 15454

GiE

10 GiE

15600

15454GiE

OC-192

GiEGiE GiE

TWAREN 網路範例

OC-48OC-48

新竹GiE

1010

POP - 中正、成大、交大、中興、台大、中央、清大、暨南、中山、東華、中研院

7609

2912

6509

3750 12416

R

7505

MAN

TWARENBackboneR

100M

100M

GiE

T1100M

POP

POP 網路架構圖

GiE (x 3)

10GiEGiE

GiE

100M

100M

1 3

5

7

9

11

13

15

17

19

21

23

25

27

29

31

33

35

37

39

Power Supply 1 Power Supply 2

9 8 7 6 5 4 3 2 1

FANSTATUS

OSR-7609

1 3

5

7

9

11

13

15

17

19

21

23

25

27

29

31

33

35

37

39

Power Supply 1 Power Supply 2

9 8 7 6 5 4 3 2 1

FANSTATUS

OSR-7609

7609R

AS2509-RJASYNC1 2 ASYNC3 4 ASYNC5 6 ASYNC7 8

AUI SERIAL CONSOLE AUX

Cisco

OK

Input: 100-240VFreq: 50/60 HZCurrent: 1.2-0.6 AWatts: 40W

-48

VD

CG

ND

+R

TN

-4

8V

DC

GN

D+

RT

N

- + - + - + - + - +

40 40 40 40

A1 A 2

5

B1 B2A BAU X

-48

VD

CG

ND

+R

TN

-48

VD

CG

ND

+RT

N

- + - + - + - + - +

40 40 40 40

A1 A 2

5

B1 B 2A BA UX

W2 W1 W0

CFAUXCONSOLE

ACT

LINK

100 Mbps

ACT

LINK

100 Mbps

FASTETHERNET 0/1 FASTETHERNET 0/0POWER SYS

CISCO3745-IO-2FE

ETM AIM0NPA AIM1

2509

3750

CRIT MAJFAN FAIL MIN

SLOT STATUS PORT

15454E

TWAREN POP 設備配置

19

7609P

268 347 5

2509

RPM

Device

POP Server

TWARENIn-Band

CHT NOC

EBT NOC

TWARENOut-Band

(CHT/EBT IP-VPN)

In-Band

Out-Band Out-Band

In-Band

7609

TN-12416P HC-12416P

7609

TNIB-3750 HCIB-3750

NOCNMS Server Farm

NOCNMS Server Farm

TN-2950 HC-2950

TN-2600M HC-2600M

TN-2522M HC-2522M

C2509

P12416

R12416

ONS15600

RPM

C2509

P12416

R12416

ONS15600

RPM

TWAREN 網管系統網路整體架構圖

南科 竹科

10GBase-LR1000Base-SX1000Base-T10/100Base-T

CHT NOC EBT NOC

南科 NOC 竹科 NOC

台灣大學 成功大學清華大學

TWAREN OOB 網管系統網路架構圖CHTEBT

To In-Band NetworkTo In-Band Network

ATUR

ATUR ATUR

TN-2600M

HC-2950

….. …..

HC-2600M

C2522

TN-2522M

HC-2522M

C2522

C2522

E1 E1

E1 E1E1

E1

E1E1

E1

TNIB-3750HCIB-3750

E1

C2509

P12416

R12416

ONS15600

RPM

C2509

P12416

R12416

ONS15600

RPM

TN-2950

OoB 網管網~ for 11 PoP Sites

竹科（備援網管中心）南科（主網管中心）

IP-VPN

7609 for Production Network

3750

7609 for Research Network

2509

ONS 15454E

Ethernet/FE

GE

Console

11 PoP Sites

for 11 PoP sites:

a. IPs for devices

.11: terminal server

.12: production 7609

.13: research 7609

.14: ONS15454e

.21: RPM1

.22: RPM2

.23: RPM3

.24: RPM4

b. 4 console links (host mappings)

line 1: 3750 (sw)

line 2: production 7609 (p7609)

line 3: research 7609 (r7609)

line 4: ONS (ons15454)

Servertech RPM

Servertech RPM

Servertech RPM

Servertech RPM

1515

超級視訊格網（ Access Grid ）

超級視訊格網計畫為本中心推動台灣知識創新格網（ Knowledge Innovation National Grid ）應用計畫之一，主要提供新一代遠距視訊服務。Access Grid 以自由軟體開發，結合寬頻網路系統整合開發，提供具分散式多點的視訊會議平台功能，具高互動性、高解析度之特性，極適合用在多點跨單位之科學、工程合作計畫溝通機制上，目前已在遠距教學、遠距視訊與 e-learning 有廣泛應用。

1616

超級視訊格網特性

• 採開放系統（ open source ）自由軟體設計，系統軟體免費支援• 系統架構模組化 , 可依不同需求等級建置，小至筆記型電腦 ,大至大型會議室皆可迅速安裝• 採分散式架構，可避免斷線或停機等不確定因素干擾，系統穩定性高 • 可與其他視訊系統 (如 H.323) 互相連接 ,保障原有硬體投資• 可多攝影鏡頭 , 多視角取像，視窗畫面可彈性調整 / 增減，畫面品質高• 有電子白板功能，可整合其他應用程式（如 Word 及 Power Point ），即時多媒體互動與資料共享

1717

國網中心提供之 AG服務

• 協助各單位系統需求評估與技術建置諮詢• 提供 TWAREN 網路連線協調整合規劃• 提供連線之 Bridge Server 功能服務平台• 系統與新功能開發之研發與使用資訊服務與建置• 提供相關教育訓練與說明

網頁 : http://www.accessgrid.com http://140.110.61.10/modules/newbb/

1818

視訊軟體建置 : 1. open-source software -> 完全免費並可從網路下載2. 影像軟體 -> VIC (Video conference tool)3. 聲音軟體 -> RAT (Robust audio Tool)4. Bridge軟體 -> quick bridge5. Multicast beacon軟體 -> Multicast debug 用途

視訊硬體建置 :• Video camera * 2• Conference style mic (圓盤式 , 全方向式收音麥克風 )• Personal Computer * 2• Projectors * 2• Speakers

AG 視訊軟硬體建置

7609

2912

6509

3750

7505

R 100M

GiE

T1

100M

Option - 1

10GiEGiE

100M

R

R

連線單位連到 TWAREN POP 的 Options

S/R

7609

2912

6509

3750

7505

T1

Option - 2

10GiEGiE

100M

7609

2912

6509

3750

7505

T1

100M

Option - 4

10GiEGiE

100M

S/R

R

R

7609

2912

6509

3750

7505

100M

T1

Option - 3

10GiEGiE

100M

S/R

RGiE

R

R

100M

項次說明 優點 缺點

1 連線單位再申請一條 FTTB 到最近的 TWAREN POP

1.第二條電路有作為備援的可能2.總頻寬增加3.管理單純

1.連線單位需負擔新增電路及 port 的費用2.連線單位需有 固網的 FTTB ，可能需負擔建置成本

2 連線單位購置一台 GbE switch/router 放在 TWAREN POP ，將原連到 TANet 的頻寬分流到 TANet 及 TWAREN

1. 連線單位可節省電路費 1. 連線單位需負擔設備費用2. TWAREN POP 需提供放置空間3. single point failure ， switch 故障時，無法連到 TANet 及 TWAREN

3 NCHC 購置一台 GbE switch 在 TWAREN POP ，將原連線單位連到 TANet 的頻寬分到 TANet 及 TWAREN

1. 連線單位可節省電路費用2. 放置空間需求較低

1. NCHC 需負擔設備費用2. Single point failure

4 以 10 GbE 模組連接 for TANet 6509 及 TWAREN 7609

1. 連線單位可節省電路費用2. 與未來 TWAREN/TANet 共用骨幹政策方向一致

1.NCHC 需負擔設備費用2.管理較複雜3.需取得 MOECC 同意

Remarks:1.GbE FTTB cost: NTD 60,000/mon

連線單位連到 TWAREN POP 的幾個 Options

TWAREN Routing Policy

• TWAREN 不可將 TANet IP 以 Origin AS7539 對外宣告

• 盡量避免去回不同路• 盡量避免高速頻寬 (GE) 流向低速連線 (T1)• 不限制連線單位對 Routing Protocol 的選擇自由• 區分 User Routes 與 Backbone Routes ，所有

User Routes 皆轉成 BGP Routes• 精確區分路由來源單位，以利網管系統自動監控

與管理，並可服務連線單位提出的特殊要求

TN12416P

HC12416P TC12416P

TP12416P

NSYSU7609p

NCHU7609p

中山

中興

NCTU7609p

交大NTHU7609p

清華

NTU7609p台大

MOE12008

MOE ASCC

NCU7609p 中央

NCHU7505

逢甲

NTU7505林業所

APANAbileneCOM

Destination

EBGP

IBGP

IGP

LINK

17713:19001

18047:13001

18185:24001

17716:20001

65535:10000

18420:12003

7539:15001

7539:20000

1659:20000 9264:40000

*:10000*:20000

7539:*

BGP Community 基本規則*:1???? 可轉送給國外與 TWAREN 國內連線單位，但不轉

送給 *:2???? 的單位

:2???? 只轉送給國外，不給 TWAREN 國內連線單位

*:3???? 來自 TANET2 國外電路的 Routes

*:4???? 來自中研院國外電路的 Routes

7539:* 以 IGP 連線的單位

*:?NMMM N 為 POP 號碼， NMMM 組成四位數字編號，作為每個連線單位的唯一編號

目前 BGP Community 列表ASN:2???? 有獨立 ASN ，且只送國外不給國內，也不接國內路由（台大、交大）ASN:1???? 有獨立 ASN ，國內外皆轉送（中山、清華、中央、成大、中正、東

華）7539:????? 無 ASN 的 TANet 單位，不能以 AS7539 送出國，會在 EBGP 出口時濾

掉*:4???? 來自中研院的國外 Routes

*:3???? 來自 TANET2 國外線路的單位Private:????? 非 TANet 的連線單位（林業局、中央氣象局）1659:20000 來自 MOE ，完全轉送給國外，但不給 TWAREN 國內18181:10000 來自國衛院18414:10000 來自 NCHC

*:?NMMM NMMM 作為連線單位的 Unique Number

Router Filter PolicyFrom To Protocol Description

Core-GSR POP-7609p IBGP Filter *:2xxxx

TANet Member POP-7609p EBGP Set ASN:?xxxx ( 國內外 :1 Only 國外 :2)

TANet Member POP-7609p IGP Set 7539:?xxxx ( 國內外 :1 Only 國外 :2)

TANet Member POP-7505 IGP Set 7539:2xxxx

Not TANet Member POP IGP Set 65535:1xxxx

TP12416p MOE12008 EIGRP Redistribute IBGP 7539:* To EIGRP

TP12416p MOE12008 IBGP Filter 7539:*

MOE12008 SEA, CHI IBGP Only BGP

MOE12008 TP12416p IBGP Only BGP, Filter *:2xxxx

7609 的共管與控制條件 /方法

權限POP 人員之權利 POP 人員之義務

A – R/W for All ( 包括新連線單位之初始化設定 與既有舊連線管理 )

對新連線單位之初始化設定： 7609P 與新連線單位的初始化設定 . 必須輔導新連線單位如何設定該校 TANET/TWAREN雙出口的路由選擇 完成後必須確認新連線單位與其他單位的路由交換正常且如預期之結果 通知 NCHC新連線單位之設定相關資料 (網段 , routing 之設定之設定 , BGP community, port IP ……), BGP community, port IP ……)對既有連線單位之管理： 協助來自連線單位之技術咨詢 協助連線單位解決 TWAREN 連線問題 可更新 7609P 的設定以緊急處理事故 – 但事後要確認各連線單位與其他單位連線正常 , 且要通知 NCHC所更新之資料

POP 人員願與 NCHC一起負起責任 (如連線單位技術咨詢，問題發生時的解決 ) POP 人員對 7609各種設定與 routing 設定需有相當的了解 - 包括 BGP 、 ISIS、 RIP2、 EIGRP 、 OSPF 各種協定的管理，不可強制約束新連線單位的路由協定選擇 POP 人員必須遵守 NCHC制訂的路由政策，以維護 TWAREN 網路政策的一致性，避免混亂 NCHC負責監控 7609 ，如有必要 NCHC可緊急更改 7609P的設定以恢復正常運作 雙方如有更動設定，皆須互相通知更改的部分 NCHC會有 Change Management control 的程序以監控到任何 change ，且確定網路的設定變動能夠追蹤到。 NCHC會在 ACS 訂定 POP user 的 privilege Router帳號每個人皆獨立一個，如 POP 人員有異動，必須通知 NCHC，發給新接手人新帳號，並撤銷舊帳號

B – R/W for 舊連線管理

同上述之「對既有連線單位之維運」部分。至於新連線之初始化設定交由 NCHC 負責聯繫與設定。

同上

C - Read only

可 telnet 進去 , show config, show run, ping, traceroute 等各項 debug 動作，以及 SNMP 、MIB資訊之讀取

如果連線單位不知如何聯絡 NCHC ，請轉達 NCHC 的聯絡方法給 User ，交給 NCHC 來解決問題

D - No R/W

SNMP 、MIB資訊之讀取 同上

2727

NCHC NOC 聯絡電話 24x7 NOC

0800-351510 03-5776085 ext 163

值班工程師手機 0911-494388, 0911-494393

其他聯絡電話 網路維運組組長 顏經洲 06-5050940-710 線路及設備 陳俊傑 06-5050940-746

梁明章 06-5050940-724

劉德隆 06-5050940-728 網管與一般業務 陳勝賢 06-5050940-726 Access Grid 張權力 06-5050940-750

2828

結論結論 TWAREN 建置只是網路工作的第一步未來目標 : 使網路發揮其功效，創造實質效益未來工作的項目 :

- 增進與各 GigaPOP 之間互動- 維運及更新規劃

- 研發 - 應用服務的開發及佈建 - 推廣 - 國際合作 - 人才培訓