View
106
Download
0
Category
Preview:
Citation preview
iSCSI
neue Wege zum SAN
MT
ZDV
Pfad der Darstellung
Was ist SCSI?
Was ist ein SAN?
Die aktuelle Situation: Fibre Channel SAN
Probleme
Eine Lösung: iSCSI
Bericht über unsere Tests
– Setup
– Lies, DAMN Lies and BENCHMARKS
Demo
Was ist SCSI?
SCSI (gesprochen skasi) Small Computer System Interface
ANSI Standard
Eine Gruppe von Interfacedefinitionen zur Kommunikation von Computersystemen
Meist benutzt für Peripheriegeräte
Wichtigster Fortschritt (Anfang der 80er) war die logische Blockadressierung an Stelle der physikalischen (CHS).
Der originale Standard definierte Protokoll, Schnittstellen und Signalisierung
Was ist SCSI? (2)
Topologie: BUS
Im Anfang 8Bit, asynchron 5MHz, Synchron 5-10MHz
Single ended -5(2)m; Differential 12M?
SCSI2. (ua:)16Bit (wide), Fast (20MHz); HD-Stecker
Später: Ultra(40MHz), Ultra2(80MHz).......
SCSI3 teilte den Standard auf in Protokolle und Transportschichten (und Interfaces)
– Bei den Protokollen gab es auch serielles SCSI
– Transporte sind: FC, Firewire, SSA
Probleme von SCSI
Dicke Kabel mit monströsem Stecker: Fehlerträchtig
16(7) Geräte
Kabellängen klein besonders bei SE
Multihosting erfordert DIFF sonst instabil
DIFF teuer und selten
BUS!??
Meist durchgeschleifter BUS!?????
TERMINATION
Was ist ein SAN?
SAN: A network whose primary purpose is the transfer of data between computer systems and storage elements and among storage elements. Abbreviated SAN. A SAN consists of a communication infrastructure, which provides physical connections, and a management layer, which organizes the connections, storage elements, and computer systems so that data transfer is secure and robust. The term SAN is usually (but not necessarily) identified with block I/O services rather than file access services.
Quelle: Storage Networking Industry Association
www.snia.org
Was ist ein SAN?
• Sternförmige Vernetzung
• Serial SCSI3 über Fibre Channel (FCP)
• Switches für die Übermittlung
• Müssen auch `Sicherheit‘ herstellen
• Herstellerübergreifende Mangementtools vorhanden
• Aber sehr teuer
• Analysegeräte für FC vorhanden
• Noch teuerer
JoGuSAN V2
EC1
EC2 MS2CS
MS1TSM
DR1 T3 2T3 1
VA
DR2
ITL1 ITL2
Brocade 3800 SAN A
JBOD
Brocade 3800 SAN B
NTAP2NTAP1
Was Stimmt nicht mit FC?
Entdeckungen: Erste Wahrheit über SANs(Fast) Alles was Sie Böses über Interoperabilität gehört haben ist wahr! Es wird nicht besser sondern schlimmer!
– Die Sun (mit Sun Treibern) loggen sich nicht im Fabric ein (loopmode)
-mittlerweile: mit Tip von SE * Wartungsvertrag + patches für alle FC Software
– Mit MultipathIO wird der HP Va nicht als 1 Gerät erkannt
– T3 Luns zur Hälfte als unformatiert erkannt??
– Mit der SUN in der Zone sichtbar booten die W2K Cluster member nicht
– Auf dem HP Compute server bleibt der ioscan hängen, falls der T3 Array in seiner Zone sichtbar ist, ziehen des FCKabel beendet den unkillbaren Prozess, alles ok danach!
– Linux+Emulex HBA: nur LUNs zusammenhängend ab 0 gefunden
auch Solaris 9
Was stimmt nicht mit FC?
Interoperabilität (Fortsetzung):
• Cannot assume anything will just work. It has to be prequalified.
• Jacob Farmer, Cambridge Computer Services, Lisa02
Preis
• Die FC Adapter sind schweineteuer?
• Aufsattler, AKSYS 2003 Witten
• It can be cost-prohibitive for many applications ...... Per host cost for redundant connection = $5K-$10K(nach oben offen)
• Jacob Farmer, Cambridge Computer Services, Lisa 02
• Wer ein SAN will muss 2 kaufen.
• MT, AKSYS2002
Es ist Rettung in Sicht
Andere Transportschichten für Serial SCSI möglich
– Beispiele: (nicht für SANs)
– Firewire und SSA im Standard, in Nutzung USB und IDE/Atapi
ALSO: wähle billige vernetzbare Transportschicht: IP
iSCSINetwork Working Group
Request for Comments: 3347
Category: Informational
Small Computer Systems Interface protocol over the Internet (iSCSI)
Requirements and Design Considerations
iSCSI Layers
SCSI
iSCSI
Upper Functional Layers (e.g. SSL)
TCP
Lower Functional Layers (e.g. IPSec)
IP
LINK
Vorteile von iSCSI
Niedrige Kosten für Switches
Niedrige Kosten für HBA?– Software Implementierung teilweise umsonst
Linux, M$, NetApp
– Hardware HBA sollen auch preiswert werden Singlechip Lösungen in Arbeit
– Diskarrays auf IDE Basis angekündigt NexSan $10K/TB (ATABeast wird billiger)
Vorhandene Infrastruktur evtl mitnutzbar– Nicht bei Hochgeschwindigkeitslösungen
– Nicht bei hohen Sicherheitsanforderungen
Probleme für iSCSI
Sicherheit
– Offene Netze, daher Authentisierung nötig
Datenintegrität (TCP Checksum nur 16 Bit)
– Optionale Header und Daten CRC32 definiert
– Software Implementierungen leiden darunter
Kommandoreihenfolge über multiple Pfade
– Nummerierung der Kommandos: CmdSN
SCSI entwickelt für niedrige Latenz
– Command Collapsing
– Status mit Daten|Error code mit Ceck Condition
Implementierungen (SW)
Freie: Source Forge
– Linux-iscsi (cisco Projekt nach source forge migriert)
Nur Host (Initiator)
– Intel referenz Implementierung
Initiator + Target, Scheint alter draft zu sein
Alle drafts nach 0.8 sollten kompatibel sein(teilweise)
Kostenlosen (ohne Source)
– Microsoft
Noch Beta, auch für Hardware HBAs geeignet
– Netapp
Nur für Lizenzinhaber, nur Target
Implementierungen (hw)
HBAs von intel, Adaptec Emulex, Qlogic (etc)
– SCSI Chip mit TCPoE(1Gb), evtl. weiter Funktionen (IPsec)
– In Vorbereitung (Betaphase)
– Ende des Jahres 10Gb (PCI-X)
Diskarrays ( meist in Vorbereitung )
– IBM IP Storage 200i seit 2002 (noch?)
– verfügbar bis Mitte 03: NexSAN
– Viele andere
Router: (eigentlich inverse router)
– Cisco SN5420 SN5428 MDS95xx
– andere
Switches???????
Cisco Storage Networking Products
CurrentCurrent Q4 CY 2002Q4 CY 2002 1H CY 2003 1H CY 2003
SN5428
SN5420
MDS 9509 MDS 9506 MDS 9513
Storage GatewayStorage Gateway
Workgroup SAN
Workgroup SAN
Multilayer Fabric Switch
Multilayer Fabric Switch
Multilayer Director
Multilayer Director
MDS 9216
16-port FC 32-port FC
Supervisor-1
8-port IP
SAN-OSSAN-OS
Fabric ManagerFabric
Manager
MDS 9000 Modules
MDS 9000 Modules
Fabric Mgr7200 FCIP
PAM
iSCSI Tests 0
10.2002 Cisco SN5420 an unserem SAN
Linux Driver Draft 8, – Arbeitsplatzrechner über 100MBit und das ganze
Campusnetz
– DELL 2650 über GBit und wenige Switches
Zugriff auf JBoD Platten und T3
Zugriff klappt mkfs übersteht auch 1-2 Minutenlange Netzstörung
Performance an 100MBit 11.5 MB/s
Performance über GBit limitiert durch SB5420 60-70MB/sec gemessen (Cisco: 70-80 mit Tuning)
iSCSI Test 1
Setup:
Netapp Test Maschine FAS825:
– 825 Cluster mit je 1 TB/Node, 2x FC/Node zu 2 Brocade
– Gbit in für iSCSI, Os 6.4xy
Zugriffe von
W2K mit INTEL Beta HBA
W2k mit Microsoft Beta Software Initiator
Linux mit linux-iscsi (Cisco, sourceforge)
iSCSI Test 1 ....
W2K mit INTEL Beta HBA
– Funktionierte (problematisch:SW upgrade der Adaptern)
– War aber langsamer als dieselbe Operation über FC
W2k mit Microsoft Beta Software Initiator
– Konfiguration wirklich Beta
– mindesten 17 positionelle Kommandozeileargumente etc
– Funktionierte und war SCHNELL (ca2 mal Hardwareadapter!)
– (DEMO)
iSCSI Test 1 ....
Linux mit linux-iscsi (Cisco, sourceforge)
– Versionen von 3.1.0.18 bis3.2.0.1 getestet
– Funktionalität ok,
findet auch einzelne lun >>0
allerdings neue devices nicht direkt sichtbar
– Stabilität überraschend gut
– Performance (Client Dell 1650, 2CPU PIII 993MHz):
Operation Datenrate NetApp LinuxMB/sec CPU CPU
Read 104 55% 23%Write 37 75% 8%Read 69 62% 64%Write 35 86% 29%Read 42 47% 37%Write 31 80% 25%
iSCSI,5 Switches4 Prozesse, 64KB blks
Fibre Channel4 Prozesse, 64KB blksiSCSI,1 Switch4 Prozesse, 64KB blks
Recommended