Cisco Public 1© 2012 Cisco and/or its affiliates. All rights reserved.
Cisco Expo 2012
Návrh středněvelkého DC pro různé typyaplikací
Tomáš Michaeli - Consulting System Engeneer – DCV Central
29-Mar-2012
© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 2
Cisco Expo 2012
• Lokalita a fyzické prostředí
• Požadavky aplikací
• Plánování kapacity CPU
• Plánování kapacity RAM
• Doporučená topologie pro malé DC 100-300 VM
• Propojení s datovým úložištěm (iSCSI, FCoE and FC)
• Expo 2012 SMB DC
• Závěr
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 3
Obnova technologií (40%)
• 3Y nebo 5Y obnova podpory na server/úložiště
• Úplná výměna
• Navýšení stávající kapacity a výkonu
• Snadné uvedení nových technologií
Celková kapacita Náklady+-
Inovace
Fyzické do virtuálních – brown field (40%)
• Energetická a prostorová limitace, IT nedokáže plnit požadavky businessu
• Težší pozice pro nové technologie UCS-NEXUS-MDS -interoperabilita
• Migrace a integrace se stávajícím prostředím je náročná
Green field(20%)
• Ojedinělé
• Rozmístění, energie a plány chlazení
• Velmi snadné uvedení nových technologií
• DR je povinný
+- +-
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 4
Ochrana perimetru, strategická poloha
Ochrana vjezdu aut, biometrie, kontrola vstupu + ochranka
Vnitřní a venkovní kamerový systém, rozmístění racků
Výpočetní sál
HDA
MDA Main Distribution Area
Horizontal Distribution Area
EDA
Equipment Distribution Area
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 5
Kabel ZpožděníSpotřeba
VzdálenostMédium
Twinax ~ 0.1ms~ 0.1W<14mSFP+ CU*copper
MM OM2MM OM3
~ 01W82m300m
SFP+ SRMMF,short reach
MM OM2MM OM3
~ 01W10m100m
SFP+ USRMMF, ultra short reach
Cat6Cat6a/7Cat6a/7
2.5ms2.5ms1.5ms
~ 6W***~ 6W***~ 4W***
55m100m30m
RJ45 10GBASE-Tcopper
Standars
SFF 8431
IEEE 802.3ae
none
IEEE 802.3an
Twinax 15mX2 CX4copper
IEEE 802.3ak4W ~ 0.1ms
In-rackX-rack
Across racks
~50% power savings with
EEE
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 6
Napájení [kW]
Redundatní elektrická přípojka
Zelená energie – solární panely, LED
Rotační UPS systém, diesel agregát
Nádrže na naftu (chráněné)
Chlazení [BTU]
• Chlazení bez zvýšené podlahy
• Operační teplota ASHRAE 2008: 27°
• Strukturovaná kabeláž min. 10G
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 7
Tier I II III IV
Komponenty Pouze N N + 1 N + 1 2 (N + 1)
Aktivní Datové Cesty Jedna JednaAktivní / Pasivní
Dvě
Jeden Bod Selhání Ano Ano Ano Ne
Nezávislí Management
NeJenom
komponentyAno Ano
Dostupnost /Roční výpadek
99.671%28.8 hodin
99.749%22.0 hodin
99.982%1.6 hodin
99.995%0.4 hodin
Zdroj: The Uptime Institute
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 8
Application % Considering
SQL Server 66%
SharePoint 55%
Exchange Server 53%
.NET Framework 50%
System Center 30%
Visual Studio 27%
Office 26%
Storage Server 24%
Hyper-V 22%
• Podniky plánují na Cisco UCS aplikace jako SQL Server, SharePoint, Exchange Server a/nebo .NET Framework
• Průzkum pro Cisco provedli Penton Research, partner SQL Server Magazine a Windows IT Pro
• Průzkum v době od 27. Dubna do 30. Května 2011
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 9
Které aplikace virtualizujete?Jakou virtuální platformu jste u Vás
nasadili?
1%
1%
2%
6%
17%
72%
Other
Parallel's Virtuozzo
None
Critix XenServer
Microsoft Hyper-V
VMWare vSphere
0% 20% 40% 60% 80% 100%
16%
10%
15%
29%
46%
53%
73%
Other
DB2
MySQL
Oracle
Exchange
SharePoint
SQL Server
0% 20% 40% 60% 80% 100%
• VMware vSphere dominantní v hypervizorech
• Nejčastěji virtualizujete SQL Server (73%) SharePoint (53%) aExchange (46%).
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 10
• Požadavky pro jednoho uživatele virtuálního desktopu s Windows 7 –1.5GB RAM, 600MHz CPU, 12 IOPS, 50kB/s
200 živých uživatelů ~ 300GB, 120GHz, 2400IOPS ~ 2xC250/2.4/192G
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 11
• Nástroje – VMware/Capacity Planner, Novell/PlateSpin, Microsoft/MAP Toolkit
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 12
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 13
• Nesprávné osazení DIMM může mít až 50% dopad na výkon CPU
• Vliv má osazení kanálů a taktovací frekvence DIMM kanálu
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 14
vSphere5 Licence
Standard Enterprise Enterprise +
Processor 1 CPU 1 CPU 1 CPU
vRAM 32 64 96
vCPU 8 8 32
Kapacita RAM serveru v (GB)
2 CPU
2 licence
64 128 192
4 CPU
4 licence
128 256 384
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 15
2CPU Intel X55xx, X56xxKapacita DIMM (GB) DIMMy rychlost (MHz) Cena /GB
64 GB 8 x 8 1333 44
128 GB 8 x 16 800QR / 1333DR 62
192 GB 12 x 16 800QR / 1333DR 62
2CPU Intel E7192 GB 16 x 8 a 16 x 4 1066 50
4CPU Intel X75xx, E7128 GB 16 x 8 1333 44
256 GB 16 x 16 800QR / 1333DR 62
STD
ENT+
ENT
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 16
• O čem při návrhu mluvíme?
• Kritéria pro výběr návrhu
Výpočetní vrstva a škálování
Požadované vlastnosti a uplatnění Cisco výhod
Konkurenční prostředí
• Návrhy podle
> 128 CPUs
33 – 64 CPUs
8 – 32 CPUs (100-300VM)
< 6 CPUs
• VMDC, SP slouží pro velké
1KCisco Nexus
x86
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 17
1
Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 18
LAN Switch SAN SwitchFCoE Storage FC Storage
Direct Attach
LAN
1,2,4,8 Link
20 – 160 Gb per chassis
SAN
FC Storage
MGMT
Až 160 rack serverů
Plná LAN a SAN konektivita
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 19
FCNFSVM DATA vMotionMGMT
Fabric A vmnic0 vmnic2 vmnic4 vmnic6 MP
Fabric B vmnic1 vmnic3 vmnic5 vmnic7 MP
Min BW 5% 25% 10% 30% 10%
Class Gold CoS 4 Silver CoS 2 Best Effort Plat CoS 5 CoS 3
10-40GE 10-40GE
Fabric
A
FEX
Fabric
B
FEX
vHBA
0
vHBA
1vNIC2 vNIC4 vNIC6 vNIC1 vNIC3 vNIC7
vSwitch / vDS / N1K
vNIC0 vNIC5
* Nastavení podle projektových požadavků
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 20
• Management provoz
Nízké zatížení, Relativně vysoká důležitost
• Ethernet Storage
Vysoké zatížení, Vysoká důležitost
• VM datový provoz
Střední zatížení, Vysoká důležitost
• vMotion
Špičky v provozu
Propustnost dostupná například při migraci
• Fault Tolerance
Vysoká důležitost (synchronní)
Střední zatížení (doporučení 10Gb)
• FCoE
Dedikovaný CoS = 3
20
* Adjust based on environment
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 22
+Adapter FEX – poskytne statické vNIC pro vSphere s různou hodnotou CoS
Podpora QoS s livovolným vSwitchem
Velmi časté při nasazení s UCS, 6x vNIC
+1000v – vlastnosti 1000v s podporou hardware queueingu VIC
V kombinaci s Adapter FEX
Vlastnost “Host Control – Full” a respektuje CoS from 1000v
+VM FEX – poskytne vNICky pro virtuální servery přímo z UCS
+DRS cluster – dostatek vNIC i při zmigrování na jeden server
+Fabric interconnect 61xx max 56, 62xx max 116
2
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 23
2
1
2
3
Platinum -> Mgmt Console
Silver -> VM Traffic
Bronze or Best Effort -> vMotion
Gold -> Available for IP Stor or VM High Pri
• Copy UCS QoS policy to Nexus 5k’s
• Connect nxos -> show running-config ipqos
Traffic Type CoS Value Bandwidth Weight%
NFS 5 3Gbps 30%
FT/Mgmt 4 2Gbps 20%
VM TrafficA 2 2.5Gbps 25%
VM TrafficB 1 0.5Gbps 5%
vMotion 0 1Gbps 10%
FCoE 3 1Gbps 10%
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 24
VM VM VM VM
Nexus
1000V
VEM
VM VM VM VM
Nexus
1000V
VEM
Nexus 1000V
VSM
Windows 8 Hyper-VNexus 1000V
VSM
VMware vSphere
VMware vCenter
Microsoft’s Service Console Virtual Machine Manager
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 25
• Redundatní VSM nebo duální Nexus 1010
• Využívejte VPC kde to je možné (ip hash) jinak (mac−pinning)
• Konfigurujte QoS na 1000v a upstream switchi
• Povinná „system vlan“ pro kritické spojení
• Využijte weighted QoS dostupné od 1.4
25
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 26
QoS disabled
QoS enabled
NFS, VM, a FT provoz
potlačený při vMotion
NFS, VM, a FT provoz
zachovaný při vMotion
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 27
2
• Unified fabric dovoluje flexibilitu
• iSCSI 1/10Gb
• NFS/CIFS 1/10Gb
• FC 2/4/8G
• FCoE 10Gb
• Saturace linek
Oddělení ve frontách
Uplinky ke storage
• Detekce poruchy
Multi pathing
Dvě fabriky
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 28
• Enables lossless Fabrics for each class of service
• PAUSE sent per virtual lane when buffers limit exceeded
Transmit QueuesEthernet Link
Receive Buffers
Eight
Virtual
Lanes
One One
Two Two
Three Three
Four Four
Five Five
Seven Seven
Eight Eight
Six SixSTOP PAUSE
10 GE Link Realized Traffic Utilization
3G/s HPC Traffic
3G/s2G/s
3G/sStorage Traffic
3G/s3G/s
LAN Traffic
4G/s5G/s3G/s
t1 t2 t3
Offered Traffic
t1 t2 t3
3G/s 3G/s
3G/s 3G/s 3G/s
2G/s
3G/s 4G/s 6G/s
Priority Flow Control
IEEE 802.1Qbb
Enhanced Transmission Selection IEEE 802.1Qaz
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 29
BW unavailable to other FlexNICs
BW unavailable to other FlexNICs
BW unavailable to other FlexNICs
BW unavailable to other FlexNICs
2.5G
2.5G
2.5G
2.5G
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 30
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 32
FCoE management je identický s manegementem FC na
úrovni initiatora, targetu a switche
Shodný operační
model
Identické technologie
pro řízení provozu
Identický management
a bezpečnostní model
Jednoduché na
pochopeníShodné s FC modelem
Identické řízení přístupu
přípojení do SAN
Například in order delivery
FSPF load balancing
WWNs, FC-IDs, hard/soft
zoning, DNS, RSCN
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 33
6 x 1Gb
(4948)
4 x 1Gb / SAN
(4948/9148)
2 x 10Gb
(Nexus)
2 x FCoE
(Nexus)
Switch Ports $1,938 $2,167 $1,600 $2,400
Server Ports $299 $599
Cabling $60 $326 $420 $420
FC Optics $260
10Gb CNA $1,429
HBA $1,780
1 Server $2,297 $4,533 $2,619 $4,249
6 Servers $13,779 $27,196 $15,714 $25,494
Cost Per Gigabit $2,297 $2,266 $786 $1,275
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 34
FC
oE
FC
VM
#4
VM
#3
VM
#2
NAS
iSCSI
FC
oE
FC
VM
#4
VM
#3
VM
#2
NAS
iSCSI
FCoE – 3km
• Konvergovaná fabrika sdílí jeden 10G kanál
• Pro SMB je FCoE ve čtvercové topologii vhodné na menší vzdálenost do 3km na Nexus 5k
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 35
Speed
(Gbps)
Distance
(Km)
2 240
4 120
8 60
Speed
(Gbps)
Distance
(Km)
2 128
4 64
8 32
Nexus 5000/5500 Fibre Channel Ports
MDS 9148 Fibre Channel Ports
Speed
(Gbps)
Distance
(Km)
8 1000
10 800
MDS 9500 Fibre Channel Ports
10G +50%
Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 36
SAN Switch
Expo
EMC VNX 5500
MGMT
C2007x B200
FI 6120
8G FC
10G NFS/CIFS
10G FCoE
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 37
• 26 VM pro Expo,150 VM Celkem
• 60GHz CPU (7% vzužitých)
• 95GB RAM (50% využitých)
• 15TB DISK block-nfs
• SSD Cache
• Automaticke tierováníSSD, SAS, SATA
© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 38
Cisco Expo 2012
• Vyhraďte si čas pro výpočet požadavků Aplikací
• Bez profilování aplikací to nejde
• Efektivní výběr CPU a konfigurace RAM
• POD návrh a topologie s unified fabric
• Respektujte best practices pro virtuální networking
• Vždy myslete na DR, vzdálená lokalita
© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 39
Cisco Expo 2012
• Twitter www.twitter.com/CiscoCZ
• Talk2Cisco www.talk2cisco.cz/dotazy
• SMS tbd
Zveme Vás na Ptali jste se… v sále tbd, 17:45 – 18:30
© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 40
Cisco Expo 2012
Prosíme, ohodnoťtetuto přednášku.
Kód přednášky
Thank you.