Martin Procházka

Technologické centrum Kraje Vysočinapo téměř dvou letech provozu

Martin ProcházkaOdbor informatiky KrÚ Kraje Vysočina

14.11.2013

Martin Procházka

Technologické centrum krajeKonečná realizace v dubnu 2012Náklady 28 mil Kč; dodavatele Autocont CZZákladní hostingová a provozní infrastruktura krajeVysoká dostupnost (99,9%) a škálovatelnostProvoz ve dvou lokalitách (KrÚ, Nemocnice Jihlava)Pokročilé techniky virtualizace (VMW, FalconStor)Cca 30 systémových služebGarantované datové úložiště (CAS – HCP300)Replikace dat do 10ti lokalit, 300TB 2Gbps AS konektivita do veřejného inetu i KIVS

Technologické centrum kraje – TCK

2

Martin Procházka3

Virtualizační technologie

Virtualizace operačních systémů – VMWare vSphere

3x server IBM X3850 X5

1x server IBM X3650 M3

1x server Fujitsu PRIMERGY RX300R6

2x Blade server pro virtualizaci – HS22 (IBM Bladeserver H)

Vmware vSphere 5 Enteprise Plus – 11 licencí DRS, HA, 127 virtuálních serverů

Zálohování Veeam Backup & Replication 6.5 Původně Symantec BE – nyní pouze pro kopie na pásky Připojení VM přes NFS a spuštění

Martin Procházka4

Infrastruktura úložišť

Virtualizace úložišť a SAN

4x SAN switch IBM system storage SAN24B-4

Datová uložiště 2x TIER 0 – FusioIO + IBM x3650, EFS software 2x TIER 1,2 – diskové pole DS5100 (98TB), FC, SATA disky

2x FalconStor NS GA710 - active/passive cluster Unlimited capacity licence Spravováno 69 LUNů, 16 replik, 21 synchronních mirrorů Writecache, HotZone, Safecache,

Martin Procházka5

Infrastruktura úložišť - region

Martin Procházka

Využití infrastruktury TCK

Stav VMW farmy TCK k 13.11.2013

6

Struktura serverů

Externí hosting 15

eHealth 10

GIS 8

Databáze 6

DWH 4

Sharepoint 3

Servisni 10

Aplikační Kru 43

Testovací 21

Test VDI 15

Martin Procházka

Zkušenosti z provozu TCK

7

HW závady

10Gb eth card v ESX – před VM přes HA na v rámci clusteru

Diskové pole – výpadek CACHE na řadiči

Blade Chassis – výměna backplane

Výměna kompresoru klimatizace

Robot páskové knihovny

SW závady

FalconStor – „nevyplachování“ SafeCache na LUNu větších než 2TB

Samovolný restart FusioIO appliance

Náhrada zálohovacího SW z důvodu velikosti prostředí

Blade Chassis – nutné vypnutí z důvodu nefunkčního media tray

Nestabilita WAF F5

SQL cluster – z důvodu nestability dedikovaný spoj pro HeartBeat

Nedostatečný výkon diskových polí – řeší se navýšením IOPS

Odstávka z důvodu upgrade centrálních redundantních prvků LAN

Kombinace CNA infrastruktury s klasickým rozdělením na FC a ETH

Martin Procházka8

Možné modely spolupráce TCK a TC ORP

Způsoby hostování

1. Využití technologie TCKSíťově Interní služby – extenze LAN Externí služby – zřízení DMZ zón a přidělení veřejné IP

z rozsahu TCK

Serverově: Serverový hosting – dedikované virtuální stroje VMWare site recovery

Storage: Replika IPStor iSCSI target/iniciator FC target/iniciator Přímé využití garantovaného úložiště (CIFS, SFTP) NAS storage (NFS, CIFS) Archivace na pásky

2. Instalace vlastní technologie do prostor TCK

Martin Procházka9

Služby TC kraje

Používané služby TCK spisová služba pro PO kraje garantovaný archiv - el. spisovna – DESA ICZ krajské digitální úložiště – KDU – NAS- Alfresco Digitalizační linka – KDJ – HB, 10TB dat zálohování a archivace – 5 PO, 5 měst, zálohy serverů a stanic KrÚ GIS – krajský geoportál (data ISKN, krajský portál ÚAP) Rozhraní základních registrů (ISZR) – Proxio Marbes Groupware – MSE 2012 + Sharepoint (500 mailboxů) externí certifikační autorita (pro systémové služby) datová úložiště – pokračování regionální SAN obecný hosting – aplikační, virtuální, fyzický eHealth služby – eAmbulance, eMedocs, SWLab, Alucid, ERP – QI Vysokokapacitní zálohy – Cesnet – eIGER Identity management – IDM systém Autocont Krajský systém vyrozumění – O2 Regionální systém videokonferencí CISCO Výrazně rozšířený fyzický hosting (budova D)

Martin Procházka10

Služby TC kraje

Nepoužívané služby TCK site recovery služby – zálohování celé infrastruktury CRM – call centrum, metodický portál, knowledge base systém elektronického zadávání zakázek

Plánované služby TCK Hostování služeb eGovermentu (?) Hostování služeb a technologií pro PO - cloudové služby Propojení sítě eHealth se sítí ePACS VDI desktopy pro PO Záložní node NIS

Martin Procházka11

Spolupráce s akademickým sektorem

Projekt EIGER - Infrastruktura datových úložišť (http://du.cesnet.cz/)

3 lokality – Plzeň, Brno, Jihlava Umístěno v budově D, instalováno duben 2013 Datové úložiště s hierarchickým modelem (typu HSM – Hierarchical Storage

Management) spočívá v tom, že méně často používaná data jsou odsouvána

na levnější média s vyšší kapacitou, většinou pásky. TIER1 – IBM DCS3700, 342 ks 3TiB SAS disků (čistá kapacita 804 TiB) TIER2 – PROMISE 748 ks 4TiB disků, (čistá kapacita 2 496 TiB) Pásková knihovna IBM TS3500 ( čistá kapacita 3 744 TiB)

Martin Procházka12

Spolupráce s akademickým sektorem

Projekt CERIT-SC (http://www.cerit-sc.cz )

2 lokality – Brno, Jihlava (2x cluster) Centrum CERIT-SC (CERIT Scientific Cloud) je národním centrem poskytujícím flexibilní úložné a výpočetní kapacity a související služby, včetně podpory jejich exprimentálního využití zapat.cerit-sc.cz – (1792 CPU),112 uzlů

2x 8-core Intel E5-2670 2.6GHz

128 GB RAM

2x 600 GB 15k

Lokalita Jihlava

1x Infiniband 40 Gbit/s, 2x Ethernet 1 Gbit/s

zigur.cerit-sc.cz - (256 CPU) obsahuje 32 uzlů 2x 4-core Intel E5-2643 3.3GHz

128 GB RAM

2x 600 GB 15k

lokalita Jihlava

1x Infiniband 40 Gbit/s, 2x Ethernet 1 Gbit/s

Martin Procházka13

Spolupráce s akademickým sektorem

Využití pro KrUUmístění repository pro zálohovací SW VEEAM Backup & RecoverySvazek z DU mountován na Ubuntu server 12.04 přes NFSv4Problém s rezervacemi přes NFS V budoucnu náhrada páskové knihovnyNyní kapacita 43TBMigrační politika tape_tape (2 kopie na páskách)Nyní provoz přes internet, v budoucnu privátní kanál

Martin Procházka14

TCK ve fázi těsně před dokončením...

http://www.rowanet.cz/tck