Testy škálovatelnosti FETI metody na HPCx

Testování škálovatelnosti metody FETI nasuperpocítaci HPCx

Jaroslav Brož, Jaroslav Kruis

Katedra mechanikyFakulta stavební

Ceské vysoké ucení technické v Praze

JUNIORSTAV 20094. únor 2009

Fakulta stavební, Vysoké ucení technické v Brne

Testy škálovatelnosti FETI metody na HPCx

Obsah prezentace

1 Motivace použití metod doménové dekompozice

2 Metoda FETI

3 Škálovatelnost

4 Použitý hardware pro testy škálovatelnosti

5 Numerické testy

6 Záver

7 Podekování

Testy škálovatelnosti FETI metody na HPCx

Motivace použití metod doménové dekompozice

Motivace použití metod doménové dekompozice

Velké nároky na výpocetní výkonPoužívání hustých sítí v metode MKPSložité materiálové modelyNárocné numerické simulace

Testy škálovatelnosti FETI metody na HPCx

Metoda FETI

Úvod do metody FETI

FETI method - Finite Element Tearing and InterconnectingmethodUvedena Farhatem a Rouxem v roce 1991 v clánkuA Method of Finite Element Tearing and Interconnectingand its Parallel Solution Algorithm publikovaném vInternational Journal for Numerical Methods in EngineeringVol. 32Patrí do skupiny metod doménové dekompozice bezprekryvu

Testy škálovatelnosti FETI metody na HPCx

Metoda FETI

Úvod do metody FETI

Vychází z delení domény na nekolik podoblastí −→ redukcena hrubý problémSpojitost mezi podoblastmi zajišt’uje zavedeníLagrangeových multiplikátoruPro rešení hrubého problému je využita modifikovanámetoda sdružených gradientu

Testy škálovatelnosti FETI metody na HPCx

Škálovatelnost

Škalovatelnost

A. Toselli, O. Widlund: Domain Decomposition Methods –Algorithms and Theory. Springer Verlag, Berlin, 2005.

Škálovatelnost - metoda doménové dekompozice ješkálovatelná pokud s rostoucím poctem domén neroste pocetiterací.

κ = O(

1 + log(

Hh

))m

m ≤ 3

Numerická škálovatelnostParalelní škálovatelnost

Testy škálovatelnosti FETI metody na HPCx

Škálovatelnost

Princip testu škálovatelnosti

Volba velikosti síte na jedné podoblastiVolba smeru zvyšování poctu podoblastíV prubehu testu zvyšování poctu podoblastí

Testy škálovatelnosti FETI metody na HPCx

Použitý hardware pro testy škálovatelnosti

Použitý hardware pro testy škálovatelnosti

Homogenní cluster NESS - EPCC (Edinburgh ParallelComputing Centre) University of Edinburgh, Edinburgh,Scotland, UKSuperpocítac HPCx - EPCC University of Edinburgh,Edinburgh, Scotland, UKHeterogenní cluster Perun - Katerda mechaniky, Fakultastavební, CVUT v Praze

Testy škálovatelnosti FETI metody na HPCx

Použitý hardware pro testy škálovatelnosti

Homogenní cluster NESS

Procesor: 2.6 GHz AMD Opteron (AMD64e) s 2 GB RAMpametíFront-end: 2 procesoryBack-end: 32 procesoru (rozdelený do dvou 16procesorových boxu)Správa uživatelských výpoctu - batch systém SGEhttp://www2.epcc.ed.ac.uk/∼ness/documentation/ness/

Testy škálovatelnosti FETI metody na HPCx

Použitý hardware pro testy škálovatelnosti

Superpocítac HPCx

Rozsáhlý cluster IBM SMP uzlu2560 procesoru IBM POWER 5Výkon 15,35 TeraFlop/s ve špicce a nebo nejméne 12,94TeraFlop/s dlouhodobe5,12 TB pameti, 72 TB diskového prostoru a tape store ovelikosti 50 TBSpráva uživatelských výpoctu - batch systém LoadLevelerhttp://www.hpcx.ac.uk/

Testy škálovatelnosti FETI metody na HPCx

Použitý hardware pro testy škálovatelnosti

Heterogenní cluster Perun

27 pocítacu ve svazku9 pocítacu s dvoujádrovým procesorem o frekvenci 3,28GHz a 3 GB RAM14 pocítacu s dvoujádrovým procesorem o frekvenci 3,4GHz a 3,54 GB RAM4 pocítace s procesorem o frekvenci 2,4 GHz a 3 GB RAMSpráva uživatelských výpoctu - prímý prístup k jednotlivýmpocítacumhttp://cml.fsv.cvut.cz/?q=node/5

Testy škálovatelnosti FETI metody na HPCx

Numerické testy

Numerické testy

Testy škálovatelnosti v rovine (2D) - cluster Ness a clusterPerunTesty škálovatelnosti v prostoru (3D) - cluster Ness asuperpocítac HPCx

Testy škálovatelnosti FETI metody na HPCx

Numerické testy

Testy škálovatelnosti ve 2D

Ctvercová oblastNa jedné podoblasti 50x50 konecných prvkuCtyrúhelníkové konecné prvky s dvema stupni volnosti vjednom uzluDelení jak v jednom, tak ve dvou smerechv max. hodnote y-ových souradnic uzlové zatíženíV nulových y-ových souradnicích predepsányDirichletovské okrajové podmínkyLineární eleasticita a rovinná napjatost

Testy škálovatelnosti FETI metody na HPCx

Numerické testy

Testy škálovatelnosti ve 2D - pocet iterací v hrubémproblému

Testy škálovatelnosti FETI metody na HPCx

Numerické testy

Testy škálovatelnosti ve 3D

Krychlová oblastNa jedné podoblasti 25x25x25 konecných prvkuŠestistenné prvky s tremi stupni volnosti v uzluV max. hodnote y-ových souradnic uzlové zatíženíV nulových y-ových souradnicích predepsányDirichletovské okrajové podmínkyLineární eleasticita

Testy škálovatelnosti FETI metody na HPCx

Numerické testy

Testy škálovatelnosti ve 3D - pocet iterací v hrubémproblému

Testy škálovatelnosti FETI metody na HPCx

Numerické testy

Testy škálovatelnosti ve 3D - cas rešení hrubéhoproblému

Testy škálovatelnosti FETI metody na HPCx

Záver

Záver

Srovnatelné výsledky testu jak pro cluster Ness, clusterPerun, tak i pro superpocítac HPCxOptimální implementace v programu SIFELNárust poctu iterací vzhledem k nárustu poctu podoblastípro nepredpodmínenou metodu je mírný a má tendenci seustálit

Testy škálovatelnosti FETI metody na HPCx

Podekování

Podekování

Dekuji Vám za Vaši pozornost a teším se na Vaše dotazy vnásledující diskuzi.

Tato práce vznikla v rámci projektu HPC-EUROPA++ (císloprojektu 211437), s podporou European Community -

Research Infrastructure Action FP7 “Coordination and supportaction” Programme a na základe financní podpory grantu GA

CR 103/09/H078.