Dušan Chlapek1
Jan Kučera1
Martin Nečaský2
Principy
a technologie
otevřených dat a
jejich využití v
managementu
1Fakulta informatiky a statistiky,Vysoká škola ekonomická v Praze
2Matematicko-fyzikální fakulta,Univerzita Karlova v Praze
Řízení informatiky v soukroméma veřejném sektoru,
22.1. – 23.1.2015, Praha
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
1. Představení týmu FIS VŠE a MFF UK1. Představení týmu FIS VŠE a MFF UK� Výzkumné EU projekty
� LOD2, COMSODE, Share-PSI 2.0
� Národní výzkumné projekty TAČR
� Otevřená propojitelná data v oblasti veřejných rozpočtů (pro MF ČR)
� Publikace dat statistických ročenek ve standardu otevřených dat (pro ČSSZ)� Spolupráce s veřejnou správou
� koncepce katalogizace otevřených dat (pro Úřad vlády ČR, ve spolupráci s MV ČR)
� spolupráce s MV na propagaci, katalogizaci a legislativních úpravách otevřených dat
� spolupráce s úřady na otevírání jejich dat (ČTÚ, NKÚ, ČOI, MP SV)
� Fórum pro otevřená data
� Společná iniciativa Fakulty informatiky a statistiky VŠE, Matematicko-fyzikální fakulty UK a Fondu Otakara Motejla
� otevrenadata.cz (Fond Otakara Motejla)
� propagace myšlenky otevřených dat, soutěže o nejlepší aplikaci nad otevřenými daty,
� podpora vybraných měst a úřadů při publikaci otevřených dat
� OpenData.cz
� akademická iniciativa propagující myšlenky propojitelných dat (Linked Data)
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
2
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
1. Cíle prezentace1. Cíle prezentace
• Hlavními cíli prezentace jsou1. Představit správu dat jako součást podnikové
architektury2. Seznámit s hlavními oblastmi správy dat a
životním cyklem dat3. Vysvětlit pojem otevřená a propojitelná 4. Ukázat výsledky z realizovaných projektů5. Připomenout přínosy a rizika otevřených
a propojitelných dat
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
3
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Architektura v podnikové informaticeArchitektura v podnikové informatice
• Architektura (dle ISO/IEC 42010:2007)fundamentální uspořádání systému, které tvoří komponenty a vztahy mezi nimi, včetně vztahu k prostředí, a principy, které řídí jeho návrh a rozvoj (ISO/IEC, 2007)
• Architektura v podnikové informatice (Enterprise Architecture, EA)je přístup, koncept, prostředek a nástroj, kterým vyjadřujeme fundamentální uspořádání vztahu mezi byznysem a jeho informačním systémem, které vede k naplnění mise organizace, přičemž respektuje okolní prostředí a konzistentně dodržuje formulované principy návrhu a rozvoje systému (Voříšek a kol., 2008)• Pozn.: dále bude také používán pojem „Podniková architektura“
• Datová architekturapopisuje strukturu datové základny organizace. Datová architektura popisuje jednotlivé datové sady, datové zdroje, vazby mezi nimi a vazby na další relevantní prvky podnikové architektury (Enterprise Architecture)
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
4
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Australian Government ArchitectureAustralian Government Architecture
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
5
Zdroj: (Australian Government Information Management Office. Australian Government Architecture Reference Models. Version 3.0. In: Australian Government. [Online] August 2011 [Citace: 29. září 2014.] http://www.finance.gov.au/sites/default/files/AGA-RM-Final-v3.0-July-2013.pdf.)
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Správa datSpráva dat
• Jedna z domén řízení informatiky• Anglicky Data Management, používají se i pojmy (Enterprise) Information
Management, Enterprise Data Management, Information Asset/Resource Management apod.
• Data Management 2
představuje plánování a provádění politik, praktik a projektů pořízení, kontroly, ochrany, dodávky a zvyšování hodnoty dat a informačních aktiv
• Information management 1
představuje prostředky pomocí kterých organizace zajišťuje plánování, identifikaci, vytvoření, získání, sběr, organizování, řízení (governance), zabezpečení, použití, sledování, distribuci, výměnu, údržbu, uchování a vyřazení informací jakož i prostředky, kterými zajišťuje, že hodnota informací je rozpoznána a maximálně využita
� Otevřená data jsou nedílnou součástí datové architektury příslušného subjektu.
� Správa dat musí být vykonávána na „uzavřených“ i otevřených datech.
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
6
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Cíle správné a efektivní správy datCíle správné a efektivní správy dat• Hlavním cílem je zajistit, že data, resp. informace jsou k dispozici1
• tomu, kdo je potřebuje,• v podobě či formátu, v jakém je potřebuje a• v okamžiku, kdy je potřebuje.
• K naplnění cíle je třeba zejména realizovat následující dílčí cíle2
1. Definovat informační potřeby organizace a jednotlivých zainteresovaných stran2. Pořizovat, shromažďovat, ukládat, chránit a zajišťovat integritu datových zdrojů3. Průběžně zajišťovat a zvyšovat kvalitu dat4. Zajišťovat důvěrnost a ochranu datových zdrojů5. Zajišťovat efektivní využívání dat a informací6. Řídit náklady správy dat7. Propagovat princip, že data představují pro organizaci cenné aktivum8. Zajistit, že jsou data řízena konzistentně napříč celou organizací9. Zajistit soulad mezi řízením dat, používanými technologiemi a potřebami organizace
(byznysu)
1 Upraveno dle: (Queensland Government Information Management Policy Framework Definitions. In: Queenslad Government. [Online] December 2009 [Citace: 29. září 2014.] https://www.qgcio.qld.gov.au/images/documents/QGEA_documents/QGEA/Information%20Management%20Policy%20Framework.doc.)
2 Upraveno dle: (Mosley, Mark, a kol. 2010. The DAMA Guide to the Data Management Body of Knowledge. Technics Publications, LLC, 2010. str. 406. ISBN 978-1-9355040-2-3)
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
7
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Oblasti správy datOblasti správy dat
1. Strategické řízení 2. Analýza a návrh datové architektury3. Pořizování, provoz a údržba dat, poskytování dat,
skartace dat4. Řízení nákladů a přínosů dat5. Řízení bezpečnosti dat6. Řízení kvality dat7. Řízení metadat8. Řízení referenčních dat a master dat
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
8
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Životní cyklus dat dle DAMA-DMBOKŽivotní cyklus dat dle DAMA-DMBOK
Skartace (Purge)
Archivace a obnova (Archive & Retrieve)
Použití a údržba (Maintain & Use)
Tvorba a pořízení (Create & Acquire)
Vytváření předpokladů (Enable)
Specifikace (Specify)
Plánování (Plan)
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
9
Zdroj: (Mosley, Mark, a kol. 2010. The DAMA Guide to the Data Management Body of Knowledge. Technics Publications, LLC, 2010. str. 406. ISBN 978-1-9355040-2-3)
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
2. Co jsou otevřená data?2. Co jsou otevřená data?
• Data zveřejněná na Internetu, která jsou• úplná,• snadno dostupná,• strojově čitelná,• používající standardy s volně dostupnou specifikací,• zpřístupněna za jasně definovaných podmínek užití dat s
minimem omezení,• dostupná uživatelům při vynaložení minima možných nákladů.
• Požadavky na podmínky užití otevřených dat:• Neomezují jejich uživatele ve způsobu použití dat.• Opravňují uživatele k jejich dalšímu šíření.• Musí být uveden autor dat (i při dalším šíření).• Při dalším šíření musí i ostatní uživatelé mít stejná oprávnění s daty
nakládat - během šíření dat nesmí dojít např. k omezení jejich využití pouze pro nekomerční účely.
10D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
11
2. Otevřená data – Stupně otevřenosti2. Otevřená data – Stupně otevřenosti
Zdroj: HAUSENBLAS, Michael. 5 star Open Data.Dostupné z: http://5stardata.info/
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Dostupnost dat na současném webuDostupnost dat na současném webu
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
12
Jak nalézt odpovědi na následující otázky?
• Kontroly provedené v okrese Semily u subjektů provozující obor činnosti „Pronájem a půjčování věcí movitých“
• Kontroly provedené v rámci agendy „Odpadové hospodářství“
• Počty kontrol a objemy pokut v okresech přepočtené na 1000 obyvatel
http://www.eagri.cz
Kontroly SVS
Kontroly ČIZP
http://www.cizp.czhttp://www.potravinynapranyri.cz/
Kontroly SŽPI
Kontroly ČOI
http://www.coi.cz
Regionální statistiky ČSÚ
http://www.czso.cz
RÚIAN
http://www.cuzk.cz
ARES
http://www.mfcr.cz
Sbírka zákonů
http://portal.gov.cz http://www.szrcr.cz
RPP
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Propojitelná data – cílePropojitelná data – cíle
• Cílem propojitelných dat (angl. Linked Data) je vytvořit ekosystém webových služeb (aplikací), které publikují, obohacují a využívají data o entitách v jednom globálním sdíleném datovém prostoru (tzv. Web dat).
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
13
Sdílený globální prostor dat na Webu
(Web of Data)
Služba 1
Služba 2
Služba 3
Služba 4
Služba 5
Služba 4
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka našich výstupů: Propojené datové sadyUkázka našich výstupů: Propojené datové sady
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
14
Rejstříky ARES
Výzkumné projekty
Veřejné zakázky
Orgány veřejné moci
Agendy OVM
Úplná znění zákonů
Soudní rozhodnutí
ČOIkontroly
RÚIANadresy ČSÚ
statistiky
MFČR Výkazy
ČSÚvolby
SÚKLléčiva
MZČRCeny léčiv
RÚIANbudovy
RÚIANkatastr
Výsledky VaVaI
NUTSa LAU
RÚIANregiony
SoudyČR
ČSÚpol. strany
SDMX
ČSSZstatistiky
Registr smluv
MŽPOvzduší
MFČR Číselníky
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka výstupu z projektu COMSODE:Open Data NodeUkázka výstupu z projektu COMSODE:Open Data Node
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
15
Externí datové katalogy
Interní datový katalog
ODN
ETL nástroj
Transformace
Čištění
PropojováníObohacování
Aktualizace
metadata
interní a/nebo externí (propojitelná) data
(propojitelná)data
Interní úložiště
Rozhraní otevřených dat
Konektory na datové katalogy
Export do datových souborů
REST API / SPARQL EndpointVývojáři aplikací / datoví analytici
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka výstupu z projektu COMSODE:Methodology for publishing datasets as open dataUkázka výstupu z projektu COMSODE:Methodology for publishing datasets as open data
• Dokumenty tvořící metodiku• Hlavní dokument metodiky• Dokumentace praktik• Řídící tabulka
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
16
• Metodika popisuje• Fáze publikace otevřených dat a jejich úlohy• Průřezové aktivity a jejich úlohy• Artefakty (vstupy a výstupy úloh)• Role a jejich zodpovědnosti• Praktiky pro jednotlivé úlohy
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka výstupu z projektu TAČRZákladní údaje a cíle projektuUkázka výstupu z projektu TAČRZákladní údaje a cíle projektu
• Projekt „TD020121 Publikace dat statistických ročenek ve standardu otevřených dat“
• Projekt financován Technologickou agenturou ČR (TAČR)• Realizace projektu probíhá v období 01/2014 až 06/2015• Na projektu spolupracuje:
• Fakulta informatiky a statistiky Vysoké školy ekonomické v Praze,
• KOMIX s.r.o. • Česká správa sociálního zabezpečení
• Hlavní cíle projektu:• vytvořit metodiku a typovou architekturu pro publikaci statistických dat
ve formátu otevřených propojitelných dat (Linked Open Data),• tyto ověřit na pilotní publikaci dat Důchodové statistiky,• a vybudovat nad těmito daty pilotní aplikaci pro zpřístupnění a
prezentaci těchto dat.
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
17
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka výstupu z projektu TAČRZpřístupnění dat statistických ročenek ČSSZUkázka výstupu z projektu TAČRZpřístupnění dat statistických ročenek ČSSZ
• 5* data ČSSZ jsou dostupná přes webovou službu s URL http://opendata.vse.cz:8890/sparql• 5* data = data reprezentovaná v RDF napojená na další zdroje
RDF dat v prostředí webu• Webová služba umožňuje dotazování nad daty pomocí
dotazovacího jazyka SPARQL• Nad daty možno realizovat dotazy pomocí dotazovacího jazyka
SPARQL. Současně je možné tato data propojovat s daty jiných organizací, např. převedenými daty ČSÚ.
• Pilotní webová prezentační aplikace je k dispozici na adrese• https://opendata.vse.cz/duchodova-statistika/
Upozornění: Aplikace je spustitelná pouze v aktuálních verzích webových prohlížečů Firefox, Google Chrome, Internet Explorer (od verze 9).
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
18
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka výstupu z projektu TAČR Úvodní obrazovka pilotní webové aplikaceUkázka výstupu z projektu TAČR Úvodní obrazovka pilotní webové aplikace
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
19
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka předpřipravené vizualizace dat ve webové prezentační aplikaciUkázka předpřipravené vizualizace dat ve webové prezentační aplikaci
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
20
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Ukázka předpřipravené vizualizace dat ve webové prezentační aplikaciUkázka předpřipravené vizualizace dat ve webové prezentační aplikaci
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
21
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Přínosy otevřených datPřínosy otevřených dat
• (P1) posílení transparentnosti,• (P2) podpora ekonomického
růstu,• (P3) zlepšení služeb veřejné
správy,• (P4) podpora opětovného použití
dat,• (P5) zlepšení vnímání veřejné
správy veřejností,• (P6) zlepšení procesů a dat
veřejné správy,• (P7) zamezení chyb vzniklých při
práci s daty
• (P8) snížení počtu dotazů dle zák. č. 106/1999 Sb.
• (P9) pořádek ve vlastních datech• (P10) možnost transparentně
informovat veřejnost o subjektech, které neplní své zákonné povinnosti
• (P11) zvýšení hodnoty dat• (P12) budování dobrého jména
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
22
Řízení informatiky v soukromém a veřejném sektoru,
22. – 23.1.2015, Praha
Rizika otevřených datRizika otevřených dat
• (R1) Zveřejnění dat v rozporu se zákonem• (R2) Riziko porušení ochrany obchodního tajemství• (R3) Riziko porušení ochrany osobních údajů• (R4) Zveřejnění nevhodných dat či informací• (R5) Dezinterpretace dat• (R6) Absence konzumentů dat• (R7) Překrývání dat
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
23