Online služba Georeferencer / Vyhledávání pomocí MapRank

transcript

Digitalizace mapových sbírek a archivů IIPraha, 4. listopadu 2011

ONLINE SLUŽBA

GEOREFERENCER

Projekt TEMAP (NAKI) s partnery UK a MU

VÝHLEDÁVÁNÍPOMOCÍ MAPRANK

KLOKAN TECHNOLOGIES - Museo Sans 500

KLOKAN TECHNOLOGIES - Museo Sans 500 ItalicKLOKAN TECHNOLOGIES - Museo Sans 700

KLOKAN TECHNOLOGIES - Museo 300

KLOKAN TECHNOLOGIES - Museo 500KLOKAN TECHNOLOGIES - Museo 700

CMYK100 75 10 0

RGB0 81 151

#005096

Old Maps Online

Petr Přidal

Publikování map krok za krokem + open-source software.

http://help.oldmapsonline.org/

Staré mapy online2008-2011

HTTP://HELP.OLDMAPSONLINE.ORG/

Slideshare.net:

OPENLAYERS, ZOOMIFY, MOOVIEWER, OPENZOOMTILES PREGENERATED OR SERVED BY IIPIMAGE

034: $$dE0123600$$eE0273600$$fN0500000$$gN0400000 255: $$c[(012˚36’00" v.d.--027˚36’00" v.d./050˚00’00" s.š.--040˚00’00" s.š.)].

MARC: field 034

DC.Coverage: name=Western Australia; northlimit=-13.5; southlimit=-35.5; westlimit=112.5; eastlimit=129

DublinCore: DCMI Box

ISO 19115 / FGDC

SOUŘADNICE V METADATECH

VÝSTUPY PROJEKTU:

ONLINE SLUŽBY PRO ČESKÉ KNIHOVNY:BOUNDING BOX + GEOREFERENCER

MAPRANKSEARCH

OPEN-SOURCE SOFTWARE

METODIKA PRO PUBLIKOVANÍ NASKENOVANÝCH MAP V ČEŠTINĚ

(PUBLIKACE DO KONCE TOHOTO ROKU)

MEZINÁRODNÍ DOPAD:

OPEN-SOURCE SOFTWARE:IIPIMAGE (JPEG2000, WATERMARK)

MAPTILER, GDAL2TILESOPENLAYERS, ...

MEZINÁRODNÍ SPOLUPRÁCE

SOFTWARE ZDARMA A KOMPONENTY POUŽÍVANÉ DNES V RŮZNÝCH PROJEKTECH PO

CELÉM SVĚTĚ

• Publikovaní skenů online:

• Dynamické image servery (přímo z JPEG2000 nebo TIFF) zdarma!

• Náš “IIPImage JPEG2000” s podporou Zoomify + DeepZoom + Watermarking + MemCached

• Předrenderované dlaždice, rýchlé a jednoduché:

• Náš “OpenTiler” - dlaždičkovací aplikace pro generování dlaždic i s watermarkem (http://goo.gl/2EXbV)

• “OpenLayers Zoomify” - open source JavaScript (nejen) prohlížečka

• Publikování georeferencovaných map (pro GIS):

• WMS: zdarma MapServer, GeoServer,

• “MapTiler” desktopová aplikace pro vygenerování dlaždic

• “GDAL2Tiles” generování dlaždic

OPEN SOURCE SOFTWARE:

JPEG2000

MapTiler

MAPY.MZK.CZ

WWW.MAPRANKSEARCH.CZ

WWW.GEOREFERENCER.ORG

HELP.OLDMAPSONLINE.ORG

Petr Přidal <petr.pridal@mzk.cz>

Petr Přidalpetr.pridal@mzk.cz

ONLINE SLUŽBA

GEOREFERENCER

Movarská zemská knihovna: Projekt TEMAP (NAKI) s partnery UK a MU

Velké kolekce starých map jsou skenovány a publikovány v digitálních repositářích na webu. Ale...

... v momentě kdy jsou georeferencované, jsou mnohem atraktivnější a použitelnější: vizualizace, výzkum, porovnávaní, kontext místa, anotace, geografické hledaní...

ÚVODNÍ SLOVO

MAPY NEJSOU POUZE OBRÁZKY!

• Georeferencování je časově náročný proces

• Naskenované mapové kolekce jsou příliš velké (tisíce map)

• Archiválie musí zůstat archiválií. Georeferencovaná kopie jako alternativa.

• Existuje více přístupů ke georeferenci starých map, není jen jeden spravný postup - především pro mapy před rokem 1850 - vedle výsledku je nezbytné znát i postup “jak” byla georeference vytvořena

• Diskový prostor: georeferencovaná kopie vedle originálního skenu

• Znalost GISu je nezbtná

• Pracovníci musí mít přístup k velkým souborům (JPEG/TIFF/...)

PROBLÉMY

GEOREFERENCER JAKO ŘEŠENÍ

• Uživatelsky-jednoduchý online nástroj: ve webovém prohlížeči

• Stačí přístoupit na web, přihlásit se a začít

• Jednoduchý a relativně zábavný proces

• Otevřený pro online návštěvníky, organizované skupiny dobrovolníků, crowdsourcing

• GIS software není nezbytný, žádné soubory na lokálním disku

• Výstupy pro GIS - vytvoření GeoTIFFu/GeoJP2 je možné pokud má človek přístup k původním obrazům ve vysokém rozlišení

• Vytvořeno v knihovně - pro knihovny a ostatní paměťové instutuce

GEOREFERENCER: OD SCANU K MAPĚ.

• Rozšíření metadat (MARC, DC, ISO 19139)

• Zapojení návštěvníků

• Atraktivní 3D vizalizace (Google Earth)

• GIS služby (WMS, WMTS/TMS, ...) možné

• Statistiky & vždy link na originální web instituce

MOTIVACE PRO GEOREFERENCER

INSTITUCE: JEDNOTLIVCI:

• Georeferencování jakéhokoliv online obrazu na Internetu

• Kombinování map ruzných institucí

• Vytvoření vlastních virtuálních mapových kolekcí

• Online výzkum, porovnávání, analýza, sdílení, ...

PILOTNÍ APLIKACE

• Moravská zemská knihovna, CZ (studenti)

• Nationaal Archief, Netherlands (organizovaní dobrovolníci)

• National Library of Scotland (online návštěvníci, kdokoliv)

PRVNÍ FUNKČNÍ PROTOTYP SLUŽBY:HTTP://WWW.GEOREFERENCER.ORG/

PRVNÍ INTEGRACE S KOLEKCÍ:HTTP://MAPY.MZK.CZ/

Pilot: Nationaal Archief. 13 dobrovolníků. Výborný ohlas!

GEOREFERENCER PILOTY

GEOREFERENCER PILOTYVýsledek: 650 map georeferencovaných v jednom měsíci!

Hledání. Vizualizace. Rozšíření metadat.

Crowdsourcing: Starší dobrovolníci. Výborná znalost lokality. Soutěživost & veřejný výtěz.

Kdokoliv může spolupracovat...http://mapy.mzk.cz/

http://geo.nls.uk/maps/georeferencer/

České knihovny jsou pozvány ke spolupráci...

Stačí vystavit mapy (např. Zoomify, nebo jinak) na vlastním webu a připravit metadata pro pilot.

Proces automatizujeme - možná přímá integrace s vaším webem bude možná během příštího roku.

• Škálovatelná architektura. Centralizovaná služba pro všechny knihovny a jejich mapy. Služba je aktualizovaná “za chodu”. SAAS.

• Funguje “v cloudu” - Google AppEngine.

• Serverové zpracování. OpenSource GIS stack (Proj4, GDAL, MapSever). Closure Library na klientovi.

UNIKÁTNÍ TECHNOLOGIE

MINIMÁLNÍ ÚSILÍ PRO SPOLUPRACOVÁNÍ.SCANY JSOU POUŽITÉ PŘÍMO Z EXISTUJÍCÍCH ONLINE

REPOSITÁŘŮ!

PLANY DO BUDOUCNA...

(PROJEKT TEMAP)

SPATIAL REFERENCE SYSTEMS

Coordinate systems with map projection, for example OSGB or S-JTSK and in general any reference system

from EPSG database usable in Georeferencer

IMPROVED BASE MAPSOut-of-copyright base maps, agreements with local

authorities for using official mapping data (WMS).Fast and visually appealing version of OpenStreetMap as

an alternative - probably from MapQuest. OpenAerialMap.

HIGH QUALITY GEOCODING

Fast and reliable search in gazeteer database based on OpenStreetMap or GeoNames.org data.

Online service, without license restrictions of Google GeoCoding API - usable both in GeoReferencer a

GeoParser services.

API FOR DATA INTERCHANGEAND 3RD PARTY FUNCTIONALITY

REST API based on JSON for exchange of data between Georeferencer and third-party applications.

JavaScript API for easy integration into library websites.

COLLABORATIVE EDITING

Technical solution of the problem of concurent team editing of map georeference by serveral people in the

same moment - locking and communication a la online chat in a web browser (via HTTP Comet)

Social aspects:Motivation. Team. Competition. Guiding. Rewarding.

CROWDSOURCING

Research and development of algorithms and

application for raster image analysis.

Target: detection of scans of the same map (via

“image hash”) and following automatical assignment of ground

control points.

DUPLICATES + AUTOGEOREFERENCING

Automatic detection of map sheet borders based on the image analysis algorithms

NEATLINE DETECTION

Database of Czech map series with GIS-ready map indexes.

Integration with Georeferencer: georeferencing with the help of existing map

indexes.

Authorities for cataloguing of map series.

Maybe a new project:OpenMapIndexes.org

GEOREFERENCING OF MAP SERIES

WEBGL EARTH

Google Earth-like visualization of georeferenced maps in a web browser or on mobile devices.

100% open-source, no license restrictions, runs without a need to install any extra software. Under development.

http://www.webglearth.com/

CMYK100 75 10 0

RGB0 81 151

#005096

CMYK100 75 10 0

RGB0 81 151

#005096

Petr Přidalpetr.pridal@klokantech.com

VÝHLEDÁVÁNÍ POMOCÍ MAPRANK

CMYK100 75 10 0

RGB0 81 151

#005096

• Research, scientific articles, work on Ph.D. thesis (Petr Přidal), Computer Science + Geodesy and Cartography

• Alternative projects tested in OldMapsOnline.org (R&D project in MZK):

• Lucene with GeoTemporal Ext. (LGTE) from DigMap.eu

• Alexandria Digital Library

• TimeMap.net (ECAI.org)

• Google GeoSearch API

• Knowledge of traditional GIS search methods (PostGIS, ...)

GEOGRAPHICAL SEARCHING

CMYK100 75 10 0

RGB0 81 151

#005096

Result: Development of a new geographical search engine for map collections.

Explore library catalog by browsing a map.

• Map-driven interface: Simple. Intuitive. Web 2.0. Users love it!

• Combined queries: Where, When, Who & What

• Results sorted geographically with an advanced spatial ranking algorithm.

• Instant search. Immediate delivery of the results by moving the map or typing.

• It is fast. Even for large databases (million+ records).

CORE FEATURES

CMYK100 75 10 0

RGB0 81 151

#005096

Try it at: http://demo.mapranksearch.com/

Try it at: http://rumsey.mapranksearch.com/

Try it at: http://mapy.mzk.cz/

TOUCH INTERFACE

CMYK100 75 10 0

RGB0 81 151

#005096

• Indexing metadata in MARC, DublinCore, ISO 19139 formats, ...

• Batch import or harvesting: OAI-PMH or OGC CWS

• Numerical geographical boundaries necessary! (MARC 034, DublinCore DCMI) - enrichment with Geoparser or Georeferencer tools

• Possible customization of the user interface, integration into products or websites

• For developers: REST API (JSON format), queries following OpenSearch.org

METADATA & CUSTOMIZATION

CMYK100 75 10 0

RGB0 81 151

#005096

• MapRank ranking: an advanced algorithm calculating similarity of geographical area of query and area covered by every document and combining it with map scale, time range, predefined categories and traditional full text search.

• Data indexing implemented specifically to provide ranked real-time results even for large databases. Traditional R-Tree indexing or Lucene are failing.

• Server component: FastCGI, C++

• Default user interface developed with Closure JavaScript Library + Closure Compiler.

MAPRANK RANKING & SCALABILITY

CMYK100 75 10 0

RGB0 81 151

#005096

Projekt aplikace této unikátní technologie pro hledání map v knihovním katalogu.

http://www.mapranksearch.cz/

Indexovány všechny mapy v Souborném katalogu ČR - napříč institucemi.

Česká republika:

DĚKUJI ZA POZORNOST...

Online služba Georeferencer / Vyhledávání pomocí MapRank

Documents