Foto API a rozšířená realitana Windows Phone

Tomáš Slavíček@tomasslavicek

Agenda

možnosti foto API na WP

integrace do telefonu, Lens app

živý stream a filtry

další cool API :)detekce obličejů

čtení QR kódů

„Nokia City Lens“

augmented reality

Windows Phone

mladá platforma

Nokia – důraz na focení

1.

Windows Phone

prodeje mezi smartphony: ČR 14%(EU 9%, USA 3,2%)

Windows Phone

využívání internetu… (vč. Symbianu)zdroj: O2, T-mobile

Windows Phone

cca 70% už jsou Win Phone 8

Aplikace

velké možnosti foto API

Integrace do systému

možnost odkazů, provázání…

Aplikace pro WP

Moje aplikace

Photogotchi …ukázka

Camera Capture Task

spustí systémové UI

pak vrátí fotku do aplikace

…ukázka 1

Vlastní UI fotoaparátu?

PhotoCamera

PhotoCaptureDevice (WP8)

Nokia Image SDK (WP8)

…ukázka 2pozor na ID_CAP_ISV_CAMERA

PhotoCamera

čtení dat z fotoaparátu

do Image, nebo raw data

ovládání parametrů

přední / zadní kamera

zaostření na bod

hardwarové tlačítko

volba rozlišení, získání thumbnailu

PhotoCamera

eventy

bylo zaostřeno…

byla pořízená fotka…

ukázka 2.1: Basic Camera Samplehttp://code.msdn.microsoft.com/wpapps/Basic-Camera-Sample-52dae359

PhotoCaptureDevice

rozšířené API pro WP8

nastavení

vyvážení bílé

ISO, čas expozice

makro

přisvětlovací dioda…

PhotoCaptureDevice

další výhodyrozlišení pro čtení z raw bufferu

dávkové focení

zpracování obřích fotek

Nokia Camera Explorerhttp://projects.developer.nokia.com/cameraexplorer

Nokia Imaging SDK

50 real-time filtrů

nastavení úrovně / hue / saturace (u některých)

lze kombinovat dohromady

nejde přidávat vlastní

úpravy

crop, resize, rotate, mask

undo

Nokia Imaging SDK

psané v C++, velmi rychlélze použít ze C#

využívá částečné dekódování JPG

Nokia Imaging SDK

Filter Effects, Filter Explorer, Real-time Filter demo

Nokia Imaging SDK

Photo Inspectorzpracování velkých fotek

http://developer.nokia.com/forms/imaging_sdk_download.xhtml

http://developer.nokia.com/Resources/Library/Lumia/#!nokia-imaging-sdk/sample-projects.html

Nokia Imaging SDK

ukázka 5: Aplikace filtrůhttp://developer.nokia.com/Community/Wiki/Using_Nokia_Imaging_SDK_Create_Cartoon_Photo

„Cartoon me app“ via Nokia Wiki (highcedar)

Integrace do telefonu

odkaz ve Photos hubu

2.

Integrace do telefonu

odkaz ve Photos hubu

WMAppManifest.xml

Integrace do telefonu

rozšíření detailu fotky

(WP7)

Integrace do telefonu

share, edit…do aplikace se předá launch URI

Lens app

opět odkaz na aplikaci (přímo z fotoaparátu)

Pomocné třídy pro WP8

MediaViewer

ThumbnailedImageViewer

viz BasicLensSamplehttp://code.msdn.microsoft.com/wpapps/Basic-Lens-sample-359fda1b

Živý stream z kamery

chceme přímo raw data + aplikovat filtry

3.

Živý stream z kamery

camera.GetPreviewBufferArgb32

camera.GetPreviewBufferYCbCr

rychlejší získání dat

konvertujeme jen vybrané pixely

Real-time camera effects on WP7 and WP8http://developer.nokia.com/Community/Wiki/Real-time_camera_effects_on_Windows_Phone_7_and_8

8-bit efekt

využití XNA / MonoGame

každý pixel = bitmapa

využíváme výkon GPU …ukázka

8-bit efekt

Další cool API :)

Rozpoznávání obličejů

Microsoft Face SDK pro WP7

Face Detection Library

FaceLight for WP (René Schulte)

4.

Čtení QR kódů

Bing Vision / WP SDK – není API pro vývojáře

ZXing library, WP7 i WP8 http://silverlightzxing.codeplex.com/ (nebo přes NuGet)

GART – Geo AR Toolkit

WP7, WP8 i Win8

GART – Geo AR Toolkit

využívá GPS, Motion API

otáčení mapy

umisťování objektů

obdoba Nokia City Lens

http://gart.codeplex.com/

GART – Geo AR Toolkit

lze vytvořit vlastní ARItem,

i změnit vzhled položek (v XAML)

parametr: GPS pozice

…ukázka

SLAR – Silverlight AR Toolkit

zobrazení objektu na markeru

SLAR – Silverlight AR Toolkit

…ukázka

Goblin XNA (WP7)

research projekt, už neaktivní

Shrnutí

možnosti foto API na WP

integrace do telefonu, Lens app

živý stream a filtry

další cool API :)

Díky za pozornost!prostor pro dotazy

Tomáš Slavíček mail @ tomasslavicek.cz

@tomasslavicek