Deep learning(a strojové učení obecně)

Czech Internet Forum 2014Tech Open Day

DataConf.czMachine Learning Meetup

Michal Illich

Michal Illich

Obsah

● Strojové učení– Kdo ho používá?

– Základní princip

● Deep learning– Běžné neuronové sítě

– Co je podstatou „deep“?

– Proč a kde je skvělý?

Produkty strojového učení používáte každý den.

Kde se používá na webu - I

Kde se používá na webu - II

Kde se používá na webu - III

Mimo web

Siri

OCR

Self-driving cars

Kde si s ním hrajeme my

Magictable

Brandiozo

Golem

a jeden neveřejný projekt

… a Brandiozo

a 2 další, zatím neveřejné projekty

Označkovanádata

Naučíte model:

Známá data → Model → Známý výsledek

Používáte model:

Nová data → Model → Nový výsledek

II. Deep learning

1970s

1970s

1975 - backpropagation

Co chceme, aby uměly?

Co je od tehdy nového?Čím je učení „deep“?

1. Hloubka

Umožněná vyšším výkonem CPU/GPU a pár triky.

2. Využití neoznačených dat

Intermezzo 1

● Semantic hashing● Aneb zpátky k Josefově problému

(hledání podobných dokumentů)

Tři přístupy

1. Podle podobnosti řetězce písmen?

2. Podle podobnosti významu slov?

3. Deep learning?

Salakhutdinov & Hinton, 2006

3. Triky

● odolnost proti přeučení DropOut, DropConnect

● jiné aktivační funkce ReLu místo sigmoidy

● učení po vrstvách● konvoluční sítě

Odolnost proti přeučeníDropOut, DropConnect, Denoising...

Výsledky

Kategorizace obrázků (22000 kategorií)● 9,5% (nejlepší v 2011)

● 18,3% (deep learning ze Stanfordu)

Výsledky

Rozpoznávání řeči (Switchboard, 300 hodin)● chybovost 27,4 % (tradiční metody)

● chybovost 18,5 % (deep learning)

Výsledky

Rozpoznávání číslic (MNIST)● chybovost 0,39 % (2006)

● chybovost 0,21 % (deep learning)

Open source knihovny

Neuronové sítě:

theano, cuda-convnet, fann

Další algoritmy:

gbm, libsvm, vowpal wabbit, sofia-ml, sofia-kmeans

word2vec, gensim, NLP knihovny

Nástroje s GUI:

weka, orange, rapid miner

Intermezzo 2

Máte projekt?

● Z oblasti dat nebo analytics?● Nejméně dva zakladatelé?● Potřebujete €30k?

Přihlašte se do StartupYardu

● Deadline už za 4 týdny 15.12.

● Tříměsíční program od března 2015

● Desítky mentorů● Demo Day pro investory● €30k cash investice za 10%● Plus až $250k v „perks“

kredit do AWS, Rackspace, Google App Engine,...

Závěr

1/3

Mít data nestačí. Používejte je.kreslit barevné grafy je základ, nikoliv plné využití dat

Strojové učení.nechte stroje samotné najít si vztahy v datech

2/3

3/3

Kde může student pracovat s ML na reálných problémech:- komunitní/soutěžní weby jako Kaggle.com- vlastní projekty – sami nebo v akcelerátoru- na univerzitě- v pár českých firmách

Díky!

michal@illich.cz

@michalillich

PS: Přijímáme: C, Python, PHP

Apendix: Výsledky podrobněji

Kategorizace obrázků (22000 kategorií)● 9,5% (nejlepší v 2011, Weston+Bengio)● 18,3% (deep learning ze Stanfordu)

Rozpoznávání řeči (Switchboard, 300h)● chybovost 27,4 % (GMM-HMM)● chybovost 18,5 % (deep learning: DNN-HMM)

Rozpoznávání číslic (MNIST)● chybovost 0,39 % (energy based model, 2006)● chybovost 0,21 % (deep learning s DropConnectem)

Zdroje ilustračních obrázků:

http://www.cs.toronto.edu/~kriz/cifar.htmlhttp://cl.naist.jp/~kevinduh/notes/duh12deeplearn.pdfhttp://www.positscience.com/media-gallery/detail/161/94http://commons.wikimedia.org/wiki/File:Haystack_-_geograph.org.uk_-_462934.jpghttp://www.retrowaste.com/1970s/http://www.moderni-dejiny.cz/clanek/exteriery-z-obdobi-normalizace-soubor-fotografii-bohdana-holomicka/http://zlin.cz/503516n-zlinske-jaro-odstartovalo-vystavu-ritualy-normalizacehttp://www.cs.stanford.edu/people/ang//slides/DeepLearning-Mar2013.pptx

+ pozadí koupené ve fotobance

Semantic hashing: https://www.cs.toronto.edu/~hinton/absps/sh.pdf