Big Data

Big DataJosef Šlerka, Ataxo Interactive, SNM FF UKBusiness & Information Forum 2011, Praha

Tuesday, June 7, 2011

3 000 000 000počet hledání na Googlu denně


30 000 000 000počet zpráv a příspěvků na Facebooku měsíčně


5 000 000 000mobilních telefonů po celém světě


140 000 000průměrný počet zpráv poslaných denně na Twitteru


1 000 000počet denně vygenerovných zpráv na českém Facebooku v otevřených profilech


600 dolarůcena disku na který se vejde veškerá hudba na světě v MP3


100 dolarůcena hodiny provozu klastru 10 počítačů na Amazonu


0 dolarůcena open-source softwarů, jako je Hadoop, Lucene,Cassandra, CouchDB, Elastich Search a dalších


Big (Data (Science))buzzwords, které tu s námi dlouho zůstanou


Co jsou to Big Data?

Big Data is a term applied to data sets whose size is beyond the ability of commonly used software tools to capture, manage, and process the data within a tolerable elapsed time. Big data sizes are a constantly moving target currently ranging from a few dozen terabytes to many petabytes of data in a single data set.


Co je Data Science?

A data application acquires its value from the data itself, and creates more data as a result. It's not just an application with data; it's a data product. Data science enables the creation of data products.


Příklady

Jaccardův index a TOEFL

Google Translate

ZIP klastrování


require 'zlib'require 'pp' files = Dir[ARGV[0] + '/*'] def deflate(*files) z = Zlib::Deflate.new z.deflate(files.collect {|f| open(f).read}.join("\\n"), Zlib::FINISH).sizeend pairwise = files.combination(2).collect do |f1, f2| a, b = deflate(f1), deflate(f2) both = deflate(f1, f2) {:files => [f1, f2], :score => (a+b)-both}end pp pairwise.sort {|a,b| b[:score] <=> a[:score]}[0,20]


Změna paradigmatu

data-driven vs. knowledge-drive (algorithm-driven)

statistické modely vs. modelování skutečnosti

Peter Norvig vs Noam Chomsky


Potřebné dovednosti

Drew Conway


Big Social Data

deep data vs. surface data

data-driven sociální a humanitní vědy

Lev Manovich: The Promises and the Challenges of Big Social Data


Případové studieprediktivní analýza pomocí velkých dat v praxi


Google a zaměstnanost


Twitter a burza


Mobily a cholera


Facebook a filmy

zmínky o Inception na českém Facebooku 2010 a divácký ohlas


Facebook a filmy

Harry Potter na českém Facebooku 2010 a divácký ohlas


Problémyaneb co nás brzdí u nás(podle mých omezených zkušeností)


Selhání vysokých školInformatika - úzké obzory, staré názory, disky už jsou levnéJava bývá dnes cesta pro lepší ukrajinské dělníky


Potřeba přesahuInterdisciplinarita, spolupráce polytechnik a univerzit je to, co dnes zoufale chybí, bez ní jsme jen lepší montovna.


Strach z experimentůJsme příliš v zajetí sezónních prémií, placení za čas a strachu z IT bezpečnostní politiky. Neúspěch se neodpouští.


Inovace chtějí volnostGrantové projekty z MPO a podobné ve skutečnosti brzdí inovace, protože se orientují na řešení průmyslových problémů. Neřešíme myšlení out of box.


Co za to dostanete?podle analytiků McKinsey & Company a jejichBIG DATA: THE NEXT FRONTIER FOR INNOVATION,


Včasný přehledMaking big data more accessible in a timely manner.


Budeme vědět s kýmSegmenting populations to customize actions.


Přesnější rozhodováníReplacing and supporting human decision-making with automated algorithms.


Produkty, které nejsouInnovating new business models, products, and services.


... a taky dobrý pocit něčeho nového:-)


Děkuji za pozornost. [email protected]@gmail.com


mailto:[email protected]




Date post:	29-Nov-2014
Category:	Education
Upload:	josef-slerka
View:	2,244 times
Download:	2 times

Big Data

Education