Real-time Web a NodeJS

transcript

REALTIME WEB A NODE.JS realtime servery snadno a rychle

Jakub Nešetřil@jakubnesetril

pátek, 25. března 2011

REALTIME WEB

co je realtime?

řekněme, že to znamená “rychle”

zhruba 100ms

REALTIME WEB

Na rychlosti záleží!

Google: +500ms => -20% traffic

Amazon: +100ms => -1% sales

Latence

Push vs. Pull

Blokující vs. neblokující provoz

Node.js, kód

LATENCE

TROCHA HISTORIE

1981: internet protocol – IP (RFC 791)

packety, IP adresy, směrování

1981: transmission control protocol – TCP (RFC 793)

datový přenos, spolehlivost, řízení toku, multiplexing, spojování, bezpečnost

TROCHA HISTORIE

1981: internet protocol – IP (RFC 791)

packety, IP adresy, směrování

1981: transmission control protocol – TCP (RFC 793)

datový přenos, spolehlivost, řízení toku, multiplexing, spojování, bezpečnost

“This is achieved by… requiring apositive acknowledgment (ACK) fromthe receiving TCP. If the ACK is notreceived within a timeout interval,the data is retransmitted.”

-RFC 793

Client Server

GET /index.html

Client Server

GET /index.html

HTTP/1.1 200 OK

Client Server

GET /index.html

HTTP/1.1 200 OK

Content-Type: text/html

<html><title>Hi</title>…

Client Server

GET /index.html

HTTP/1.1 200 OK

Content-Type: text/html

<html><title>Hi</title>…

ACKACKACK

ROK 1981

213 počítačů

http://www.faqs.org/rfcs/rfc1296.html

LEDEN 1986VÝBUCH CHALLENGERU

DUBEN 1986VÝBUCH ČERNOBYLU

ŘÍJEN 1986VÝBUCH INTERNETU

5089 počítačů

ROK 1986

Počítače

1981 1982 19831984

19851986

NAPROSTÉ ZAHLCENÍ SÍTĚ

“The critical congestion problems theARPANET is experiencing causes [...]mail messages from MILNEThosts to take up to 2-3 days to bedelivered to BBNNET hosts.”

- Nancy Cassidy in mod.risks, September 22 1986

“Should the round-trip timeexceed the maximum retransmissioninterval for any host, that hostwill begin to introduce more andmore copies of the same datagramsinto the net. The network is nowin serious trouble.”

TCP SLOW START

uvádí maximální počet přenášených nepotvrzených (ACK) packetů a funkci podle které se zvyšuje v čase

každé nové TCP spojení se postupně “rozjíždí”

maximální rychlosti (počet packetů) dosáhne zhruba po 9 otáčkách

http://mike.bailey.net.au/2010/07/tcp-and-the-lower-bound-of-web-performance/

LATENCE JE ZCELA ZÁSADNÍ

http://mike.bailey.net.au/2010/07/latency-is-a-killer/

15msvs

LATENCE JE ZCELA ZÁSADNÍ

15msvs

CO S TÍM?

minimalizujte počet TCP spojení!

kombinujte JS, CSS

HTTP Keep-Alive

používejte YSlow a PageSpeed!

PUSH VS PULL

Client Server

GET /index.html

HTTP/1.1 200 OK

jak se dozvědět o aktualizaci?

nový email, nový tweet

POLLING

PUSHPUB-SUB, COMET, WEBSOCKET

Client Server

HTTP/1.1 200 OK

browsery ani servery jej nepodporují

(až na HTML5 browsery s WebSocket podporou)

existují způsoby jak nekompatibilitu obcházet

LONG POLLING

Client Server

GET /index.html

HTTP/1.1 200 OK

GET /index.html

Our experiment shows that if we want high data coherence and high network performance, we

should choose the push approach.

http://swerl.tudelft.nl/twiki/pub/Main/TechnicalReports/TUD-SERG-2007-016.pdf

However, push brings some scalability issues; the server application CPU usage is 7 times higher as in

pull. According to our results, the server starts to saturate at 350-500 users.

http://swerl.tudelft.nl/twiki/pub/Main/TechnicalReports/TUD-SERG-2007-016.pdf

BLOKUJÍCÍ A NEBLOKUJÍCÍ PROVOZ

ČÍSLA, KTERÁ BYSTE MĚLI ZNÁT

Building Software Systems at GoogleJeffrey Dean

(AdWords, AdSense, crawler, Protocol Buffers, MapReduce, BigTable)

http://www.stanford.edu/class/ee380/Abstracts/101110.html

L1 cache reference 0.5 nsBranch mispredict 5 nsL2 cache reference 7 nsMutex lock/unlock 100 nsMain memory reference 100 nsCompress 1K bytes with Zippy 10,000 nsSend 2K bytes over 1 Gbps network 20,000 nsRead 1 MB sequentially from memory 250,000 nsRound trip within same datacenter 500,000 nsDisk seek 10,000,000 nsRead 1 MB sequentially from network 10,000,000 nsRead 1 MB sequentially from disk 30,000,000 nsSend packet CA->Netherlands->CA 150,000,000 ns

BLOKUJÍCÍ PROVOZ

<?phpvar $db = new mysqli("host", "user", "password", "database");var $result = db->mysqli_query('SELECT Name FROM City LIMIT 10');foreach ($result as $row) …?>

APACHE + PHP

Apache

Request

APACHE + PHP

Apache

Request

ApacheWorker

PHP PHP PHP

APACHE + PHP

Apache

Request

ApacheWorker

PHP PHP PHP

APACHE + PHP

Apache

Request

ApacheWorker

PHP PHP PHP

5-10MB 5-10MB 5-10MB

APACHE + PHP

Apache

Request

ApacheWorker

PHP PHP PHP

5-10MB 5-10MB 5-10MB

x 500 users = 2.5GB - 5GB

BLOKUJÍCÍ PROVOZ

<?phpvar $db = new mysqli("host", "user", "password", "database");var $result = $db->mysqli_query('SELECT Name FROM City LIMIT 10');foreach ($result as $row) …?>

NE-BLOKUJÍCÍ PROVOZ

client.connect();client.query('SELECT Name FROM City LIMIT 10', function(err, results) { for (var i=0; i < results.length; i++) { … };});

NE-BLOKUJÍCÍ PROVOZ

client.connect();client.query('SELECT Name FROM City LIMIT 10', function(err, results) { for (var i=0; i < results.length; i++) { … }; });

DEMOSwarmation, Scrumblr, WordSquared

NODE.JS

runtime (není to mod_nodejs, ani node_d)

postavené na v8 (Google Chrome JS engine)

one event-loop, single-threaded

asynchronous and non-blocking

DEMOnode_chat

SOCKET.IO

funguje všude (i bez podpory WebSocket)

pokud nutno, používá long polling, +ash aj.

automatický reconnect, heartbeat

super-jednoduché použití

EXPRESS

npm install express

var app = express.createServer();

app.get('/', function(req, res){ res.send('Hello World');});

app.listen(3000);

…a přes 1400 dalších modulů

http://search.npmjs.org/

https://github.com/joyent/node/wiki/modules

ALTERNATIVY

EventMachine (Ruby)

Twisted (Python)

Jetty (Java)

Javascript se dobře hodí

DÍKY ZA POZORNOST

OTÁZKY?

Real-time Web a NodeJS

Technology