Tema 7: Teoria de la informaci

1. Introducci Definici: s una branca de la teoria matemtica de la probabilitat i l'estadstica que estudia la informaci i tot el relacionat amb aquesta, s a dir els canals, la compressi de dades, la criptografia i d'altres temes relacionats. S'ha aplicat en camps com l'ecologia, la neurobiologia, la fsica trmica, la detecci de plagi i altres formes d'anlisi de dades. Va estar creada per Shanon i Landauer amb la voluntat danalitzar el rendiment dels productes en la industria de la comunicaci Parts de la comunicaci: La comunicaci necessita de

Emissor Receptor Canal Codi: Existeixen molts codis. El ms senzill i el que estudiarem es el codi binari.

2. Contingut duna informaci

2.1 Probabilitat de lexistncia dun missatge La probabilitat es calcula a partir de la formula de Laplace:

=

A partir daqu podem calcular Probabilitat dexistir dun missatge dun sol element:

=

1 2 =12

Probabilitat dexistir dun missatge de dos elements:

=

11 00 10 01 =14 =

12!

Probabilitat dexistir dun missatge de tres elements:

=18 =

12!

Probabilitat dexistir dun missatge de i elements:

=12! = 2

!!

2.2 Formula del contingut de la informaci Es la formula que ens indica quanta informaci hi ha en un missatge:

= log! I: Contingut dinformaci

: Probabilitat dexistncia del missatge

Les unitats son els bits. En aquest cas els entenem com a la quantitat dinformaci necessria per decidir entre dues probabilitats igualment probables. Ex: El catal t 26 lletres ms el espai en blanc. Quina informaci porta cada lletra?

= log!127 = 4,76

Hem de tenir en compte per que estem aplicant la formula de Laplace en la qual considera a tots els esdeveniments igual de probables i com ja sabem no totes les lletres sn igualment utilitzades i per tant no totes tenen la mateixa probabilitat daparixer. Per aquest motiu realment la formula que es tindria que aplicar seria:

= = !(log! !) !(log! !) .= !(log! !)

3. Relaci entra la informaci i la termodinmica Nombre de missatges possibles ser igual a W

=1

= log!1 = log! 1+ log! = log!

Podem veure la gran similitud de la formula del contingut de la informaci amb la formula del clcul dentropia

= ln = ln Si relacionem les dues formules:

= log! =1

0,693 ln

ln = 0,693 = 0,693

4. Problema del dimoni de Maxwell: La informaci val energia Problema: Es un problema que planteja la integritat del segon principi de la termodinmica. El problema es basa en tenir dos recipients connectats que es troben en equilibri i per tant es troben amb la mateixa temperatura. En el tub que els connecta i trobem un esser intelligent en el qual anomenarem dimoni de Maxwell que t informaci sobre el sistema. Aquest dimoni t la capacitat de reconixer la velocitat de les partcules i controlar el seu pas de tal manera que deixar passar sempre les lentes cap a un canto per les rapides no. Com a conseqncia al cap duna estona els dos recipients ja no estar en equilibri ja que el que ha rebut les partcules rapides tindr una temperatura ms alta que el que ha rebut les lentes. Aquest problema posa en dubte el segon principi de la termodinmica ja que el dimoni el que ha aconseguit es ordenar un estat que ja estava en equilibri i conseqent aix vol dir que el procs generat per aquest dimoni te una S0, s a dir, tot sempre tendeix al desordre.

Un altre exemple del problema de Maxwell el podem aplicar a la caixa que conte dos gasos separats per dos membranes semipermeables que estan connectades a dos pistons. Com ja vrem veure aquets gasos espontniament es barrejaran i les membranes es mouran i conseqentment es generar un treball. Aleshores es quan apareix el dimoni ja que aquest controlar dues portes que es troben en les membranes semipermeables i deixara passar nomes un dels dos gasssos. Al cap dun temps els dos gassos es trobaran una altre vegada separats i com a conseqncia haurem tornat a la situaci inicial. Pe tant haurem creat una maquina cclica que converteix la Q en W i que te una eficincia del 100% i aix com ja sabem viola el segon principi. Soluci: La soluci la va proporcionar el anlisi de la teoria de la informaci ja que va fer veure que la soluci daquest problema radicava en el propi dimoni. El que hem de tenir en compte doncs s que el dimoni es un ser daquest planeta i que per tant necessitar alguna llanterna, sensors o quelcom per poder conixer i analitzar la velocitat o la naturalesa de les partcules. Tot aquest sistema danalisis gastar una energia i per tant despendr una calor, conseqentment el rendiment de la maquina ja no ser 100% ja que = !

!!!"!"#$% !"# !"#$%"< 1, aix s aix ja que la informaci

requereix energia. Dit duna altre manera tot el sistema danlisis del dimoni presentar una entropia major que no pas la prdua dentropia que tenen els dos gasos i conseqentment la globalitat del sistema tindr una S>0.

5. Energia mnima per bit Per aix en primer lloc plantejarem un missatge elemental que sigui clarament material. Imaginem un pot que t dues cambres comunicades i una sola molcula. En aquest estat la molcula pot estar en les dues cambres i per tant aquest s el missatge elemental. Si calculem la entropia daquest sistema:

! = ln 2 Si tanquem la porta la molcula nomes podr estar en una de les dues cambres i per tant aquest ja ser un missatge concret. Si calculem lentropia daquest sistema

! = ln 1 = 0 Hem dit que volem calcular la energia mnima per un bit per tant hem de confirmar que aquest sistema conte una quantitat dinformaci igual a 1 bit. Per aix hem de tenir en compte que el missatge concret pot tenir dues possibilitats i nomes ens quedarem amb una

= log!12 = log! 2

!! = 1 Per calcular la energia:

= Com que estem calculant la energia mnima estipularem que H es molt proper a 0 o 0. Tenim en compte que estem a temperatura ambient.

= = ! !

= ( ln 1 ln 2) = ln 2 = 273+ 25 1,38 10!" 0,693

= 2,86 10!!" = 6,9 10

!!"

6. Informaci de la cllula Parts del missatge: Les diferents parts de la cllula en termes dinformacio es poden entendre com

DNA: Emissor RNA: Canal Protenes: Receptor Codi: Codi gentic

Contingut dinformaci: Contingut dinformaci per cada nucletid

Contingut dinformaci per cada triplet Per tant com podem veure: Itriplet=3Inucelotid

Contingut dinformaci del genoma de E.coli: Hem de tenir en compte que el genoma consta de 4106pb per duplicat, per tant 8106pb. Tenint en compte que cada nucletid te 2 bits dinformaci podem veure que el genoma te 1,6107 bits Hem de tenir en compte que igual que passava en el diccionari catal no tots els nucletids tenen la mateixa probabilitat daparici

Contingut dinformaci dun eucariota: 21010 Magatzem de informaci: Tenint en compte el contingut de informaci que te una cllula eucariota i que el volum del DNA sol ser duns 10-10 cm3 podem calcular que tenim 21020 bits/ cm3. Per tant tenim una gran quantitat dinformaci en un espai molt redut. Aquesta capacitat de guardar informaci en tot poc espai saconsegueix gracies a que la informaci es guarda en toms i molcules i per tant en unitats molt petites. Avui en dia sestan estudiant tots mecanismes mitjanant els quals puguem crear memries moleculars. Energia utilitzada per crea un bit dinformaci: Per crear informaci la cllula utilitza la reacci de elongaci del DNA Aquesta reacci acoblada t G=20kcal/mol, per tant per elongar un mol de nucletids necessitarem 10-5J/mol El contingut dinformaci dun molt de nucletids s

Ara calcularem el contingut dinformaci per nucletid:

El contingut dinformaci per triplet:

Necessitem un missatge de dos elements per poder expressar una A, T, C o G.

Com podem veure,

Si considerem E. coli, podem conixer el contingut dinformaci del genoma complet. Sabem que el seu genoma consta de 4106pb. Si tenim dues cadenes: 8106pb. Si sabem que cada nucletid sn dos bits: 1,6107bits/genoma.

Per E.coli, per, el contingut dinformaci de cada bit s d1.9, perqu no sempre la probabilitat daparici del nucletid s del 25%.

En el nucli cellular diploide, tenim 21010 bits. El nucli t un volum de 10-10cm3, de manera que tenim 21020bits/cm3. Els sistemes vius emmagatzemen tota aquesta informaci en espais molt petits => la informaci est continguda en un substrat material molt petit (toms i molcules).

Podem aplicar els toms i molcules per emmagatzemar informaci? La nanotecnologia pel que fa a lelectrnica intenta utilitzar aquesta manera de fer. Sintenten fer memries moleculars (ordinadors moleculars).

Quanta energia es necessita per bit dinformaci en un nucli?

En general, aquesta reacci acoblada t una G = 20Kcal/mol. Per un mol de nucletids necessitarem, doncs, 105 J/mol de nucletids afegits a la cadena.

El contingut dinformaci dun mol de nucletids s: . En definitiva, tenim que cada bit necessita 10-19J.

Si ho comparem amb el valor de lenergia mnima necessria per tenir un bit, podem veure que shi apropa molt => la cllula s molt eficient en la construcci de missatges.

COMPLEXITAT

Podem treure un nmero sobre quin valor de complexitat t una cllula? Estudiarem els sistemes vius com si fossin missatges. Els sistemes vius sn missatges CONCRETS. El material amb qu hem fet aquest sistema viu permet moltes ms combinacions possibles (ms missatges). Una analogia:

Ara calcularem el contingut dinformaci per nucletid:

El contingut dinformaci per triplet:

Necessitem un missatge de dos elements per poder expressar una A, T, C o G.

Com podem veure,

Si considerem E. coli, podem conixer el contingut dinformaci del genoma complet. Sabem que el seu genoma consta de 4106pb. Si tenim dues cadenes: 8106pb. Si sabem que cada nucletid sn dos bits: 1,6107bits/genoma.

Per E.coli, per, el contingut dinformaci de cada bit s d1.9, perqu no sempre la probabilitat daparici del nucletid s del 25%.

En el nucli cellular diploide, tenim 21010 bits. El nucli t un volum de 10-10cm3, de manera que tenim 21020bits/cm3. Els sistemes vius emmagatzemen tota aquesta informaci en espais molt petits => la informaci est continguda en un substrat material molt petit (toms i molcules).

Podem aplicar els toms i molcules per emmagatzemar informaci? La nanotecnologia pel que fa a lelectrnica intenta utilitzar aquesta manera de fer. Sintenten fer memries moleculars (ordinadors moleculars).

Quanta energia es necessita per bit dinformaci en un nucli?

En general, aquesta reacci acoblada t una G = 20Kcal/mol. Per un mol de nucletids necessitarem, doncs, 105 J/mol de nucletids afegits a la cadena.

El contingut dinformaci dun mol de nucletids s: . En definitiva, tenim que cada bit necessita 10-19J.

Si ho comparem amb el valor de lenergia mnima necessria per tenir un bit, podem veure que shi apropa molt => la cllula s molt eficient en la construcci de missatges.

COMPLEXITAT

Podem treure un nmero sobre quin valor de complexitat t una cllula? Estudiarem els sistemes vius com si fossin missatges. Els sistemes vius sn missatges CONCRETS. El material amb qu hem fet aquest sistema viu permet moltes ms combinacions possibles (ms missatges). Una analogia:

Ara calcularem el contingut dinformaci per nucletid:

El contingut dinformaci per triplet:

Necessitem un missatge de dos elements per poder expressar una A, T, C o G.

Com podem veure,

Si considerem E. coli, podem conixer el contingut dinformaci del genoma complet. Sabem que el seu genoma consta de 4106pb. Si tenim dues cadenes: 8106pb. Si sabem que cada nucletid sn dos bits: 1,6107bits/genoma.

Per E.coli, per, el contingut dinformaci de cada bit s d1.9, perqu no sempre la probabilitat daparici del nucletid s del 25%.

En el nucli cellular diploide, tenim 21010 bits. El nucli t un volum de 10-10cm3, de manera que tenim 21020bits/cm3. Els sistemes vius emmagatzemen tota aquesta informaci en espais molt petits => la informaci est continguda en un substrat material molt petit (toms i molcules).

Podem aplicar els toms i molcules per emmagatzemar informaci? La nanotecnologia pel que fa a lelectrnica intenta utilitzar aquesta manera de fer. Sintenten fer memries moleculars (ordinadors moleculars).

Quanta energia es necessita per bit dinformaci en un nucli?

En general, aquesta reacci acoblada t una G = 20Kcal/mol. Per un mol de nucletids necessitarem, doncs, 105 J/mol de nucletids afegits a la cadena.

El contingut dinformaci dun mol de nucletids s: . En definitiva, tenim que cada bit necessita 10-19J.

Si ho comparem amb el valor de lenergia mnima necessria per tenir un bit, podem veure que shi apropa molt => la cllula s molt eficient en la construcci de missatges.

COMPLEXITAT

Podem treure un nmero sobre quin valor de complexitat t una cllula? Estudiarem els sistemes vius com si fossin missatges. Els sistemes vius sn missatges CONCRETS. El material amb qu hem fet aquest sistema viu permet moltes ms combinacions possibles (ms missatges). Una analogia:

Ara calcularem el contingut dinformaci per nucletid:

El contingut dinformaci per triplet:

Necessitem un missatge de dos elements per poder expressar una A, T, C o G.

Com podem veure,

Si considerem E. coli, podem conixer el contingut dinformaci del genoma complet. Sabem que el seu genoma consta de 4106pb. Si tenim dues cadenes: 8106pb. Si sabem que cada nucletid sn dos bits: 1,6107bits/genoma.

Per E.coli, per, el contingut dinformaci de cada bit s d1.9, perqu no sempre la probabilitat daparici del nucletid s del 25%.

En el nucli cellular diploide, tenim 21010 bits. El nucli t un volum de 10-10cm3, de manera que tenim 21020bits/cm3. Els sistemes vius emmagatzemen tota aquesta informaci en espais molt petits => la informaci est continguda en un substrat material molt petit (toms i molcules).

Podem aplicar els toms i molcules per emmagatzemar informaci? La nanotecnologia pel que fa a lelectrnica intenta utilitzar aquesta manera de fer. Sintenten fer memries moleculars (ordinadors moleculars).

Quanta energia es necessita per bit dinformaci en un nucli?

En general, aquesta reacci acoblada t una G = 20Kcal/mol. Per un mol de nucletids necessitarem, doncs, 105 J/mol de nucletids afegits a la cadena.

El contingut dinformaci dun mol de nucletids s: . En definitiva, tenim que cada bit necessita 10-19J.

Si ho comparem amb el valor de lenergia mnima necessria per tenir un bit, podem veure que shi apropa molt => la cllula s molt eficient en la construcci de missatges.

COMPLEXITAT

Podem treure un nmero sobre quin valor de complexitat t una cllula? Estudiarem els sistemes vius com si fossin missatges. Els sistemes vius sn missatges CONCRETS. El material amb qu hem fet aquest sistema viu permet moltes ms combinacions possibles (ms missatges). Una analogia:

Per tant podem determina que necessitem 10-19 J per crear un bit dinformaci. Podem veure que aquest valor sapropa molt a la energia mnima per un bit i per tant podem determinar que la cllula s molt eficient creant informaci Complexitat de la cllula: Per conixer quina es la complexitat de la cllula imaginarem que els organismes vius sn missatges concrets. En comparaci el missatge elemental esta format pel conjunt de molcules i toms que te una cllula per en un sistema no viu. Per tant el missatge elemental s el material i el missatge concret s el sistema viu Tenint en compte aix podem dictaminar que el nombre de formes possibles de lestat elemental s enorme(W1), mentre que el nombre de formes possibles del sistema viu s ms redut (W2) Per tant la complexitat de la cllula es pot calcular de la segent manera:

Per tant com ms toms i molcules, es a dir, material tingui una cllula major ser la seva complexitat.

7. Teoria de la informaci aplicada a lecologia La teoria de la informaci va donar una idea a Ramon Margalev de com calcular la diversitat dun ecosistema. Per entendreu Margalev va considerar que la informaci era la propietat de tot all que esta format de parts diferents. La formula de la diversitat era la mateixa que la de quantitat dinformaci

= ! log! ! e: Probabilitat de que un individu pertanyi a una espcie en concret

Es va poder calcular quina era la diversitat promig dels ecosistemes quan aquets es trobaven en el seu clmax, es a dir, quan es trobaven en el seu estat de maduresa. Aquesta diversitat era de 5 bits/ecosistema (s ms o menys la quantitat dinformaci que t una lletra en el llenguatge universal)

El missatge elemental s el material i el missatge concret s el sistema viu.

El nombre de formes possibles de lestat elemental s enorme, mentre que el nombre de formes possible del sistema viu s molt ms redut, hi ha molt poques combinacions possibles (la vida t uns lmits biolgics). Per aquest missatge concret tenim:

Com ms elements i toms i molcules tingui una cllula determinada, major ser la seva complexitat. Hi ha gent que ho ha calculat.

Quadriculen la cllula en unes celles petitssimes, les quals sn tan petites que noms accepten un tom. Es calculen totes les permutacions que es poden fer amb tots els toms que t la cllula, i a aix li diem nombre de configuracions a lespai. Aleshores es plantegen totes les unions qumiques per tots els toms implicats. Amb aix podrem conixer W1.

Per cllules bacterianes shan trobat valors de complexitat dentre 109-1012 bits per cllula bacteriana.

Fins i tot els eclegs fan servir la Teoria de la Informaci. Segons Margalef, la teoria de la informaci s aplicable a tot all que est format de parts diferents. Es pot aplicar, doncs, als ecosistemes => un nmero relacionat amb el contingut dinformaci o diversitat.

On pi s la probabilitat que un individu pertanyi a una espcie determinada. Un sistema duna sola espcie tindria una diversitat de zero. Un ecosistema amb moltssimes espcies i un sol individu de cadascuna delles: diversitat elevadssima. Els ecosistemes que Margalef estudiava tenien una diversitat daproximadament 5 bits/individu.

El missatge elemental s el material i el missatge concret s el sistema viu.

El nombre de formes possibles de lestat elemental s enorme, mentre que el nombre de formes possible del sistema viu s molt ms redut, hi ha molt poques combinacions possibles (la vida t uns lmits biolgics). Per aquest missatge concret tenim:

Com ms elements i toms i molcules tingui una cllula determinada, major ser la seva complexitat. Hi ha gent que ho ha calculat.

Quadriculen la cllula en unes celles petitssimes, les quals sn tan petites que noms accepten un tom. Es calculen totes les permutacions que es poden fer amb tots els toms que t la cllula, i a aix li diem nombre de configuracions a lespai. Aleshores es plantegen totes les unions qumiques per tots els toms implicats. Amb aix podrem conixer W1.

Per cllules bacterianes shan trobat valors de complexitat dentre 109-1012 bits per cllula bacteriana.

Fins i tot els eclegs fan servir la Teoria de la Informaci. Segons Margalef, la teoria de la informaci s aplicable a tot all que est format de parts diferents. Es pot aplicar, doncs, als ecosistemes => un nmero relacionat amb el contingut dinformaci o diversitat.

On pi s la probabilitat que un individu pertanyi a una espcie determinada. Un sistema duna sola espcie tindria una diversitat de zero. Un ecosistema amb moltssimes espcies i un sol individu de cadascuna delles: diversitat elevadssima. Els ecosistemes que Margalef estudiava tenien una diversitat daproximadament 5 bits/individu.