TEORIE INFORMACE

CLAUDE ELWOOD SHANNON

1916 - 2002

2

LAICKÝ POHLED NA INFORMACI

SDĚLENÍ, ZPRÁVA JAZYKOVÝ PROJEV VYBUDOVANÝ NA

PRINCIPU INFORMAČNÍHO SLOHOVÉHO POSTUPU, VE KTERÉM SE CO NEJOBJEKTIVNĚJI VĚCNĚ A DOKUMENTARISTICKY KONSTATUJÍ URČITÁ FAKTA

ZNALOST SDÍLENÁ TÍM, ŽE SE KOMUNIKUJE - TO, CO MY VÍME (SDĚLITELNÁ ZNALOST)

3

VLASTNOST HMOTNÉ REALITY BÝT USPOŘÁDÁN A JEJÍ SCHOPNOST USPOŘÁDÁVAT (FORMA EXISTENCE HMOTY VEDLE PROSTORU, ČASU A POHYBU) (ZEMAN)

VNÍMATELNÝ OBSAH POZNANÉHO NEBO PŘEDPOKLÁDANÉHO OBRAZU SKUTEČNOSTI, KTERÝ JE MOŽNO VYUŽÍT PRO ŽIVOT ČLOVĚKA

POTENCIÁLNĚ KOMUNIKOVATELNÝ POZNATEK O OBJEKTIVNÍ REALITĚ

POZNATEK O URČITÉ SKUTEČNOSTI, PŘEDMĚTU NEBO JEVU ZACHYCENÉM VE ZPŘÍSTUPNITELNÉ FORMĚ VYUŽITELNÝ PŘI PŘIZPŮSOBOVÁNÍ SE ČLOVĚKA ŽIVOTNÍMU PROSTŘEDÍ (CIGÁNIK)

VÝZNAM PŘIŘAZENÝ OBRAZŮM, ÚDAJŮM A Z NICH UTVOŘENÝM LIDSKÝM CELKŮM. INFORMACE PŘEDSTAVUJE MÍRU USPOŘÁDANOSTI SYSTÉMŮ NA ROZDÍL OD ENTROPIE, TJ. MÍRY NEUSPOŘÁDANOSTI.

FILOSOFICKÉ POJETÍ

4

OBSAH PROCESU LIDSKÉ KOMUNIKACE, ODEVZDÁVÁNÍ A PŘIJÍMÁNÍ OZNÁMENÍ, JEJICH PŘENOS OSOBNÍM KONTAKTEM, ZVUKEM, SIGNÁLEM A PROSTŘEDKY MASOVÉ KOMUNIKACE

KAŽDÝ ZNAKOVÝ PROJEV, KTERÝ MÁ SMYSL PRO KOMUNIKÁTORA I PŘÍJEMCE (LAMSER)

OBJEKTIVNÍ OBSAH KOMUNIKACE MEZI SOUVISEJÍCÍMI HMOTNÝMI OBJEKTY, PROJEVUJÍCÍ SE ZMĚNOU STAVU TĚCHTO OBJEKTŮ (BRILLOUIN)

KOMUNIKAČNÍ POJETÍ

5

ENERGETICKÁ VELIČINA, JEJÍŽ HODNOTA JE ÚMĚRNÁ ZMENŠENÍ ENTROPIE SYSTÉMU

POZNATEK, KTERÝ OMEZUJE NEBO ODSTRAŇUJE NEJISTOTU TÝKAJÍCÍ SE VÝSKYTU URČITÉHO JEVU Z DANÉ MNOŽINY MOŽNÝCH JEVŮ

OBSAH ZPRÁVY, KTERÝ JE DEFINOVÁN JAKO ZÁPORNÝ DVOJKOVÝ LOGARITMUS JEJÍ PRAVDĚPODOBNOSTI

MATEMATICKÝ PŘÍSTUP

6

TEORIE INFORMACESOUČÁST KYBERNETIKY

DĚLÍ SE NA :

1. KÓDOVÁNÍ ZPRÁV

2. VYSÍLÁNÍ ZPRÁV

3. PŘENOS INFORMAČNÍM KANÁLEM

4. PŘÍJEM ZPRÁV U PŘÍJEMCE

5. DEKÓDOVÁNÍ ZPRÁV

7

OBECNÝ SDĚLOVACÍ ŘETĚZEC

Měnič zprávy

Měnič signálu

Přenosová cesta

Zpětný měnič signálu

Zpětný měnič zprávy

KÓDOVÁNÍ MODULACE PŘENOS DEMODULACE DEKÓDOVÁNÍ

ZDROJ Z PŘÍJEMCE Z

RUŠENÍ

VYSÍLACÍ ČÁST PŘIJÍMACÍ ČÁSTPŘENOSOVÝ KANÁL

SPOJ

ZZ´

PUBLIKOVÁNO V ROCE 1955

8

PROCES PŘENOSU INFORMACEOD ZDROJE K PŘÍJEMCI

ZDROJ

PŘÍJEMCE

INFORMACE/ZPRÁVA

SIGNÁL

SIGNÁL

FYZIKÁLNÍ VELIČINA V JEJÍŽ NĚKTERÝCH PARAMETRECH JE

ZAKÓDOVÁNA ZPRÁVA

ZPRÁVA SE ŠÍŘÍ DANÝM PROSTŘEDÍM DÍKY NOSIČI - SIGNÁLU

9

INFORMACE

SDĚLÍ POZNATEK, KTERÝ MÁ SMYSL A SNIŽUJE NEJISTOTU. INFORMACI CHÁPEME SÉMANTICKY, BĚŽNĚ TENTO POJEM POUŽÍVÁME V ŘEČI, ALE LZE JI DEFINOVAT I MATEMATICKY.

10

ZPRÁVA

JE KOMBINACÍ ZNAKŮ Z ABECEDY USPOŘÁDANÝCH PODLE PRAVIDEL TAK, ABY BYLA SROZUMITELNÁ.

ZPRÁVA MŮŽE, ALE NEMUSÍ BÝT INFORMACÍ.

ZPRÁVA O VELMI PRAVDĚPODOBNÉM JEVU NESE V SOBĚ TEDY MÁLO INFORMACE A NAOPAK ZPRÁVA O MÁLO PRAVDĚPODOBNÉM JEVU OBSAHUJE VELKÉ MNOŽSTVÍ INFORMACE

11

KDY JE INFORMACE INFORMACÍ?

INFORMACE JE OBSAŽENA VE ZPRÁVĚ JEN TEHDY, JESTLIŽE U PŘÍJEMCE (PŘIJÍMAJÍCÍHO SUBJEKTU) ODSTRAŇUJE JISTÉ NEVĚDĚNÍ, TJ. MÁ URČITÉ NÁSLEDKY NA STAV PŘÍJEMCE. MÍROU TĚCHTO NÁSLEDKŮ JE MNOŽSTVÍ PŘIJATÉ INFORMACE.

PO PŘIJETÍ ZPRÁVY JE ZMĚNA STAVU PŘÍJEMCE TÍM VĚTŠÍ, ČÍM VĚTŠÍM JE PRO NĚHO INFORMACE PŘEKVAPENÍM. S ČÍM MENŠÍ PRAVDĚPODOBNOSTÍ ZPRÁVU OČEKÁVÁ, TÍM VĚTŠÍ MNOŽSTVÍ INFORMACE PRO NĚHO ZPRÁVA PŘEDSTAVUJE. MOHL-LI PŘÍJEMCE OČEKÁVAT ZPRÁVU S JISTOTOU, NEOBSAHUJE PRO NĚJ ŽÁDNOU INFORMACI. TZN. MNOŽSTVÍ INFORMACE VE ZPRÁVĚ SE CHÁPE VŽDY RELATIVNĚ, VZHLEDEM K URČITÉMU PŘÍJEMCI A K URČITÉ SITUACI. TÍM SE LIŠÍ ZPRÁVA OD INFORMACE, NEJDE O SYNONYMA

12

INFORMACE A ENTROPIE

TEORIÍ INFORMACE SE ZABÝVAL AMERICKÝ FYZIK CLAUDE SHANNON (1916–2001)

SHANNONOVA DEFINICE: INFORMACE JE MÍRA MNOŽSTVÍ NEURČITOSTI NEBO NEJISTOTY O NĚJAKÉM NÁHODNÉM DĚJI ODSTRANĚNÁ REALIZACÍ TOHOTO DĚJE A ZÍSKÁNÍM VÝSLEDKŮ.

MNOŽSTVÍ INFORMACE VE ZPRÁVĚ TEDY MĚŘÍME PODLE TOHO, O KOLIK SE SNÍŽÍ NEURČITOST NEBO NEJISTOTA, KDYŽ ZPRÁVU PŘIJMEME A POCHOPÍME.

PRO TUTO NEURČITOST POUŽIL SHANNON POJEM INFORMAČNÍ ENTROPIE. (AUTOREM POJMU ENTROPIE JE L. BOLTZMANN, ENTROPIE PŘEDSTAVUJE MÍRU NEUSPOŘÁDANOSTI SYSTÉMU.)

ENTROPIE JE CHÁPÁNA JAKO MÍRA NEURČITOSTI, KTERÁ SE PO PŘIJETÍ ZPRÁVY ODSTRAŇUJE A VYJADŘUJE TAK MNOŽSTVÍ INFORMACE OBSAŽENÉ VE ZPRÁVĚ.

13

PŘÍKLADY ….KDY BUDE ZPRÁVA INFORMACÍ ??

14

DVOJÍ VÝZNAM INFORMACE

SÉMANTICKÝ

JAKÝ JE OBSAH ZPRÁVY

SYNTAKTICKÝ

JAKÁ JE FORMA ZPRÁVY

TEORIE INFORMACE SE ZABÝVÁ POUZE SYNTAKTICKÝM POJETÍM A NEZAJÍMÁ JI SÉMATIKA.

15

REDUNDANCE

MÍRA RELATIVNÍ NADBYTEČNOSTI INFORMACE POSKYTOVANÉ ZDROJEM.

NADBYTEČNOST NENÍ BEZÚČELNÁ SLOUŽÍ K ZAKÓDOVÁNÍ ZPRÁVY.

NAPŘ. ZDVOJENÍ ZPRÁVY, SAMOOPRAVNÉ KÓDY, PARITNÍ BITY.

PŘÍKLADEM VYSOKÉ REDUNDANCE JE HOVOROVÁ ŘEČ (ASI 90 %).

REDUNDANCI MUSÍME ZNOVU OBNOVIT

16

REDUNDANCE A IRELEVANCE VYJADŘUJÍ VŠEOBECNĚ NADBYTEČNOU INFORMACI V SIGNÁLU. TO ZNAMENÁ, ZE

SIGNÁL, KTERÝ OBSAHUJE TYTO INFORMACE, SE NÁM JEVÍ STEJNĚ I PO ODSTRANĚNÍ TĚCHTO INFORMACÍ.

REDUNDANTNÍ SLOŽKA TOTIŽ PŘEDSTAVUJE TU ČÁST INFORMACE, KTEROU KDYŽ ODSTRANÍME ZE SIGNÁLU, ZE ZBÝVAJÍCÍ ČÁSTI MŮŽEME REKONSTRUOVAT PŮVODNÍ SIGNÁL BEZ ZKRESLENÍ. NAPŘÍKLAD MĚJME SIGNÁL, KTERÝ JE REPREZENTOVÁN NÁSLEDUJÍCÍ SEKVENCÍ VZORKŮ S(N): S(N) = {5,5,5,5,5,5,5,5,2,2,2,2,2,2,2,2,3,3,3,3,3}TUTO SEKVENCI MŮŽEME JEDNOZNAČNĚ POPSAT I POMOCÍ KRATŠÍHO VYJÁDŘENÍ.

NA ZÁKLADĚ TOHO SIGNÁL S(N) MŮŽE BÝT JEDNOZNAČNĚ VYJÁDŘEN POMOCÍ TŘÍ DVOJIC TAKTO : {5,8} {2,8} {3,5}Z TOHOTO KRATŠÍHO VYJÁDŘENÍ NA ZÁKLADĚ ZNALOSTI JEHO STRUKTURY (PRVNÍ ČÍSLO V DVOJICI ZNAMENÁ HODNOTU A DRUHÉ ČÍSLO POČET VZORKŮ) JE MOŽNÉ REKONSTRUOVAT SEKVENCI S(N), ANIŽ BYCHOM ZTRATILI NĚJAKOU INFORMACI.

17

IRELEVANCE

IRELEVANTNÍ INFORMACE JE TA ČÁST INFORMACE, JEJÍŽ NEPŘÍTOMNOST JE

NEPOSTŘEHNUTELNÁ V SIGNÁLU. SIGNÁL PŮVODNÍ A SIGNÁL S ODSTRANĚNOU

IRELEVANTNÍ ČÁSTÍ SE NÁM JEVÍ STEJNĚ, I KDYŽ EXAKTNĚ STEJNÉ NEJSOU.

NEPODSTATNOST

IRELEVANCI UŽ OBNOVOVAT NEMUSÍME

18

f1 kHz

NA FREKVENCI 900 kHz ZAVEDEME DALŠÍ TÓN O NĚCO SLABŠÍ – NAŠE UCHO BUDE MÍT DOJEM, ŽE DRUHÝ TÓN TAM NENÍ…

VYTVOŘENÍ MASKOVACÍHO PRAHU – JESTLIŽE JSME S JINÝMI TÓNY POD TÍMTO PRAHEM TAK JE NESLYŠÍME – NEDOKONALOST NAŠICH ORGÁNŮ

VYSVĚTLENÍ IRELEVANCE

IRELEVANCI UŽ OBNOVOVAT NEMUSÍME – NA PŘIJÍMACÍ STRANĚ BYCHOM JI STEJNĚ NEZAZNAMENALI

19

t

VYSVĚTLENÍ IRELEVANCE V ČASOVÉ OBLASTI

MASKOVACÍ EFEKT V ČASOVÉ OBLASTI

POST MASKOVACÍ EFEKT

PRE MASKOVACÍ EFEKT

DOBA TRVÁNÍ TÓNU

TÓN O NIŽŠÍ INTENZITĚ

20

KAPACITA KANÁLU

DEFINICE

MAXIMÁLNÍ MNOŽSTVÍ INFORMACE, KTERÉ JE MOŽNO PŘENÉST ZA ČASOVOU JEDNOTKU.

Z DEFINICE PLYNE, ŽE POJMU INFORMACE MUSÍME DÁT NĚJAKÝ KVANTITATIVNÍ SMYSL

21

PROBLÉM

CO KDYŽ SE NEDAŘÍ PŘENÉST ZPRÁVY ZE ZDROJE SE ZNÁMOU KAPACITOU ?

JE CHYBA V KAPACITĚ KANÁLU NEBO V KÓDOVÁNÍ ?

JE TŘEBA OHODNOTIT INFORMAČNÍ VYDATNOST ZDROJE A TO DĚLÁME POMOCÍ POJMU ENTROPIE.

22

ENTROPIE

NEURČITOST, NEJISTOTA, NEUSPOŘÁDANOST, STŘEDNÍ HODNOTA MÍRY INFORMACE POTŘEBNÉ K ODSTRANĚNÍ NEURČITOSTI, KTERÁ JE DÁNA KONEČNÝM POČTEM VZÁJEMNĚ SE VYLUČUJÍCÍCH JEVŮ.

INFORMACE DEFINOVÁNA POMOCÍ ENTROPIE – MÍRA URČITOSTI.

23

24

PŘÍKLADY PRO VYSVĚTLENÍ ENTROPIE

ENTROPIE URČITÉHO SYSTÉMU VYJADŘUJE MÍRU JEHO NEUSPOŘÁDANOSTI. PODLE NAŠÍ KAŽDODENNÍ ZKUŠENOSTI MÁ TATO NEUSPOŘÁDANOST STÁLÝ SKLON NARŮSTAT, PONECHÁME-LI VĚCI SAMI O SOBĚ. K TOMU ABYCHOM SE O TOM PŘESVĚDČILI, STAČÍ KDYŽ NA CHVÍLI PŘESTANEME OPRAVOVAT DŮM. NEPOŘÁDEK MŮŽEME ZMĚNIT NA POŘÁDEK (TŘEBA TÍM, ŽE VYMALUJEME), ALE VYŽADUJE TO VYNALOŽIT URČITÉ ÚSILÍ A ENERGII. TYTO MYŠLENKY JSOU PŘESNĚ FORMULOVÁNY VE DRUHÉ VĚTĚ TERMODYNAMICKÉ.

25

PŘÍKLADY PRO VYSVĚTLENÍ ENTROPIE

VE DRUHÉ VĚTĚ TERMODYNAMICKÉ SE ŘÍKÁ, ŽE ENTROPIE IZOLOVANÉHO SYSTÉMU NIKDY NEKLESÁ A ENTROPIE SYSTÉMU, KTERÝ VZNIKL SPOJENÍM DVOU JINÝCH SYSTÉMŮ, PŘEVYŠUJE SOUČET ENTROPIÍ JEDNOTLIVÝCH ČÁSTÍ. NAPŘ. SYSTÉM MOLEKUL PLYNU UZAVŘENÝCH V KRABICI.

26

ENTROPIE VERSUS ŠÁLEK

CHOVÁNÍ ŠÁLKŮ I VŠEHO OSTATNÍHO V NAŠEM SVĚTĚ SE OBVYKLE VYSVĚTLUJE TÍM, ŽE SAMOVOLNÉ SPOJOVÁNÍ ROZBITÝCH HRNEČKŮ JE V ROZPORU S DRUHOU VĚTOU TERMODYNAMICKOU. PODLE NÍ V KAŽDÉM UZAVŘENÉM SYSTÉMU NEUSPOŘÁDANOST ČI ENTROPIE S ČASEM VŽDY VZRŮSTÁ. JDE O JISTOU MODIFIKACI MURPHYHO ZÁKONA, ŽE VĚCI TVRDOŠÍJNĚ SPĚJÍ K HORŠÍMU KONCI. NEPORUŠENÝ ŠÁLEK NA STOLE PŘEDSTAVUJE VYSOCE USPOŘÁDANÝ STAV, ALE KDYŽ LEŽÍ ROZTŘÍŠTĚNÝ NA ZEMI , JE TO STAV NEUSPOŘÁDANÝ

27

PŘÍKLAD 1

MÁME 27 KULIČEK Z NICHŽ 1 JE TĚŽŠÍ. MÁME DVOURAMENNÉ VÁHY BEZ ZÁVAŽÍ. KOLIK VÁŽENÍ BUDE TŘEBA K URČENÍ TĚŽŠÍ KULIČKY ?

ŘEŠENÍ ….ENTROPIE ZÁKLADNÍHO POKUSU…….

28

VE TŘÍDĚ JE 32 ŽÁKŮ Z NICHŽ JEDEN MÁ NAROZENINY. JAKÝM MINIMÁLNÍM POČTEM OTÁZEK, NA KTERÉ MŮŽEME DOSTAT JEN ODPOVĚĎ ANO/NE ZJISTÍME, KTERÝ ŽÁK TO JE ?

PŘÍKLAD 2

29

SMĚŠNÝMI 33 BITY LZE JEDNOZNAČNĚ IDENTIFIKOVAT VŠECHNY LIDI NA ZEMI.

30

SHANNONOVA VĚTA

KDYŽ JE ENTROPIE ZDROJE MENŠÍ, NEŽ KAPACITA KANÁLU, VŽDY EXISTUJE KÓD, KTERÝ UMOŽNÍ PŘENÉST ZPRÁVY ZE ZDROJE PŘES KANÁL A TO S DOSTATEČNOU PŘESNOSTÍ BEZ ZDRŽENÍ.

CLAUDE ELWOOD SHANNON

31

OBRÁCENÁ SHONNONOVA VĚTA

KDYŽ ENTROPIE ZDROJE PŘEVYŠUJE KAPACITU KANÁLU, JE PŘESNÝ PŘENOS PŘES KANÁL BEZ ZDRŽENÍ NEMOŽNÝ

32

KVANTIFIKACE INFORMACE

JAK POPSAT MNOŽSTVÍ INFORMACE VE ZPRÁVĚ ?

JAKO POSLOUPNOS DOVOLENÝCH STAVŮ.

V ABSTRAKTNÍM POJETÍ JE SIGNÁL MNOŽINOU PO SOBĚ JDOUCÍCH POVOLENÝCH STAVŮ (RESP. KOMBINACE STAVŮ) DANÉ FYZIKÁLNÍ VELIČINY.

33

KONKRETIZACE VARIACE S OPAKOVÁNÍM

KDYŽ MÁME NAPŘ. 3 PRVKY 1,2,x, MŮŽEME Z NICH TVOŘIT SKUPINY TAK, ŽE PŘIPUSTÍME, ABY SE KAŽDÝ PRVEK V KAŽDÉ SKUPINĚ OPAKOVAL LIBOVOLNĚKRÁT. KDYŽ PŘITOM BEREME ZŘETEL NA POŘÁDEK, VE KTERÉM JSOU SESTAVENÉ PRVKY V JEDNOTLIVÝCH SKUPINÁCH, HOVOŘÍME O VARIACÍCH S OPAKOVÁNÍM.

Vk(n) = nk

34

PŘÍKLAD 1

MÁME 3 PRVKY

CHCEME JE USPOŘÁDAT DO SKUPIN PO DVOU. KOLIK SKUPIN (VARIACÍ S OPAKOVÁNÍM) MŮŽEME SESTAVIT ?

V2(3)=32

35

PŘÍKLAD Z TEORIE INFORMACEKVANTIFIKACE INFORMACE

SIGNÁL JE SLOŽEN Z n KÓDOVÝCH SLOV „N“ INFORMAČNÍCH PRVKŮ (PRO N=2 HOVOŘÍME O BINÁRNÍ ABECEDĚ)

Nk= POČET POVOLENÝCH KÓDOVÝCH SLOV

NZ = POČET NAVZÁJEM RŮZNÝCH ZPRÁV, KTERÉ JE MOŽNÉ SIGNÁLEM VYJÁDŘIT.

NZ= NK n

36

PŘÍKLAD 2

TELEGRAM VYUŽÍVÁ 32-PRVKOVOU ABECEDU (N=32), KOLIK LZE SESTAVIT RŮZNÝCH TELEGRAMŮ O DÉLCE 50 ZNAKŮ (n=50).

NZ=3250

Z HLEDISKA SÉMANTICKÉHO, KTERÉ JE TEORIÍ INFORMACÍ IGNOROVÁNO, JE VŠAK VĚTŠINA Z TĚCHTO TELEGRAMŮ NESMYSLNÝCH.

37

SAMOSTATNÝ ÚKOL 1

KOLIK JE MOŽNÉ VYTVOŘIT RŮZNÝCH ZVUKOVÝCH KLIPŮ O PARAMETRECH KLIPU „ ZVUK MICROSOFT.WAV“. DÉLKA ZÁZNAMU 7,859 s, ZVUKOVÝ FORMÁT PCM , VZORKOVACÍ KMITOČET 22050 Hz KVANTOVÁNÍ NA 16 BITŮ.

38

ŘEŠENÍ

N = 2 POČET INFORMAČNÍCH PRVKŮNK=16 POČET POVOLENÝCH KÓDOVÝCH SLOVn = 7,859*22050= 173291 POČET KÓDOVÝCH

SLOV(POČET VZORKŮ)

NZ=(216)173291=10834652

V TOMTO POČTU JSOU KROMĚ ZNĚLKY WINDOWS ZAHRNUTY VŠECHNY MOŽNÉ SEGMENTY DANÉ DÉLKY VŠECH EXISTUJÍCÍCH HUDEBNÍCH NAHRÁVEK, I TĚCH KTERÉ TEPRVE BUDOU VYMYŠLENY..

39

SAMOSTATNÝ ÚKOL 2

ODHADNĚTE POČET RŮZNÝCH PŮLMINUTOVÝCH TELEFONNÍCH HOVORŮ. PŘEDPOKLÁDEJTE, ŽE TELEFONNÍ SIGNÁL JE KMITOČTOVĚ OMEZEN DO FM=3,4 kHz A PŘENÁŠEN TECHNIKOU PCM, TJ. VZORKOVÁN 8000 KRÁT ZA SEKUNDU, PŘIČEMŽ KAŽDÝ VZOREK JE KVANTOVÁN 8 BITY.

40

ŘEŠENÍ 2

N = 2

NK=28 = 256

n = 30*8000=240000

NZ=256240000

RŮZNÝCH TELEFONNÍCH HOVORŮ

41

MĚŘENÍ MNOŽSTVÍ INFORMACE

MNOŽSTVÍ INFORMACE OBSAŽENÉ VE ZPRÁVĚ TEDY MĚŘÍME MNOŽSTVÍM ODSTRANĚNÉ NEURČITOSTI (ENTROPIE).

VELIKOST NEURČITOSTI (ENTROPIE) MŮŽEME SPOČÍTAT POMOCÍ NÁSLEDUJÍCÍHO VZORCE:

KDE S JE POČET MOŽNOSTÍ (VARIANT) A P(XI) JE PRAVDĚPODOBNOST VÝSKYTU I-TÉ VARIANTY (100 % = 1).

42

PŘÍKLAD

POČÁTEČNÍ SITUACE: SOUTĚŽÍCÍ V TELEVIZNÍ SOUTĚŽI MÁ NA VÝBĚR ZE ČTYŘ ODPOVĚDÍ NA ZADANOU OTÁZKU. SPRÁVNOU ODPOVĚĎ VŠAK NEZNÁ A DOKONCE ANI ŽÁDNOU VARIANTU NEPREFERUJE.

NEJISTOTA SOUTĚŽÍCÍHO V ZADANÉ OTÁZCE: SPRÁVNÁ ODPOVĚĎ MŮŽE BÝT SE STEJNOU PRAVDĚPODOBNOSTÍ (P(XI) = 0,25) KTERÁKOLIV ZE ČTYŘ NABÍDNUTÝCH.

HODNOTA INFORMAČNÍ ENTROPIE SOUTĚŽÍCÍHO:

25,04225,04

25,0log25,04 2

xHm

43

PŘÍKLAD

NÁSLEDUJÍCÍ SITUACE: SOUTĚŽÍCÍ POŽÁDÁ O NÁPOVĚDU „50 NA 50“, TAKŽE MU ZBUDOU NA VÝBĚR 2 VARIANTY.

NEJISTOTA SOUTĚŽÍCÍHO V TÉTO SITUACI: SPRÁVNÁ ODPOVĚĎ MŮŽE BÝT SE STEJNOU PRAVDĚPODOBNOSTÍ (P(XI) = 0,5) KTERÁKOLIV ZE DVOU ZBÝVAJÍCÍCH.

HODNOTA INFORMAČNÍ ENTROPIE SOUTĚŽÍCÍHO:

POTÉ, CO SE DOZVÍ SPRÁVNOU ODPOVĚĎ, KLESÁ HODNOTA NEURČITOSTI NA NULU.

15,0215,02

5,0log5,02 2

xH m

44

ENTROPIE – ZJEDNODUŠENÝ VZOREC

ENTROPIE NABÝVÁ NEJVYŠŠÍ HODNOTY PŘI STEJNÉ PRAVDĚPODOBNOSTI VÝSKYTU PRVKŮ XI. POTOM PLATÍ:

NEJMENŠÍ JEDNOTKA MÍRY INFORMACE = NEURČITOST REALIZACE JEVU, KTERÝ MÁ JEN DVĚ MOŽNOSTI = 1 BIT (1 B).

45

MNOŽSTVÍ INFORMACE

JEDNOTKOVÉ MNOŽSTVÍ INFORMACE JE 1 SHANNON SE ZKRATKOU Sh

PRŮMĚRNÉ MNOŽSTVÍ INFORMACE PŘIPADAJÍCÍ NA JEDEN PRVEK ZPRÁVY (TZV. ENTROPIE) JE DÁNO VZTAHEM

H = LOG2S

S = POČET PRVKŮ ABECEDY ZDROJE Z NICHŽ KAŽDÝ MA STEJNOU PRAVDĚPODOBNOST VÝSKYTU.

46

LITERATURA

Biolek, D.: Datová komunikace- přednášky 2000 – 2002. Němec, K.: Datová komunikace. Skriptum VUT,

VUTIUM 2000. http://www.elektrorevue.cz/clanky/00009/ Doc.Ing. Václav Žalud. CSc, Přednáška z předmětu

„Mobilní komunikace“ (4.3.2005)

47

OTÁZKY K OPAKOVÁNÍ

DO JAKÝCH SKUPIN SE DĚLÍ TEORIE INFORMACE VYSVĚTLETE PROCES PŘENOSU INFORMACE OD

ZDROJE K PŘÍJEMCI. CO JE TO INFORMACE. CO JE TO ZPRÁVA. VYSVĚTLETE DVOJÍ VÝZNAM INFORMACE. CO JE TO REDUNDANCE. CO JE TO KAPACITA KANÁLU VYSVĚTLETE POJEM ENTROPIE VE VZTAHU K

TEORII INFORMACE. SHANNONOVA VĚTA VE VZTAHU K ENTROPII. CO JE TO KVANTIFIKACE INFORMACE. VARIACE S OPAKOVÁNÍM + PŘÍKLADY