1. Vznik a vývoj teorie informace

2. Matematický aparát v teorii informace• Základy teorie pravděpodobnosti – Náhodné veličiny• Číselné soustavy

3. Informace• Základní pojmy – jednotka a zobrazení informace, informační hodnota• Entropie – vlastnosti entropie• Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv• Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy

přenosu, způsoby boje proti šumu

4. Kódování• Elementární teorie kódování• Rovnoměrné kódy – telegrafní kód• Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů• Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda

5. Bezpečností kódy • Zabezpečující schopnosti kódů, • Systematické kódy, • Nesystematické kódy

ZÁKLADY INFORMATIKY – Přenos informaceZÁKLADY INFORMATIKY – Přenos informace

Jednou ze základních operací s informacemi je jejich - Jednou ze základních operací s informacemi je jejich - přenospřenos..

Přenos informacePřenos informace

V 50.letech 20.století C.E.Shannon ukázal, že všechny komunikační V 50.letech 20.století C.E.Shannon ukázal, že všechny komunikační systémy používané v minulosti, přítomnosti i později vytvořené jsou systémy používané v minulosti, přítomnosti i později vytvořené jsou pouze zvláštní případy pouze zvláštní případy obecného komunikačního systému,obecného komunikačního systému, který lze který lze znázornit dle obrázku:znázornit dle obrázku:

zdroj zdroj informaceinformace

příjemce příjemce informaceinformace

vysílačvysílač

(kodér)(kodér)

přijímačpřijímač

(dekodér)(dekodér)

vedenívedení

(kanál)(kanál)

zdroj rušivých zdroj rušivých signálůsignálů

Přenosový kanálPřenosový kanál přenosová cesta informace přenosová cesta informace jakkoli uskutečněná (nezáleží jakkoli uskutečněná (nezáleží na fyzikální realizaci této cesty)na fyzikální realizaci této cesty)

souhrn prostředků sloužících souhrn prostředků sloužících k přenosu signálu od zdroje k k přenosu signálu od zdroje k příjemci příjemci

Forma informace uvnitř kanálu bývá obvykle různáForma informace uvnitř kanálu bývá obvykle různá

od formy vstupující do kanálu a formy informace z od formy vstupující do kanálu a formy informace z

kanálu vystupující. kanálu vystupující.

Informace, či zpráva tedy bývá přeložena do řeči Informace, či zpráva tedy bývá přeložena do řeči

kanálu kanálu kódovánakódována . .

Informace procházející kanálem může nabýt Informace procházející kanálem může nabýt

mnohamnoha různých forem, obsah však zůstává různých forem, obsah však zůstává

nezměněn.nezměněn.

Zdroj musí mít k dispozici zásobu symbolů, ze kterých Zdroj musí mít k dispozici zásobu symbolů, ze kterých zprávu sestaví.zprávu sestaví.

Pro přenos musí být tyto symboly převedeny na Pro přenos musí být tyto symboly převedeny na fyzikální signály, které jsou technicky schopné fyzikální signály, které jsou technicky schopné přenosu přenosu

kódování zprávykódování zprávy do signálů do signálů. .

Po přenosu musí existovat možnost převedení Po přenosu musí existovat možnost převedení signálů signálů do původních symbolůdo původních symbolů

dekódování zprávydekódování zprávy..

Příklad: Uvažujme o telefonním hovoru.

Účastník zjistí konkrétní informaci, zvolí si číslo účastníka, kterému chce tuto informaci předat.

Do sluchátka řekne informaci ve formě akustického spektra (abecedou zdroje jsou akustické prvky řeči).

Telefonní přístroj překóduje jeho řeč do elektrických signálů a vyšle je přenosovým kanálem (telefonní dráty). Přijímací telefonní přístroj dekóduje přijatý elektrický signál zpět do akustického spektra. Příjemce tedy slyší informaci přicházející od zdroje. Informace v přenosu změnila svou formu, ale obsah zůstal zachován.

Obecně můžeme říct, že informaci o Obecně můžeme říct, že informaci o

stavu systému stavu systému XX získáváme získáváme

zprostředkovaně pozorováním zprostředkovaně pozorováním

systému systému YY, , který je se systémem který je se systémem XX

nějak spojen. nějak spojen.

Zpravidla je to Zpravidla je to způsobeno nedostupností systému způsobeno nedostupností systému XX

(např. systém (např. systém XX je tvořen textem telegramu, který je je tvořen textem telegramu, který je

podán na poště v Brně a systém podán na poště v Brně a systém YY je tvořen textem je tvořen textem

přijatého telegramu na poště ve Zlíně).přijatého telegramu na poště ve Zlíně).

Je zřejmé, že stav systému Je zřejmé, že stav systému YY nemusí být totožný se nemusí být totožný se stavem systému stavem systému XX..

Rozdíly mohou být dvojího druhu:Rozdíly mohou být dvojího druhu:

a)a) více některých stavů systému více některých stavů systému XX se zobrazí do se zobrazí do jednoho stavu jednoho stavu YY - nedokáže rozlišit jemnosti - nedokáže rozlišit jemnosti

b) chyby při přenosu zprávy mezi systémy - b) chyby při přenosu zprávy mezi systémy - šumšum

V ideálním sdělovacím systému, ve kterém neexistují V ideálním sdělovacím systému, ve kterém neexistují poruchy, přijatá zpráva přesně souhlasí s vyslanou. poruchy, přijatá zpráva přesně souhlasí s vyslanou.

Ve skutečných systémech, kde působí poruchy se tento Ve skutečných systémech, kde působí poruchy se tento případ nikdy nevyskytuje.případ nikdy nevyskytuje.

To, jak dalece souhlasí přijatý signál s vyslaným, To, jak dalece souhlasí přijatý signál s vyslaným,

charakterizuje charakterizuje spolehlivost spojení.spolehlivost spojení. Při šíření v Při šíření v

prostředí s náhodně se měnícími vlastnostmi signál prostředí s náhodně se měnícími vlastnostmi signál

podléhá náhodnému zkreslení, které nelze zkorigovat. podléhá náhodnému zkreslení, které nelze zkorigovat.

Spolehlivost závisí na poměru výkonu signálu k Spolehlivost závisí na poměru výkonu signálu k

výkonu šumu ve sdělovacím kanálu. Platí, že výkonu šumu ve sdělovacím kanálu. Platí, že

spolehlivost klesá se vzdáleností. spolehlivost klesá se vzdáleností.

Mezní vzdálenostMezní vzdálenost, ve které je ještě splněna daná , ve které je ještě splněna daná

spolehlivost, určuje dosah spojení. Ve sdělovacím spolehlivost, určuje dosah spojení. Ve sdělovacím

systému má tento parametr prvořadý význam. systému má tento parametr prvořadý význam.

myxjim dddd ,...,,, 321

- Základem každého zdroje je ABECEDA.

- Prvky abecedy zdroje se nazývají písmena abecedy.

- Obsahuje-li abeceda zdroje celkem nn různých prvků, pak je tato abeceda charakterizována konečnou množinou prvků

A(n)={ d1, d2, ... , dn }.

-Vytvořené posloupnosti ze znaků abecedy se nazývají zprávy. Libovolnou zprávu danou posloupností mm symbolů pak můžeme zapsat:

Zdroje zprávZdroje zpráv

Počet prvků mm z nichž je složena realizace zprávy nazýváme délkou zprávydélkou zprávy.

Zdroj zpráv může obecně produkovat různé zprávy, které se budou lišit jednak délkou a jednak výskytem jednotlivých prvků na tom kterém místě dané posloupnosti.

Celkový počet možných a navzájem různých realizací zpráv délky mm, které by mohly být produkovány zdrojem s abecedou AA((nn)) bude dán počtem všech možných variací m m symbolů s opakováním, které lze vytvořit z nn prvků.

Pak celkový počet možných zpráv délky mm ze zdroje s abecedou AA((nn)) je:

K nm

Každou dílčí zprávu si můžeme představit jako výběr prvků abecedy zdroje ddii podle příslušných pravděpodobností ppii.

Vzájemným uspořádáním těchto prvků a příslušných pravděpodobností obdržíme tzv. pravděpodobnostní pravděpodobnostní signální polesignální pole. Přitom musí pro celou abecedu zdroje platit:

1pn

1ii

Následuje-li výběr písmen z abecedy zdroje za sebou nezávisle a náhodně, považujeme pravděpodobnostní pole za zdroj informace.zdroj informace.

Každý zdroj informace představuje jistou neurčitost výběru jeho elementárních znaků - písmen. Tato neurčitost zaniká vždy po provedeném výběru, kdy se příslušná pravděpodobnost mění v jistotu.

Stupeň neurčitosti je závislý na organizaci množiny. Neurčitost je tím větší, čím více se blíží rozložení pravděpodobností ppii rozložení rovnoměrnému. Tedy

případu, kdy pp1 1 = p= p22 = ... = p = ... = pnn.

Roste-li počet elementů množiny tvořící zdroj informace - počet písmen abecedy zdroje (a rovnoměrné rozložení pravděpodobnosti je zachováno), neurčitost se rovněž zvyšuje.

n

pdp i

1

na libovolné pozici zprávy a nezávisle na výskytu znaků na jiných pozicích zprávy.

Obecně můžeme zdroje zpráv dělit na:

spojité

diskrétní

Ekvipotencionální zdroj je zdroj nad abecedou AA((nn)), který produkuje všech nn znaků abecedy AA((nn)) se stejnou pravděpodobností:

iiiii dx xwdxxξxP

Má-li abeceda zdroje nekonečný počet prvků, pak takový zdroj nazýváme zdrojem spojitých zpráv.

Obtížné zavedení pojmů množství informace a entropie ( nekonečný počet možných hodnot )

zavedeme pravděpodobnost výskytu hodnot v elementárním intervalu dx.

Pravděpodobnost toho, že se určitá konkrétní hodnota signálu bude vyskytovat v intervalu dxi je daná výrazem :

kde w(xi) dxi vyjadřuje pravděpodobnost spojité náhodné veličiny v elementárním intervalu dxi, který se nazývá

element pravděpodobnosti (diferenciální pravděpodobnost).

Spojité zdroje zprávSpojité zdroje zpráv

Grafické znázornění rozložení pravděpodobnosti výskytu spojitého signálu:

Interval možných hodnot proměnné xx můžeme rozdělit na elementární intervaly ∆x.∆x. Tím dostaneme konečnou množinu intervalů ∆x∆x11, , ∆x∆x22, …, …

xi

w(x)

xxi+1

iii ΔxxwΔxP

ii2i2i Δxxw

1logΔxPlogΔxI

Množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu xxii

můžeme definovat

vztahem :

Tato informace bude mít vždy konečnou hodnotu. Kdyby nás ale zajímala informace získaná přijetím určité konkrétní hodnoty xxii tzn. hodnoty z intervalu xxii00, bude tato informace nekonečně velká - z praktického hlediska to nemá význam.

S každým takovým elementárním intervalem ∆x∆xii můžeme spojit pravděpodobnost výskytu proměnné x x v tomto intervalu :

Místo dopadu střely je ve skutečnosti spojitou náhodnou veličinou, neboť se může vyskytnout v libovolném bodě terče.

Když si terč rozdělíme např. na 12 kvadrantů, tím vlastně diskretizujeme spojitou náhodnou veličinu.

Příklad: Uvažujme o střelbě na terč.

Zásah jednotlivých kvadrantů pokládáme za náhodný. Zajímá nás ale, který kvadrant byl zasažen. To znamená, že můžeme označit zásah i-tého kvadrantu jako jev (zprávu) xxii s pravděpodobností PP((xxii).). Můžeme tedy definovat množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu (kvadrantu) xxii.

Má-li abeceda zdroje konečný počet n možných prvků, pak takový zdroj nazýváme :

zdrojem diskrétních zpráv - diskrétní zdroj.

Pod diskrétním zdrojem zpráv rozumíme zařízení, které vyšle za časovou jednotku právě jeden z konečného počtu signálů.

Jelikož v praktických podmínkách je výhodnější (někdy nutné) používat konečný počet prvků abecedy zdroje, vysvětlíme si jakým způsobem je možné ze zdroje spojitého získat zdroj diskrétní.

Diskrétní zdroje zprávDiskrétní zdroje zpráv

T [C]

t [min]

Spojitou zprávu si můžeme znázornit jako nějakou spojitou časovou funkci. Uvažujme například snímání teploty:

T0

T [C]

T1

T2

T3

T4

T5

t1 t2 t3 t4 t5 t[min]

T = Ti - Ti-1

Představme si nyní, že budou odečítány pouze celistvé hodnoty teplot, lišící se o T [C].

Takováto operace se obecně nazývá kvantování spojité veličiny podle amplitudy a T je šířka kvantizačního intervalu.

T0

T [C]

T1

T2

T3

T4

T5

t1 t2 t3 t4 t5 t[min]

Touto operací jsme docílili toho, že počet prvků abecedy zdroje (tj. T0 , T1, ..., T5) je konečný, to znamená zdroj

můžeme považovat za diskrétní.

Volíme-li však šířku kvantizačních intervalů o něco větší než je chyba měření , pak kvantovaná zpráva bude vyjadřovat stejnou informaci jako její spojitý průběh. (používáme přístroje, které mají vždy konečnou přesnost (neboli měří s jisto chybou ).

Změny kvantované veličiny nastávají v různých časových okamžicích t1, t2, ..., tn.

Z hlediska realizace přenosu zpráv je to ale nevýhodné. Proto se obvykle provádí další operace.

Zdá se, že v tomto případě ztrácíme informaci o jemných podrobnostech zprávy!!!

Představme si, že teplota v předchozím příkladě nebude měřena plynule, ale hodnoty teploty budou odečítány po určitých stejných časových intervalech t.

V tomto v případě bude zdroj produkovat diskrétní číselné hodnoty y1, y2, ...yn, odpovídající okamžitým

hodnotám teploty v časových okamžicích t1, t2, ..., tn.

Takováto operace se nazývá

kvantování spojité veličiny v čase - vzorkování.

y [t]

t1 t2 t3 t4 t5 t[min]

y1

y2

y3 y4

y5

Po vzorkování zůstává ale zpráva pořád spojitým signálem tzn. počet možných amplitud je nekonečně velký.

- Abychom získali vhodný diskrétní signál provedeme

spojení obou předchozích operací.

- Nejprve realizujeme kvantování v čase a pak

kvantování podle amplitudy tj.

kvantování v čase a amplitudě.

Převod spojitého signálu na diskrétní dvojkový signál se nazývá ……..delta kvantování.

Přenosový kanálPřenosový kanál - zprostředkovává předání informace mezi zdrojem a příjemcem.

kodér kodér zdrojezdroje

dekodér dekodér zdrojezdroje

kodér kodér kanálukanálu

dekodér dekodér kanálukanálu

vedenívedení(kanál)(kanál)

zdroj rušivých zdroj rušivých signálůsignálů

Kodér kanálu - jeho úkolem je zabezpečit spolehlivost přenosu tím, že doplňuje informační znaky o přídavné znaky podle určitého algoritmu bezpečnostního kódu. Ten může být buď-to detekční ( příjemce je schopen zjistit, že při přenosu došlo k chybě ), nebo korekční ( příjemce je navíc schopen lokalizovat místo chyby a opravit ji ).

Kodér zdroje - jeho úkolem je provést kódování zprávy s maximální hospodárností tak, aby pro přenos zprávy byl použit co nejmenší počet znaků. (je třeba minimalizovat redundanci zprávy a zvýšit tak její entropii, tj. množství informace na jeden znak).

Kanál - jsou do něj zahrnuty ostatní transformace signálu při přenosu (modulátor a demodulátor, přenosové médium,

působení rušení atd.)

Dekodér kanálu - jeho úkolem je detekovat či opravovat případné chyby při přenosu a rekonstruovat signál tak, aby odpovídal výstupnímu signálu kodéru zdroje.

Dekodér příjemce - jeho úkolem je upravit dekódovanou zprávu na tvar vhodný pro příjemce.

Příkladem je komprese textových souborů před jejich přenosem, častým úkolem kodéru zdroje je převést původní signál – zdroj informace na signál elektrický, případně transformovat jej do digitální podoby (AD převodník).

Systémy přenosu FECSystémy přenosu FEC (Forvard Error Correction, dopředná korekce chyb)

• vystačíme s koncepcí podle předchozího obrázku při současném zabezpečení dat korekčním kódem.

• Není požadován extrémní požadavek na spolehlivost přenosu zprávy (netrváme na správném přenosu „každého bitu“, např. při přenosu řeči) nebo je-li úroveň rušení při přenosu relativně malá,

Zpětnovazební systémy ARQZpětnovazební systémy ARQ (Automatic Request for Repetition, automatická žádost o opakování přenosu)

• požadavky na vysoce spolehlivý přenos dat (např. přenos binárních souborů pomocí INTERNETU)

• doplnění schématu na předchozím obrázku o tzv. zpětnovazební kanál• data zabezpečena většinou pouze detekčním kódem

kodér kodér zdrojezdroje

dekodér dekodér zdrojezdroje

kodér kodér kanálukanálu

dekodér dekodér kanálukanálu

vedenívedení(kanál)(kanál)

zdroj rušivých zdroj rušivých signálůsignálů

Zpětnovazební Zpětnovazební kanálkanál

Zpětnovazební systémy ARQZpětnovazební systémy ARQ Systémy s informační zpětnou vazbou IFB (Information Feedback) – přímým kanálem jsou vysílána pouze nezabezpečená slova zprávy. Zabezpečující část je ponechána v paměti vysílače. Na základě přijatého slova (které může být narušeno) je na straně přijímače vypočtena zabezpečující část, která je vyslána zpětným kanálem k přijímači. Zde dojde k porovnání s údajem v paměti. Je-li výsledek porovnání negativní, vysílání se opakuje. V opačném případě vyšle vysílač pokyn k uvolnění dat v paměti přijímače a pokračuje ve vysílání dalšího slova.Zpráva, která se posílá zpět a která je odvozena od přijatého slova se nazývá kvitance. (v nejjednodušším případě může být kvitancí celé přijaté slovo). Rozhodnutí o případném opakování přenosu tedy vzniká na straně vysílače. Nevýhody: - zpětný kanál musí zabezpečit přenosovou rychlost srovnatelnou s přenosovou rychlostí dopředního kanálu. - zbytečné opakování vysílání, dojde-li k chybě ve zpětném kanálu. Výhoda: vysílání pouze nezabezpečených dat.

Protože k rozhodování o případné chybě dochází na straně vysílače na základě porovnání atributů vyslaného a přijatého slova, tento systém je značně spolehlivý.

Systémy s rozhodovací zpětnou vazbou DFB (Decision Feedback) – přijímač využívá při vyhodnocení správnosti přenosu detekčního kódu.

V případě správného přenosu - vyšle přijímač zpětným kanálem vysílači tzv. poděkování ACK (Acknowledgment).

V případě nesprávného přenosu - zpětnovazebním kanálem je vyslán příkaz NACK (Negative Acknowledgment – negativní poděkování) k opakování přenosu daného slova.

Rozhodnutí o případném opakování přenosu tedy vzniká na straně přijímače. Zpětný kanál přenáší pouze jednoduché řídící příkazy, a proto může být pomalý.

Nevýhodou je, že nejsou opraveny chyby, které daný kód není schopen detekovat. Druh kódu je proto třeba volit velmi pečlivě s ohledem na charakter rozložení chyb.

Podle charakteru přenášené informace dělíme přenosové kanály Podle charakteru přenášené informace dělíme přenosové kanály na:na:Diskrétní Diskrétní - pracují s konečným počtem symbolů

Spojité Spojité - pracují se spojitými veličinami, které mohou nabývat nekonečně mnoho stavů. Spojité kanály mohou také pracovat s diskrétnímdiskrétním, či spojitým časemspojitým časem.

Protože lze všechny typy kanálů redukovat na diskrétní Protože lze všechny typy kanálů redukovat na diskrétní kanály s diskrétním časem budeme nadále sledovat kanály s diskrétním časem budeme nadále sledovat výhradně tento typ.výhradně tento typ.

s diskrétním časem: s diskrétním časem: na výstupu kanálu se objeví symbol v určitém časovém okamžiku,se spojitým časem:se spojitým časem: na výstupu kanálu se objeví symbol v lib. časovém

okamžiku,

Druhy sdělovacích kanálůDruhy sdělovacích kanálů

s pamětí:s pamětí: výsledek přenosu znaku ze vstupu na výstup závisí na předchozích znacích na vstupu. (pravděpodobnost vzniku chyby v časovém okamžiku t závisí na vzniku chyby v časových okamžicích t-1, t-2).

bez paměti: opak kanálu s pamětí.

Z hlediska teorie informace modelujeme přenosový Z hlediska teorie informace modelujeme přenosový kanál podle pravděpodobnosti příjmu vyslané zprávy. Z kanál podle pravděpodobnosti příjmu vyslané zprávy. Z tohoto hlediska můžeme rozdělit kanály na:tohoto hlediska můžeme rozdělit kanály na:

Bezhlukový (bezšumový)Bezhlukový (bezšumový) - kanál, přenášející informaci s naprostou jistotou, tj. s pravděpodobností p = 1

Bezztrátový Bezztrátový - kanál, který nezabezpečuje správný přenos informace a vyslaný symbol se může s různou pravděpodobností změnit na více symbolů na přijímací straně. Nikdy však dva symboly vyslané nepřejdou do téhož symbolu přijatého.

Hlukový (šumový)Hlukový (šumový) - kanál, v němž každý vyslaný symbol může přejít s libovolnou pravděpodobností v jakýkoli symbol na přijímací straně.

Grafické znázornění jednotlivých typů přenosových kanálůGrafické znázornění jednotlivých typů přenosových kanálů

Bezhlukový Bezhlukový (bezšumový)(bezšumový)

BezztrátovýBezztrátový HlukovýHlukový(šumový)(šumový)

Vstup kanáluVstup kanálu je množina znaků {X} spolu s jejich pravděpodobnostmi je množina znaků {X} spolu s jejich pravděpodobnostmi výskytu, které je třeba kanálem přenést.výskytu, které je třeba kanálem přenést. Výstup kanáluVýstup kanálu je množina znaků {Y} spolu s jejich pravděpodobnostmi je množina znaků {Y} spolu s jejich pravděpodobnostmi výskytu, které získává příjemce.výskytu, které získává příjemce. Nejčastěji používáme dvojkových (binárních) symbolů pro Nejčastěji používáme dvojkových (binárních) symbolů pro vyjádření informace. Pokud jsou tedy množiny {X} a {Y} vyjádření informace. Pokud jsou tedy množiny {X} a {Y} dvouprvkové, jedná sedvouprvkové, jedná se- - o binární kanálo binární kanál. .

Model diskrétního sdělovacího kanáluModel diskrétního sdělovacího kanálu

Podmíněné pravděpodobnosti typu Podmíněné pravděpodobnosti typu P(yP(yjj||xxii)) udávají pravděpodobnost přijetí udávají pravděpodobnost přijetí prvku prvku yyjj za podmínky, že byl vyslán za podmínky, že byl vyslán prvek prvek xxii. .

Pravděpodobnosti Pravděpodobnosti P(yP(y11||xx11)) a P(yP(y22||xx22)) jsou pravděpodobnost přijetí znaku y1(y2), byl-li vyslán znak x1(x2) - správně přenesený znak x1(x2)), popisují případy popisují případy správného přenosu – správného přenosu – spolehlivost kanálu.spolehlivost kanálu.

Pravděpodobnosti Pravděpodobnosti P(yP(y22||xx11)) a a P(yP(y11||xx22)) jsou pravděpodobnost přijetí znaku jsou pravděpodobnost přijetí znaku yy22(y(y11), byl-li vyslán znak x), byl-li vyslán znak x11(x(x22) - chybně ) - chybně přenesený znak xpřenesený znak x11(x(x22)), popisují )), popisují případy případy chybného přenosu – chybovost chybného přenosu – chybovost kanálu.kanálu.

xx11P(yP(y11| x| x11))

yy22

yy11

xx22

P(yP(y

22 | x| x11 ))

P(yP(y11| x| x22

))

P(yP(y22| x| x22))

{X} {Y}

Pravděpodobnosti jsou vázány výrazy:Pravděpodobnosti jsou vázány výrazy:

P(yP(y11||xx11)+P(y)+P(y22||xx11)=1)=1 (vyšleme-li x (vyšleme-li x11, pak přijmeme buď y, pak přijmeme buď y11 nebo nebo yy22),),

P(yP(y11||xx22)+P(y)+P(y22||xx22)=1)=1 (vyšleme-li x(vyšleme-li x22, pak přijmeme buď y, pak přijmeme buď y11 nebo nebo yy22). ). Z těchto pravděpodobností lze sestavit Z těchto pravděpodobností lze sestavit (přímou) matici (přímou) matici kanálu:kanálu:

Pokud platí: Pokud platí:

P(yP(y11||xx11)) = P(yP(y22||xx22) = p) = p

P(yP(y22||xx11)) = = P(yP(y11||xx22) = q=1-p ) = q=1-p

pakpak mluvíme o mluvíme o symetrickém binárním symetrickém binárním kanále.kanále.

)x|P(y)x|P(y

)x|P(y)x|P(yK

2221

1211XY

pravděpodobnost pravděpodobnost pp označujeme jako označujeme jako spolehlivost spolehlivost kanálukanálu

pravděpodobnosti pravděpodobnosti qq pak označujeme jako pak označujeme jako chybovost chybovost kanálukanálu

xx11P(yP(y11| x| x11))

yy22

yy11

xx22

P(yP(y

22 | x| x11 ))

P(yP(y11| x| x22

))

P(yP(y22| x| x22))

{X} {Y}

Známe-li pravděpodobnosti výskytů symbolů x1 a x2 na vstupu kanálu P(x1) a P(x2), pak můžeme určit pravděpodobnosti výskytu symbolů y1 a y2 na výstupu kanálu podle:

)x|P(y)P(x)x|P(y)P(x)P(y

)x|P(y)P(x)x|P(y)P(x)P(y

1212222

2121111

xx11P(yP(y11| x| x11))

yy22

yy11

xx22

P(yP(y

22 | x| x11 ))

P(yP(y11| x| x22

))

P(yP(y22| x| x22))

{X} {Y}

Příklad: Symetrický binární kanál bez paměti má spolehlivost 95%. Binární znaky {0, 1} se na vstupu objevují s pravděpodobnostmi P(x1) = P(0) = 0,4, P(x2) = P(1) = 0,6. Vypočtěte pravděpodobnosti výskytu těchto znaků na výstupu kanálu.

Řešení: p = 0,95, q = 0,05,

P(y1)= 0,4 . 0,95 + 0,6 . 0,05 = 0,41 … výskyt nuly na výstupu0,41 … výskyt nuly na výstupu

P(y2)= 0,6 . 0,95 + 0,4 . 0,05 = 0,59 … výskyt jedničky na 0,59 … výskyt jedničky na výstupuvýstupu

Zatím jsme popisovali kanál s orientací ze vstupu na výstup. Zatím jsme popisovali kanál s orientací ze vstupu na výstup. Podobně se dá kanál popsat z pohledu příjemce informace, který Podobně se dá kanál popsat z pohledu příjemce informace, který je na výstupu kanálu. V tomto případě pracujeme s těmito je na výstupu kanálu. V tomto případě pracujeme s těmito pravděpodobnostmi: pravděpodobnostmi:

P(xP(x11||yy11)) - - pravděpodobnost vyslání znaku x1, byl-li přijat znak y1 (správně přenesený

znak x1)

P(xP(x22||yy22)) - pravděpodobnost vyslání znaku x- pravděpodobnost vyslání znaku x22, byl-li přijat znak y, byl-li přijat znak y22 (správně přenesený (správně přenesený

znak xznak x22) )

P(xP(x11||yy22)) - pravděpodobnost vyslání znaku x- pravděpodobnost vyslání znaku x11, byl-li přijat znak y, byl-li přijat znak y22 (chybně přenesený (chybně přenesený

znak xznak x11))

P(xP(x22||yy11)) - pravděpodobnost vyslání znaku x- pravděpodobnost vyslání znaku x22, byl-li přijat znak y, byl-li přijat znak y11 (chybně přenesený (chybně přenesený

znak xznak x22).).

Pro výpočet těchto pravděpodobností platí:Pro výpočet těchto pravděpodobností platí:

P(xi,yj)=P(xi).P(yj|xi) = P(yj).P(xi|yj) i,j = {1,2}

1,2ji, )P(y)P(x

)x|P(y)y|P(xj

iijji

Pravděpodobnosti P(y1) resp. P(y2) se určí pomocí vzorců z předešlého slajdu.

P(xP(xii,y,yjj)) – pravděpodobnost současného výskytu jevů x– pravděpodobnost současného výskytu jevů x ii a y a yjj

– – simultánní pravděpodobnostsimultánní pravděpodobnost

Z těchto pravděpodobností lze pak sestavit Z těchto pravděpodobností lze pak sestavit (zpětnou) matici (zpětnou) matici kanálu:kanálu:

Prvky této matice (na rozdíl od matice KXY) už závisí na pravděpodobnostech výskytu znaků na vstupu x1 a x2.

Po dosazení a úpravě vyjdou konečné vzorce pro symetrický kanál:

)y|P(x)y|P(x

)y|P(x)y|P(xK

2212

2111YX

)x|P(y)P(x)x|P(y)P(x

)y|P(x

222

12122

1

1

)x|P(y)P(x)x|P(y)P(x

)y|P(x

121

22221

1

1

)x|P(y)P(x)x|P(y)P(x

)y|P(x

212

11112

1

1

)x|P(y)P(x)x|P(y)P(x

)y|P(x

111

21211

1

1

Příklad:Příklad: Určete přímou a zpětnou matici symetrického binárního kanálu bez paměti o spolehlivosti 95%. Uvažujte opět P(x1) = P(0) = 0,4, P(x2) = P(1) = 0,6.

0,950,05

0,050,95

pq

qpKXY

0,9661

0,950,60,050,4

1

1)y|P(x 22

0,0339

0,050,40,950,6

1

1)y|P(x 21

0,0732

0,050,60,950,4

1

1)y|P(x 12

0,9268

0,950,40,050,6

1

1)y|P(x 11

Řešení: P(y1|x1)=P(y2|x2)=p = 0,95, P(y1|x2)=P(y2|x1)= q = 0,05

Přímá matice kanálu:

0,96610,0732

0,03390,9268

)y|P(x)y|P(x

)y|P(x)y|P(xK

2212

2111YX

Zpětná matice kanálu:

Příklad:Příklad: Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% z příkladu 20 je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Vypočtěte entropii zprávy na vstupu a výstupu. Řešení: p = 0,95, q = 0,05

P(x1)=P(x2)=0,5 → H(X)=1 bit

Zdálo by se, že jestliže zpráva vstupuje do hlukového kanálu, část jejího informačního obsahu se „ztratí“. Z příkladu však vyplývá, že množství informace je ve vstupní i výstupní zprávě stejné: stejně vyšly entropie, tj. průměrné množství informace na znak, a obě zprávy jsou stejně dlouhé. Problém je v tom, že v důsledku šumu došlo sice k poklesu množství informace při přenosu, hlukový kanál však doplnil do zprávy shodou okolností stejné množství „dezinformace“. Informační obsahy vstupní a výstupní zprávy se jeví jako stejné. Uživatele však zajímá jen množství informace skutečně přenesené od zdroje k příjemci, tzv. vzájemná informace. Její výpočet si usnadníme pomocí tzv. pomocí tzv. podmíněných a simultánních entropií.podmíněných a simultánních entropií.

P(y1)= P(x1).p + P(x2).q = 0,5 . 0,95 + 0,5 . 0,05 = 0,5 → H(Y) = 1

P(y2)= P(x2).p + P(x1).q = 0,5 . 0,95 + 0,5 . 0,05 = 0,5

Neurčitost příjemce na výstupu kanálu o tom, co je vysláno do vstupu, je Neurčitost příjemce na výstupu kanálu o tom, co je vysláno do vstupu, je H(X).H(X). Přečte-li si však výstupní znak a zjistí, že výstup je Přečte-li si však výstupní znak a zjistí, že výstup je yyjj, pak tato neurčitost je , pak tato neurčitost je zmenšena na hodnotu zmenšena na hodnotu H(XH(X||yyjj).). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu).

PPodmíněná entropie vstupního souboru odmíněná entropie vstupního souboru {X}{X} při známém výstupu při známém výstupu yyjj::

Podmíněné a simultánní entropiePodmíněné a simultánní entropie

Zprůměrujeme-li entropie pro všechny možné výstupy Zprůměrujeme-li entropie pro všechny možné výstupy yyjj, dostaneme tzv. , dostaneme tzv. podmíněnou entropii vstupu po čtení výstupu: podmíněnou entropii vstupu po čtení výstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se „ztratilo“ na cestě od vstupu kanálu k příjemci)

)]y|P(x log)y,P(x)y|P(x log)y,P(x

)y|P(x log)y,P(x)y|P(x log)y,[P(xY)|H(X

2222212212

2122111211

i

ji2j

jij

jj )y|P(x log)y,P(x- )y|H(X)P(yY)|H(X

j

ji2jij )y|P(x log)y|P(x)y|H(X

Konkrétně pro binární kanál vede dvojitá suma na:Konkrétně pro binární kanál vede dvojitá suma na:

Podmíněná entropie vstupu po čtení výstupu představuje průměrnou neurčitost pozorovatele o stavu vstupu kanálu po přečtení výstupu. Před přečtením byla jeho neurčitost H(X). Rozdíl těchto hodnot je tedy informace o vstupu, kterou pozorovatel získal čtením a která „prošla“ kanálem k příjemci. Hovoříme oHovoříme o vzájemné vzájemné informaci ze vstupu na výstup I(X,Y):informaci ze vstupu na výstup I(X,Y):

[bit] Y)|H(XH(X)Y)I(X,

Příklad:Příklad: Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% je Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Entropie zprávy na vstupu i výstupu je 1 bit (viz nezávisí na předchozích znacích. Entropie zprávy na vstupu i výstupu je 1 bit (viz předchozí příklad). Vypočtěte průměrné množství informace na znak zprávy, které předchozí příklad). Vypočtěte průměrné množství informace na znak zprávy, které se „ztratí“ na cestě od vstupu kanálu k příjemci, a vzájemnou vstupně-výstupní se „ztratí“ na cestě od vstupu kanálu k příjemci, a vzájemnou vstupně-výstupní informaci. informaci. Řešení: P(y1|x1)=P(y2|x2)=p = 0,95, P(y1|x2)=P(y2|x1)= q = 0,05

P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit

Pravděpodobnosti ze zpětné matice kanálu:

Nejprve vypočteme simultánní pravděpodobnosti P(xi,yj), které budeme potřebovat pro výpočet H(XH(X||Y).Y).

P(x1,y1)= P(x1).P(y1|x1) = 0,5 . 0,95 = 0,475 P(x1,y2)= P(x1).P(y2|x1) = 0,5 . 0,05 = 0,025P(x2,y1)= P(x2).P(y1|x2) = 0,5 . 0,05 = 0,025 P(x2,y2)= P(x2).P(y2|x2) = 0,5 . 0,95 = 0,475

0,950,50,5

0,95 )P(y)P(x

)x|P(y)y|P(x1

11111 0,05

0,50,5

0,05 )P(y)P(x

)x|P(y)y|P(x2

11221

0,050,50,5

0,05 )P(y)P(x

)x|P(y)y|P(x1

22112 0,95

0,50,5

0,95 )P(y)P(x

)x|P(y)y|P(x2

22222

bit 0,2860,95]log0,4750,05log0,0250,05log0,0250,95log[0,475

)]y|P(x log)y,P(x)y|P(x log)y,P(x

)y|P(x log)y,P(x)y|P(x log)y,[P(xY)|H(X

2222

2222212212

2122111211

Podmíněná entropie vstupu po čtení výstupu:

[bit] 0,7140,286-1Y)|H(XH(X)Y)I(X, Vzájemná informace ze vstupu na výstup:

Pokud se díváme na problém přenosu Pokud se díváme na problém přenosu z pozice vysílače informace na vstupu kanáluz pozice vysílače informace na vstupu kanálu je pak neurčitost pozorovatele na vstupu kanálu o tom, co je přijato na výstupu je pak neurčitost pozorovatele na vstupu kanálu o tom, co je přijato na výstupu H(Y).H(Y). Zjistí-li však, že byl vyslán znak Zjistí-li však, že byl vyslán znak xxii, pak tato neurčitost je zmenšena na hodnotu , pak tato neurčitost je zmenšena na hodnotu H(YH(Y||xxii).). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu).

PPodmíněná entropie výstupního souboru odmíněná entropie výstupního souboru {Y}{Y} při známém vstupu při známém vstupu xxii::

Zprůměrujeme-li entropie pro všechny možné vstupy Zprůměrujeme-li entropie pro všechny možné vstupy xxii, dostaneme tzv. , dostaneme tzv. podmíněnou entropii výstupu po čtení vstupu: podmíněnou entropii výstupu po čtení vstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se do výstupní zprávy dostalo rušivým působením kanálu a které nemá původ ve vstupní zprávě.)

)]x|P(y log)y,P(x)x|P(y log)y,P(x

)x|P(y log)y,P(x)x|P(y log)y,[P(xX)|H(Y

2222221212

1222111211

i

ij2j

jii

ii )x|P(y log)y,P(x- )x|H(Y)P(xX)|H(Y

i

ij2iji )x|P(y log)x|P(y)x|H(Y

Konkrétně pro binární kanál vede dvojitá suma na:Konkrétně pro binární kanál vede dvojitá suma na:

Podmíněná entropie výstupu po čtení vstupu představuje průměrnou neurčitost pozorovatele o stavu výstupu kanálu po přečtení vstupu. Před přečtením byla jeho neurčitost H(Y). Rozdíl těchto hodnot je tedy informace o výstupu, kterou pozorovatel získal čtením vstupu a která „prošla zpět“ kanálem z výstupu k příjemci. Nazvěme ji vzájemnou informací z výstupu na vstup I(Y,X):vzájemnou informací z výstupu na vstup I(Y,X):

[bit] X)|H(YH(Y)X)I(Y,

Neurčitost pozorovatele, který pozoruje „nad kanálem“ zároveň vstupy i výstupy, o Neurčitost pozorovatele, který pozoruje „nad kanálem“ zároveň vstupy i výstupy, o stavech těchto vstupů a výstupů je označována jako: stavech těchto vstupů a výstupů je označována jako:

Simultánní entropie vstupního a výstupního souboru:Simultánní entropie vstupního a výstupního souboru:

Dá se přesně určit pomocí entropií podmíněných:

i

ji2j

ji )y,P(x log)y,P(xY)H(X,

H(X,Y)=H(X)+H(YH(X,Y)=H(X)+H(Y|X|X))

Neurčitost pozorovatele o stavech X a Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením vstupu, tj. Y se dá snížit přečtením vstupu, tj. získáním informace H(X). To, co zbude, získáním informace H(X). To, co zbude, je neurčitost o stavu Y za podmínky, že je neurčitost o stavu Y za podmínky, že jsme již přečetli vstup.jsme již přečetli vstup.

H(X)-H(X|Y)=H(Y)-H(Y|X)

I(X,Y)=I(Y,X)

vzájemná vstupně-výstupní informace

H(X,Y)=H(Y)+H(XH(X,Y)=H(Y)+H(X||Y)Y)

Neurčitost pozorovatele o stavech X a Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením výstupu, tj. Y se dá snížit přečtením výstupu, tj. získáním informace H(Y). To, co zbude, získáním informace H(Y). To, co zbude, je neurčitost o stavu X za podmínky, že je neurčitost o stavu X za podmínky, že jsme již přečetli výstup.jsme již přečetli výstup.

H(X) H(Y

)

H(Y|X)

H(X|Y)

Dezinformace dodadá hlukovým kanálem

Ztráta informace

H(X

,Y)

I(X

,Y)

Schéma informačních poměrů v hlukovém Schéma informačních poměrů v hlukovém kanálukanálu

minmin{H{H(X),H(Y)(X),H(Y)}} ≤ H(X,Y) ≤ H(X)+H(Y)≤ H(X,Y) ≤ H(X)+H(Y)

Příklad:Příklad: Vypočtěte vzájemnou vstupně-výstupní informaci a podmíněné entropie H(Y|X) a H(X|Y) pro binární symetrický kanál bez paměti o spolehlivosti:

a) 100% b) 50% c) 0%

za předpokladu stejných pravděpodobností výskytu symbolů na vstupu. Řešení: P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit

P(y1|x1)=P(y2|x2)=p, P(y1|x2)=P(y2|x1)= q

Z předchozího příkladu je zřejmé, že při předpokladu stejné pravděpodobnosti výskytu znaků platí:

P(x1,y1)= P(x1).P(y1|x1) = 0,5 . pP(x2,y2)= P(x2).P(y2|x2) = 0,5 . PP(x1,y2)= P(x1).P(y2|x1) = 0,5 . qP(x2,y1)= P(x2).P(y1|x2) = 0,5 . q

P(x1|y1)= P(y1|x1) = pP(x2|y2)= P(y2|x2) = PP(x1|y2)= P(y2|x1) = qP(x2|y1)= P(y1|x2) = q

qlogqplogp-p] logp0,5q logq0,5q logq0,5p logp[0,5

)]y|P(x log)y,P(x)y|P(x log)y,P(x)y|P(x log)y,P(x)y|P(x log)y,[P(xY)|H(X

222222

22222122122122111211

I(X,Y)=1+p.log2p+q.log2q

Ad a) p=1, q=0H(X|Y)=H(Y|X)=0I(X,Y)=1

Ad b) p=0,5, q=0,5H(X|Y)=H(Y|X)=1I(X,Y)=0

Ad c)p=0, q=1H(X|Y)=H(Y|X)=0I(X,Y)=1

Totožnost informačních schémat a) a c) je zarážející jen na první pohled.

Případ c) znamená, že při vyslání jedničky je vždy přijata nula a naopak. Kanál má tedy stoprocentní spolehlivost, jen je třeba uvažovat „inverzní“ kód. Pro případ b) není žádná statistická souvislost mezi vstupem a výstupem, čemuž odpovídá nulová vzájemná informace. Kanál je tedy pro přenos informace neprůchodný . Můžeme si ověřit, že nula vyjde při libovolném rozložení pravděpodobností P(x1) a P(x2).

Informační poměry v kanálu pro předchozí příklad pro spolehlivost kanálu a) 100%, b) 50%, c) 0%.

Příklad:Příklad: Vypočtěte entropii na vstupu a výstupu a vzájemnou vstupně-výstupní informaci pro binární symetrický kanál bez paměti o spolehlivosti P, jestliže jedničky a nuly se objevují na vstupu s pravděpodobnostmi:

a) stejnými, b) P(1) = 1, P(0) = 0.

Řešení: Ad a) Ad a) P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit

P(y1|x1)=P(y2|x2)=p, P(y1|x2)=P(y2|x1)= q

Z předchozího příkladu platí:H(X|Y)= H(Y|X)=-p.log2 p - q.log2 q

I(X,Y)=H(X)+H(X|Y)=1+p.log2 p + q.log2 q

Ad b) Ad b) P(x1)=1, P(x2)=0 → H(X)=0 bit

P(y1)=P(x1).p+P(x2).q=p →P(y2)=P(x2).p+P(x1).q=q

H(Y)=-p.log2 p - q.log2 q I(X,Y)=0

Schopnost kanálu přenášet informaci se popisuje veličinou nazývanou propustnost neboli kapacita kanálu.

Kapacita kanálu C je maximální možná vzájemná informace, kterou můžeme „protlačit“ tímto kanálem při uvažování všech možných statistických vlastností vstupních informačních posloupností. Pro stacionární diskrétní kanál bez paměti stačí hledat maximum vzájemné informace pro různá rozložení pravděpodobnosti vstupních znaků: Y)I(X,maxC

)P(xi

Vlastnosti přenosových kanálůVlastnosti přenosových kanálů

K tomuto maximu dochází při rovnoměrném rozdělení pravděpodobností. V případě symetrického binárního kanálusymetrického binárního kanálu pak musí být proto kapacita dána vzorcem:

bit q logqp logp1C 22

Příklad:Příklad: Telefonní signál je modulací PCM přenáš en symetrický m Telefonní signál je modulací PCM přenáš en symetrický m binárním kanálem. Je požadována chybovost přenosu BER binárním kanálem. Je požadována chybovost přenosu BER << 10 10-4-4. . Navrhněte kapacituNavrhněte kapacitu kan kanálu. álu.

Řešení:

BER (Bit Error Rate) je možné pro tento případ ztotožnit s chybovostí kanálu Q: Q = 10-4,

C’ ≥ 1 + (1-10-4) log2(1-10-4) + 10-4 log210-4 ≈ 0,9985 bit.

Minimální možná délka signálových prvků Minimální možná délka signálových prvků , při které lze ještě , při které lze ještě realizovat bezchybný přenos takových prvků, souvisí pouze s realizovat bezchybný přenos takových prvků, souvisí pouze s fyzikálními parametry kanálu. Na základě Kotelnikova teorému fyzikálními parametry kanálu. Na základě Kotelnikova teorému dostaneme pro minimální možnou délku signálových prvků dostaneme pro minimální možnou délku signálových prvků 00

vztah:vztah:

m0 F2

1τ

kde FFmm je mezní frekvence.

Je-li informační znak realizován signálovým prvkem délky , je možné vyjádřit kapacitu kanálu v bit/s jako množství informace přenesené za jednotku času:

bit/s C

C

Maximální možná kapacita binárního kanálu je 1 bit a dochází k ní při stoprocentní spolehlivosti kanálu. Při spolehlivosti 50% je kanál nepropustný . Další snižování spolehlivosti směrem k nule však vede na růst kapacity až k maximu 1 bit v důsledku „inverzního kódování“,

Závislost kapacity symetrické ho binárního kanálu na jeho spolehlivosti.

Propustnost je tedy rovna největší (maximální) informaci, která může být přenesena za jednotku času při nulové redundanci (nadbytečnosti) kódu.

To znamená, že žádným kanálem nelze za jednotku času poslat větší informaci, než je jeho propustnost.

Je-li kód redundantní, nelze využít ani celé propustnosti kanálu. Je-li kanál sestaven z několika přenosových členů, je maximální propustnost dána propustností členu s nejmenší propustnosti.

Úkolem teorie informace je, aby přes informační přenosový Úkolem teorie informace je, aby přes informační přenosový kanál byla přenesena maximální informace za co nejkratší dobu.kanál byla přenesena maximální informace za co nejkratší dobu.

I. V případě kanálu bez rušivých procesů pro maximální hodnotu informace IX→Y platí:

X0

YX0

Hmax τ

1Imax

τ

1C

Po dosazení za entropii HHXX:

nlogxPlogxPH 2

n

1ii2iX

kde n je celkový počet možných stavů systému X

nlogF2nlogτ

1C 2m2

0

Maximální množství informace, které lze takovým kanálem Maximální množství informace, které lze takovým kanálem přenést za dobu přenést za dobu TT pak bude: pak bude:

bit nlogΔTF2ΔTCI 2mmax

Propustnost kanálu bez rušivých procesů pak bude dána Propustnost kanálu bez rušivých procesů pak bude dána vzorcem:vzorcem:

Rozdíl mezi informací, kterou vložíme na vstup a informací, kterou přijmeme na výstupu z kanálu se nazývá šumšum nebo poruchaporucha.

Protože šum je statistická veličina a práce s takovou veličinou přesahuje náplň tohoto předmětu, dále pouze naznačíme postup v takovémto případu.

II. V případě kanálu za přítomnosti rušivých procesů:

Stanovení propustnosti kanálu za přítomnosti rušivých procesů je v obecném případě velmi složité.

Doposud jsme informační řetězec považovali za Doposud jsme informační řetězec považovali za bezporuchovýbezporuchový. . Nic reálného však není ideální. Nic reálného však není ideální.

Při přenosu se objevují různé Při přenosu se objevují různé poruchy, závady, chyby,poruchy, závady, chyby, zkreslení zkreslení nebo šumy.nebo šumy.

PORUCHA – úplná nebo částečná – znamená přerušení přenosové cesty tím, že systém ztrácí schopnost pracovat v přípustných mezích

Poruchy a šumy přenosuPoruchy a šumy přenosu

ŠUM - je to veličina, která snižuje kvalitu kanálu a zmenšuje velikost přenesené informace za jednotku času.

U přenosových zařízení proto rozlišujeme U přenosových zařízení proto rozlišujeme

spolehlivost spolehlivost aa bezpečnost bezpečnost..

Šumy jsou poruchy náhodné povahy, které působí při přenosu Šumy jsou poruchy náhodné povahy, které působí při přenosu na signál, který více či méně zkreslují. na signál, který více či méně zkreslují.

Jsou to stochastické (náhodné) procesy, pro něž předpokládáme Jsou to stochastické (náhodné) procesy, pro něž předpokládáme podmínku podmínku stacionárnostistacionárnosti. (nemění se střední hodnota . (nemění se střední hodnota náhodného procesu v čase a autokorelační je funkce závislá náhodného procesu v čase a autokorelační je funkce závislá pouze na časovém posunutí T)pouze na časovém posunutí T)

Rozeznáváme šumy nejrůznější fyzikální povahynejrůznější fyzikální povahy, např.• šum tepelný – vířivý pohyb elektronů ve vodičích

• šum polovodičů • přeslechy – nerovnováha mezi souběžnými vedeními

• šumy impulsové povahy – atmosférické poruchy, chvění kontaktů

Šumy přenosuŠumy přenosu

- pohyb volných částic se záporným nábojem ve vodičích

Hovoříme o tzv. Johnsonově tepelném šumutzv. Johnsonově tepelném šumu, který je nejčastější složkou šumu pří frekvencích přibližně od 1–100kHz.

Jde o šum v rezistorech vytvářející přídavná šumová napětí podle vztahu:

kde k - Bolzman.konstanta T - absolutní teplota ∆f – frekvenční pásmo Ri – odpor kde šum vzniká

Tepelný šumTepelný šum

ii RΔfTk2U

1)1) teplotně závislý a je dán typem polovodičového materiálu použitého při výrobě přechodu. Hovoříme o tzv.Schotkyho šumutzv.Schotkyho šumu vznikající na přechodu polovodič – kov ve zhruba shodném frekvenčním rozsahu.

Polovodičový šumPolovodičový šum

2)2) tzv. šum 1/ftzv. šum 1/f - lze rozdělit podle pásem, v nichž se vyskytuje.• SUBAKUSTICKÝ ŠUM 1/f - pro pásmo 0,01-1 Hz• ŠIROKOPÁSMOVÝ ŠUM 1/f - pro frekv. pásmo 10Hz-10kHz

3)3) tzv.INTERFERENČNÍ ŠUMtzv.INTERFERENČNÍ ŠUM – vznikající při síťovém napájení v zapojeních se spínanými pulsními zdroji. Jedná se zde o frekvence do 1 kHz. K tomuto šumu velkou měrou přispívá rovněž konstrukční uspořádání zařízení, jako je typ transformátoru (toroidní jádro nebo klasické jádro z plechů EI). Nejčastěji se jedná o rušivý šum kmitočtu 50 Hz, tedy síťového kmitočtu a jeho násobků.

• průnik jisté části informace/signálu jednoho přenosového kanálu do jiného přenosového kanálu.

• dochází ke vzájemné degradaci obou přenosových cest pokud jde o kvalitu přenášeného signálu. (to je samozřejmě nežádoucí jev, kterému je nutno zabránit nebo alespoň jej pokud možno co nejvíce omezit).

PřeslechyPřeslechy

Jaké jsou možnosti omezení přeslechů:

Nejradikálnějším řešením je důsledné oddělení všech kanálů jak elektricky tak mechanicky.V praxi to znamená, že každý kanál pracuje jako monoblok se svým zdrojem. (přirozeně nejvíce nákladné řešení bez kompromisů).

je nutné zjistit velikost šumového napětí v poměru je nutné zjistit velikost šumového napětí v poměru k napětí výstupnímu a pak už jen dosadit do níže k napětí výstupnímu a pak už jen dosadit do níže uvedeného vztahu a dostáváme velikost odstupu uvedeného vztahu a dostáváme velikost odstupu v dBv dB /SNR – signal to noise ratio/./SNR – signal to noise ratio/.

výstupní napětí U1 - rozumí se maximální napětí šumové napětí U2 - napětí při odpojeném vstupním zdroji

Způsoby zjištění velikosti šumuZpůsoby zjištění velikosti šumu

1

2

UU

log20dBO

Praktická realizace: Na vstup připojíme zdroj signálu a zvyšujeme úroveň signálu až do limitace. Na výstup řetězce připojíme měřicí zařízení na kterém odečteme velikost výstupního signálu ještě před limitací.Poté odpojíme zdroj a vstup zatížíme jmenovitou vstupní impedancí a rovněž odečteme hodnoty na výstupu.Tento způsob měření úrovně šumu má obecnou platnost jak pro elektroakustická zařízení tak i pro zařízení pro přenos obecného signálu.

- je analýzou o tom jak šum proniká ze vstupu na výstup zařízení, výstupní šum se pak může přepočítávat přes vstupně výstupní přenos zpět na vstup zařízení - předmětem šumové analýzy jsou výhradně vnitřní zdroje šumů a způsoby jejich šíření obvodem, vstupní obvody jsou uvažovány jako bezšumové.

Pozn: Rezistory a polovodiče, které tvoří principielní základ každého zařízení jsou sami o sobě vždy zdroji vlastního šumu..

Šumová analýzaŠumová analýza

Pro tyto účely uvažujeme tři druhy šumu:• Tepelný šum rezistorůTepelný šum rezistorů• Blikavý šum v polovodičíchBlikavý šum v polovodičích• Výstřelový šum v polovodičíchVýstřelový šum v polovodičích

Šum je signál náhodně se měnící v čase ale se stejnými statickými vlastnostmi. Popisujeme je buď časovými průběhy nebo spektrálními charakteristikami (hustota pravděpodobnosti – pravděpodobnosti rozdělení hodnot šumu).

ohraničuje plochu, která udává pravděpodobnost výskytu šumu v daném rozmezí hodnot.

Gaussovo rozložení parametry této křivky jsou směrodatná odchylka šumu a

disperze šumu D. plocha pod celou křivkou je jednotková, čemuž odpovídá

stoprocentní pravděpodobnost, že mezivrcholová hodnota šumu se bude nacházet někde v intervalu šumových napětí (-∞, ∞)

Hustota pravděpodobnosti šumuHustota pravděpodobnosti šumu

směrodatná odchylka šumu (sigma - σ) – efektivní hodnota šumu

disperze šumu D – činný výkon šumu do jednotkové zátěže

Nejpravděpodobnější hodnota šumu je nula, což je současně průměrná střední hodnota šumu, hodnoty šumu hodně vzdálené od nuly jsou jak patrno málo pravděpodobné.

Pravděpodobnost, že šumový signál překročí hladiny ± 2,5 sigma, neboli, že jeho vrcholová hodnota nebude větší než 5 sigma je jen asi 1,2%

Pro 6 sigma je pravděpodobnost jen asi 0,27 % a pro 10 sigma vychází asi 6.10–5 %

Rozložení hodnot šumu

V praxi je nutné zabývat se otázkou, do jaké míry je možno šum v kanálu potlačit.

Šum může být rozličné fyzikální podstaty a rozličné struktury.

Je třeba si uvědomit, že šum může vznikat jednak v kanále a jednak mimo kanál a do kanálu pouze pronikat.

Způsoby boje proti šumuZpůsoby boje proti šumu

Chceme-li zvětšit velikost informace u kanálů s rušivými vlivy, jsou dva hlavní způsoby:

Zvětšíme propustnost – buď znásobíme kanál

(zvýšíme počet jeho prvků), nebo jej technicky

zdokonalíme.

Snížíme počet vysílaných znaků – nejde o to,

posílat např. impulsy pomalejší frekvence,

musíme zpomalit přenos např. větší redundancí.

1. Volba technických prostředků, které realizují kanál (např. pošta-kurýr, telefon-rádiové spojení, pneumatický regulační systém-elektrický regulační systém ...) v souvislosti s podmínkami, ve kterých

bude kanál pracovat; tj. zároveň volba trasy kanálu.

2. Zvýšení spolehlivosti systému použitím dokonalé výrobní technologie, technologických prostředků (koaxiální vodiče, optické vedení).

Několik kroků jak řešit problémy šumu:Několik kroků jak řešit problémy šumu:

3. Zálohování - zvýšení spolehlivosti systému vhodnou volbou struktury systému (může jít o zálohování některých poruchových součástek např. dvojí montáž kol nákladních automobilů, nebo celých obvodů např. řídicí počítač zálohován regulátory, nebo celého systému např. vojenské spojení).

4. Zvýšení spolehlivosti systému pravidelnou kontrolou a preventivní údržbou - výměna součástí při opotřebení ještě před poruchou (turbíny ve vodních elektrárnách).

5. Zvětšení odstupu signál - šum tj. zvětšením úrovně signálu (zvýšení hlasu na přednášce, zvětšení písma na tabuli, přechod od 0 na 20 mA).

6. Volba vhodného nosiče informace - šum s nositelem signálu nebude aditivní (volba pneumatického signálu v prostředí silného elektromagnetického rušení).

7. Vhodná volba kódu - touto otázkou se budeme zabývat v následující kapitole.

8. Filtrace signálu - oddělení frekvenčního (nebo jiného) pásma s podstatně menším šumem (rádio - přijímač).

9. Kompenzace - je-li vznik šumu vázán nějakou zákonitostí a je-li známo místo vzniku (teplotní kompenzace měřidel).

10. Stínění - je-li zdroj šumu mimo kanál a vstupuje do kanálu z vně (elektromagnetické stínění).