2.1 Diskretni komunikacijski kanal bez smetnji
Ako u komunikacijskom kanalu nema smetnji, tada su ulazni i izlazni signali kanala jednoznačno povezani, funkcionalna ovisnost.
U ovom slučaju uvjetna entropija jednaka je nuli, a bezuvjetne entropije izvora i primatelja jednake su, tj. prosječna količina informacija u primljenom simbolu u odnosu na odaslani je
I (X, Y) = H(X) = H(Y); H(X/Y) = 0.
Ako je X T broj simbola tijekom vremena T, tada je brzina prijenosa informacija za diskretni kanal komunikacija bez smetnji jednaka je
gdje je V = 1/ – prosječna brzina prijenosa jednog simbola.
Širina pojasa za diskretni komunikacijski kanal bez smetnji
(7)
Jer maksimalna entropija odgovara jednako vjerojatnim simbolima, tada je protok za jednoliku distribuciju i statističku neovisnost prenesenih simbola jednak:
. (8)
Shannonov prvi teorem za kanal: Ako je protok informacija koji generira izvor dovoljno blizu kapaciteta komunikacijskog kanala, tj.
, gdje je proizvoljno mala vrijednost,
tada uvijek možete pronaći metodu kodiranja koja će osigurati prijenos svih izvornih poruka, a brzina prijenosa informacija bit će vrlo blizu kapaciteta kanala.
Teorem ne odgovara na pitanje kako izvršiti kodiranje.
Primjer 1. Izvor proizvodi 3 poruke s vjerojatnostima:
p 1 = 0,1; p 2 = 0,2 i p 3 = 0,7.
Poruke su neovisne i prenose se u uniformnom binarnom kodu (m = 2) s trajanjem simbola od 1 ms. Odrediti brzinu prijenosa informacija putem komunikacijskog kanala bez smetnji.
Rješenje: Entropija izvora je
Za prijenos 3 poruke s jedinstvenim kodom potrebne su dvije znamenke, a trajanje kodne kombinacije je 2t.
Prosječna brzina signala
V =1/2t = 500.
Brzina prijenosa informacija
C = vH = 500×1,16 = 580 [bit/s].
2.2 Diskretni komunikacijski kanal sa smetnjama
Razmotrit ćemo diskretne komunikacijske kanale bez memorije.
Kanal bez memorije je kanal u kojem je svaki simbol odaslanog signala pod utjecajem smetnji, bez obzira na to koji su signali bili prethodno odaslani. To jest, interferencija ne stvara dodatne korelativne veze između simbola. Naziv "bez memorije" znači da se čini da se tijekom sljedećeg prijenosa kanal ne sjeća rezultata prethodnih prijenosa.
U prisustvu smetnji, prosječna količina informacija u primljenom simbolu poruke - Y, u odnosu na odaslanu - X jednaka je:
Za simbol poruke X T trajanja T, koji se sastoji od n elementarnih simbola, prosječna količina informacija u primljenom simbolu poruke - Y T u odnosu na odaslanu - X T jednaka je:
I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n)
