2.1 Diskretni komunikacioni kanal bez smetnji
Ako nema smetnji u komunikacijskom kanalu, tada su ulazni i izlazni signali kanala nedvosmisleno povezani, funkcionalna zavisnost.
U ovom slučaju, uslovna entropija je jednaka nuli, a bezuslovne entropije izvora i prijemnika su jednake, tj. prosječna količina informacija u primljenom simbolu u odnosu na preneseni je
I (X, Y) = H(X) = H(Y); H(X/Y) = 0.
Ako je X T broj simbola u vremenu T, onda je brzina prijenosa informacija za diskretni kanal komunikacija bez smetnji je jednaka
gdje je V = 1/ prosječna brzina prijenosa jednog simbola.
Bandwidth za diskretni komunikacioni kanal bez smetnji
(7)
Jer maksimalna entropija odgovara jednako verovatnim simbolima, tada je širina pojasa za ujednačenu distribuciju i statističku nezavisnost prenesenih simbola jednaka:
. (8)
Šenonova prva teorema za kanal: Ako je tok informacija generiran od strane izvora dovoljno blizu kapaciteta komunikacijskog kanala, tj.
, gdje je proizvoljno mala vrijednost,
tada je uvijek moguće pronaći metodu kodiranja koja će osigurati prijenos svih izvornih poruka, a brzina prijenosa informacija će biti vrlo blizu kapacitetu kanala.
Teorema ne daje odgovor na pitanje kako kodirati.
Primjer 1. Izvor generiše 3 poruke sa vjerovatnoćom:
p 1 = 0,1; p 2 = 0,2 i p 3 = 0,7.
Poruke su nezavisne i prenose se u uniformnom binarnom kodu (m = 2) sa trajanjem simbola od 1 ms. Odredite brzinu prijenosa informacija preko komunikacijskog kanala bez smetnji.
Rješenje: Entropija izvora je
Za prijenos 3 poruke sa uniformnim kodom potrebna su dva bita, a trajanje kombinacije kodova je 2t.
Prosječna brzina signala
V=1/2t=500.
Brzina prijenosa informacija
C = vH = 500×1,16 = 580 [bps].
2.2 Diskretni komunikacioni kanal sa šumom
Razmotrićemo diskretne komunikacione kanale bez memorije.
Kanal bez memorije je kanal u kojem je svaki simbol prenesenog signala pod utjecajem smetnji, bez obzira na to koji su signali prethodno bili preneseni. To jest, interferencija ne stvara dodatne korelativne veze između simbola. Naziv "bez memorije" znači da tokom sledećeg prenosa izgleda da kanal ne pamti rezultate prethodnih prenosa.
U prisustvu smetnji, prosječna količina informacija u simbolu primljene poruke je Y, u odnosu na preneseni simbol X jednaka je:
Za simbol poruke X T trajanja T, koji se sastoji od n elementarnih simbola, prosječna količina informacija u simbolu primljene poruke - Y T u odnosu na odaslanu - X T jednaka je:
I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n )
