Kapacitet sistema za prenos informacija

Jedna od glavnih karakteristika svakog sistema za prenos informacija, osim gore navedenih, jeste njegov kapacitet.

Širina pojasa je maksimalna moguća količina korisnih informacija koje se prenose po jedinici vremena:

c = max (Imax) / TC,

c = [bps].

Ponekad se brzina prijenosa informacija definira kao maksimalna količina korisnih informacija u jednom elementarnom signalu:

s = max (Imax) / n,

s = [bit / element].

Razmatrane karakteristike zavise samo od komunikacijskog kanala i njegovih karakteristika i ne zavise od izvora.

Širina pojasa diskretnog komunikacionog kanala bez smetnji. U komunikacijskom kanalu bez smetnji, informacije se mogu prenijeti neredundantnim signalom. U ovom slučaju, broj n = m, a entropija elementarnog signala HCmax = logK.

max (IC) = nHCmax = mHCmax.

Trajanje čipa, gdje je trajanje čipa.

gdje je FC spektar signala.

Propusnost komunikacijskog kanala bez smetnji

Hajde da uvedemo koncept brzine generisanja elementarnog signala od strane izvora informacija:

Zatim, koristeći novi koncept, možete transformirati formulu za brzinu prijenosa informacija:

Rezultirajuća formula određuje maksimalnu moguću brzinu prijenosa informacija u diskretnom komunikacijskom kanalu bez smetnji. Ovo proizilazi iz pretpostavke da je entropija signala maksimalna.

Ako HC< HCmax, то c = BHC и не является максимально возможной для данного канала связи.

Širina pojasa diskretnog komunikacionog kanala sa smetnjama. U diskretnom komunikacijskom kanalu sa smetnjama, situacija prikazana na Sl. 6.

Uzimajući u obzir svojstvo aditivnosti, kao i Shanonove formule za određivanje količine informacija o kojima je bilo riječi, možemo napisati

IC = TC FC dnevnik (AK PC),

IPOM = TP FP dnevnik (APP).

Za prijemnik, izvor korisnih informacija i izvor smetnji su ekvivalentni, stoga je nemoguće odvojiti komponentu smetnje u signalu sa rezultirajućim informacijama na prijemnoj strani.

IPES = TC FC log (AK (PP + PC)), ako je TC = TP, FC = FP.

Prijemnik može biti uskopojasni, a smetnje su u drugim frekventnim opsezima. U ovom slučaju to neće uticati na signal.

Odredit ćemo rezultirajući signal za „najneprijatniji“ slučaj, kada su parametri signala i šuma blizu jedan drugom ili se poklapaju. Korisne informacije definirane su izrazom

Ovu formulu je dobila Shannon. Određuje brzinu prenosa informacija preko komunikacionog kanala ako signal ima snagu PC-a, a smetnje snagu PP. Sve poruke ovom brzinom će se prenositi sa apsolutnom sigurnošću. Formula ne sadrži odgovor na pitanje kako postići takvu brzinu, ali daje maksimalnu moguću vrijednost c u komunikacijskom kanalu sa smetnjama, odnosno takvu vrijednost brzine prijenosa kojom će primljena informacija biti apsolutno pouzdan. U praksi je ekonomičnije dopustiti određenu količinu greške u poruci, iako će se brzina prijenosa povećati.

Razmotrimo slučaj PC >> PP. Ako uvedemo koncept omjera signal-šum

PC >> PP to znači. Onda

Rezultirajuća formula odražava maksimalnu brzinu snažnog signala u komunikacijskom kanalu. Ako PC<< PП, то с стремится к нулю. То есть сигнал принимается на фоне помех. В таком канале в единицу времени сигнал получить не удается. В реальных ситуациях полностью помеху отфильтровать нельзя. Поэтому приемник получает полезную информацию с некоторым набором ошибочных символов. Канал связи для такой ситуации можно представить в виде, изображенном на рис. 7, приняв источник информации за множество передаваемых символов {X}, а приемник – за множество получаемых символов {Y}.

Slika 7 Grafikon tranzicionih vjerovatnoća K-arnog komunikacionog kanala

Između njih postoji određena korespondencija jedan na jedan. Ako nema smetnji, tada je vjerovatnoća korespondencije jedan-na-jedan jedan, u suprotnom je manja od jedan.

Ako je qi vjerovatnoća prihvatanja yi kao xi, a pij = p (yi / xi) je vjerovatnoća greške, tada

.

Grafikon vjerovatnoće tranzicije odražava konačni rezultat uticaja smetnji na signal. U pravilu se dobiva eksperimentalno.

Korisne informacije mogu se procijeniti kao IFOL = nH (X · Y), gdje je n broj elementarnih simbola u signalu; H (X Y) - međusobna entropija izvora X i izvora Y.

U ovom slučaju, izvor X je izvor korisnih informacija, a izvor Y je ponor. Relacija koja definiše korisne informacije može se dobiti iz značenja međusobne entropije: osenčeni deo dijagrama definiše poruke koje prenosi izvor X i prima prijemnik Y; otvorena područja predstavljaju signale izvora X koji nisu stigli do prijemnika i koje je prijemnik primio strane signale koje izvor nije odašiljao.

B je brzina generisanja elementarnih simbola na izlazu izvora.

Da biste dobili maksimum, morate povećati H (Y) i smanjiti H (Y / X) ako je moguće. Grafički se ova situacija može prikazati poravnavanjem krugova na dijagramu (slika 2d).

Ako se kružnice uopće ne sijeku, X i Y postoje nezavisno jedan od drugog. U nastavku će biti pokazano kako možete koristiti opći izraz za maksimalnu brzinu prijenosa kada analizirate specifične komunikacijske kanale.

Prilikom karakterizacije diskretnog kanala koriste se dva koncepta brzine: tehnički i informacioni.

Tehnička brzina prijenosa RT, također nazvana brzina ključanja, je broj simbola (čipova) koji se prenose kanalom u jedinici vremena. Zavisi od svojstava komunikacijske linije i brzine opreme kanala.

Uzimajući u obzir razlike u trajanju simbola, tehnička brzina se određuje kao

gdje je prosječno trajanje simbola.

Jedinica mjere je "baud", što je brzina kojom se jedan znak prenosi u sekundi.

Brzina informacija ili brzina prijenosa informacija određena je prosječnom količinom informacija koja se prenosi preko kanala u jedinici vremena. To zavisi kako od karakteristika određenog kanala (kao što je veličina abecede upotrijebljenih simbola, tehnička brzina njihovog prijenosa, statističko svojstvo šuma u liniji), tako i od vjerovatnoće da simboli stignu do input i njihov statistički odnos.

Uz poznatu brzinu manipulacije, brzina prijenosa informacija preko kanala je postavljena omjerom:

,

gdje je prosječna količina informacija koju nosi jedan simbol.

Za praksu je važno saznati do koje granice i na koji način je moguće povećati brzinu prenosa informacija preko određenog kanala. Ograničavanje mogućnosti kanala za prijenos informacija karakterizira njegov propusni opseg.

Propusni opseg kanala sa datim vjerovatnoćama tranzicije jednak je maksimumu prenesene informacije po svim ulaznim distribucijama simbola izvora X:

Sa matematičke tačke gledišta, potraga za propusnošću diskretnog kanala bez memorije svodi se na traženje distribucije verovatnoće ulaznih simbola izvora X, koji obezbeđuje maksimum prenete informacije. Istovremeno se nameće ograničenje na vjerovatnoće ulaznih simbola: , .

U opštem slučaju, određivanje maksimuma pod datim ograničenjima je moguće korišćenjem multiplikativne Lagrangeove metode. Međutim, takvo rješenje je pretjerano skupo.

U posebnom slučaju za diskretne simetrične kanale bez memorije, širina pojasa (maksimalna, postiže se ravnomjernom raspodjelom ulaznih simbola izvora X.

Zatim, za DSC bez memorije, uz pretpostavku date vjerovatnoće greške ε i za jednakovjerovatne ulazne simbole = = = = 1/2, možemo dobiti propusnost takvog kanala poznatim izrazom za:

gdje je = entropija binarnog simetričnog kanala za datu vjerovatnoću greške ε.

Granični slučajevi su od interesa:

1. Prijenos informacija putem tihog kanala (bez smetnji):

, [bit / karakter].

Uz fiksne osnovne tehničke karakteristike kanala (na primjer, frekvencijski opseg, prosječnu i vršnu snagu predajnika), koje određuju vrijednost tehničke brzine, propusnost kanala bez smetnji će biti jednaka [bit/s].

U svakom komunikacijskom sistemu, informacije se prenose putem kanala. Njegova brzina prenosa je definisana u § 4.2. Kao što se vidi iz (4.25), ova brzina ne zavisi samo od samog kanala, već i od svojstava signala koji se dovodi na njegov ulaz, te stoga ne može okarakterisati kanal kao sredstvo za prenos informacija. Pokušajmo pronaći način da procijenimo sposobnost kanala da prenosi informacije. Razmotrimo prvo diskretni kanal kroz koji se u jedinici vremena prenose v simboli iz abecede veličine m. Prilikom prijenosa svakog simbola, u prosjeku, količina informacija prolazi kroz kanal

I (A, B) = H (A) - H (A | B) = H (B) - H (B | A), (4.35)

gdje su A i B nasumični simboli na ulazu i izlazu kanala. Od četiri entropije koje se pojavljuju ovdje, H (A) - suštinska informacija prenesenog simbola određena je izvorom diskretnog signala * i ne zavisi od svojstava kanala. Ostale tri entropije općenito zavise i od izvora signala i od kanala.

* (Izvor diskretnog signala u komunikacijskom sistemu (vidi sliku 1.5) je kombinacija izvora poruke i enkodera.)

Zamislimo da se simboli iz različitih izvora, koje karakteriziraju različite distribucije vjerojatnosti P (A), mogu unijeti na ulaz kanala (ali, naravno, za iste vrijednosti m i v). Za svaki takav izvor, količina informacija koje se prenose putem kanala poprima svoje značenje. Maksimalna količina prenesenih informacija, uzeta iz svih mogućih izvora ulaznog signala, karakterizira sam kanal i naziva se propusnost kanala po simbolu

gdje se maksimizacija * vrši nad svim multivarijantnim distribucijama vjerovatnoće P (A). Također možete odrediti širinu pojasa C kanala po jedinici vremena (na primjer, sekundi):

* (Ako takav maksimum ne postoji (koji može biti sa beskonačnim brojem mogućih izvora), tada se propusnost definira kao najmanja gornja granica sup I (A, B), odnosno takva vrijednost na koju je I (A, B) može se proizvoljno približiti, ali ga ne može nadmašiti.)

Jednakost (4.37) proizlazi iz aditivnosti entropije. U nastavku, gdje god nije posebno navedeno, mislimo na propusnost kao propusnost u sekundi.

Kao primjer, izračunajmo propusnost simetričnog kanala bez memorije za koji su date vjerovatnoće prijelaza (3.36). Prema (4.36)

Veličina

u ovom slučaju je lako izračunati, jer uslovna (prijelazna) vjerovatnoća P (b j | a i) uzima samo dvije vrijednosti: p / (m-1) ako je b j ≠ a i i 1-p ako je b j = a i. Prva od ovih vrijednosti se javlja s vjerovatnoćom p, a druga sa vjerovatnoćom 1-p. Osim toga, budući da se razmatra kanal bez memorije, rezultati prijema pojedinačnih simbola su nezavisni jedan od drugog. Dakle

Shodno tome, H (B | A) ne zavisi od distribucije verovatnoće u ansamblu A, već je određen samo prelaznim verovatnoćama kanala. Ovo svojstvo je zadržano za sve modele kanala sa aditivnim šumom.

Zamjenom (4.38) u (4.37) dobijamo

Pošto na desnoj strani samo H (B) član zavisi od distribucije verovatnoće P (A), potrebno ga je maksimizirati. Maksimalna vrijednost N (V) prema (4.6) jednaka je log m i ostvaruje se kada su svi primljeni simboli b j podjednako vjerovatni i nezavisni jedan od drugog. Lako je provjeriti da je ovaj uvjet zadovoljen ako su ulazni simboli jednako vjerojatni i nezavisni, jer u ovom slučaju

Štaviše, N (V) = log m i

Otuda i propusnost po jedinici vremena

Za binarni simetrični kanal (m = 2) širina pojasa u binarnim jedinicama po jedinici vremena

S = v (4.42)

Zavisnost C/v od p prema (4.42) prikazana je na Sl. 4.3.

Za p = 1/2, širina pojasa binarnog kanala C = 0, budući da se s takvom vjerovatnoćom greške može dobiti niz izlaznih binarnih simbola bez da se signali uopšte prenose kroz kanal, već da se biraju nasumično ( na primjer, prema rezultatima bacanja novčića), tj. kod p = 1/2 sekvence na izlazu i ulazu kanala su nezavisne. Slučaj C = 0 naziva se prekid kanala. Činjenica da je propusnost pri p = 1 u binarnom kanalu ista kao kod p = 0 (kanal bez šuma) objašnjava se činjenicom da je pri p = 1 dovoljno invertirati sve izlazne simbole (tj. zamijeniti 0 sa 1 i 1 do 0) da biste ispravno vratili ulazni signal.

Širina pojasa kontinuirane veze izračunava se na sličan način. Neka, na primjer, kanal ima ograničen propusni opseg F. Tada su signali U (t) i Z (t), respektivno, na ulazu i izlazu kanala, prema Kotelnikovoj teoremi, određeni njihovim očitanjima na interval od 1 / (2F), a samim tim i informacija koja prolazi kroz kanal neko vrijeme T, jednaka je zbiru količine prenesene informacije za svaki takav uzorak *. Propusnost kanala po jednom takvom uzorku

Ovdje su U i Z slučajne varijable - poprečni presjeci procesa U (t) i Z (t) na ulazu i izlazu kanala, respektivno, a maksimum se preuzima nad svim dopuštenim ulaznim signalima, odnosno preko svih distribucija U.

* (Umjesto Kotelnikove serije, može se koristiti dekompozicija signala u bilo kojoj ortogonalnoj osnovi i uzeti u obzir količinu prenesene informacije za svakog člana serije.)

Propusnost C je definirana kao zbir Sotsch vrijednosti uzetih za sve brojeve u sekundi. U ovom slučaju, naravno, diferencijalne entropije u (4.43) moraju se izračunati uzimajući u obzir vjerovatnoće veze između uzoraka.

Izračunajmo, na primjer, propusni opseg kontinuiranog kanala bez memorije sa aditivnim bijelim Gausovim šumom koji ima propusni opseg širine F, ako prosječna snaga signala (varijansa U) ne prelazi datu vrijednost P s. Snaga (disperzija) šuma u F opsegu je označena sa P w. Uzorci ulaznog i izlaznog signala, kao i šum N, povezani su jednakošću

Z = U + N. (4.44)

Pošto N ima normalnu distribuciju sa nultim matematičkim očekivanjem, onda je uslovna gustina verovatnoće w (z | u) na fiksnoj i takođe će biti normalna - sa matematičkim očekivanjem i varijansom P w.

Nađimo propusnost po uzorku (4.43):

Prema (4.34), diferencijalna entropija h (Z | U) normalne distribucije w (Z | U) ne zavisi od očekivanja i jednaka je

Stoga, da bi se pronašla C referenca, treba pronaći takvu gustinu raspodjele w (U) pri kojoj je h (Z) maksimizirano. Iz (4.44), uzimajući u obzir da su U i N nezavisne slučajne varijable, imamo za varijanse:

D (Z) = D (U) + D (N) = P c + P w. (4.45)

Dakle, varijansa Z je fiksna, pošto su P c i P w date. Kao što je navedeno (vidi stranicu 114), za fiksnu varijansu, maksimalna diferencijalna entropija je osigurana normalnom distribucijom. Iz (4.44) se može vidjeti da će za normalnu jednodimenzionalnu distribuciju U, distribucija Z također biti normalna i stoga je osigurana maksimalna diferencijalna entropija (4.34):

Prelazeći na propusnost C u sekundi, primjećujemo da je informacija koja se prenosi preko nekoliko uzoraka maksimalna u slučaju kada su uzorci signala nezavisni. Ovo se može postići ako se signal U (t) odabere tako da je njegova spektralna gustina ujednačena u opsegu F. Kao što je prikazano u § 2.2 [cf. (2.48)], uzorci, razdvojeni intervalima djeljivim sa 1 / (2F), su međusobno nekorelirani, a za Gaussove vrijednosti nekorelacija znači nezavisnost.

Stoga se propusnost C (po sekundi) može naći dodavanjem propusnosti (4.46) za 2F nezavisne uzorke:

C = 2FC broj = F log (1 + P s / P w). (4.47)

Ostvaruje se ako je U (t) Gausov proces sa ujednačenom spektralnom gustinom u frekvencijskom pojasu F (kvazi-bijeli šum).

Iz (4.47) se može vidjeti da kada snaga signala P c nije ograničena, onda bi propusnost bila proizvoljno velika. Propusnost je nula ako je odnos signal-šum P s / P w u kanalu nula. Sa rastom ovog omjera, propusnost raste neograničeno, ali polako, zbog logaritamske ovisnosti.

Relacija (4.47) se često naziva Šenonova formula. Ova formula je važna u teoriji informacija, jer određuje ovisnost propusnosti razmatranog kontinuiranog kanala od tehničkih karakteristika kao što su širina pojasa i omjer signal-šum. Šenonova formula ukazuje na sposobnost razmene propusnog opsega za jačinu signala, i obrnuto. Međutim, pošto C zavisi od F linearno, a od P c / P w - prema logaritamskom zakonu, obično nije isplativo kompenzovati moguće smanjenje propusnog opsega povećanjem snage signala. Reverzna razmjena snage signala za propusni opseg je efikasnija.

Imajte na umu da se za P c / P w >> 1 izraz (4.50) poklapa sa karakteristikom (1.2), koja se u § 1.2 naziva kapacitetom (volumenom) kanala.

Treba naglasiti da Šenonova formula (4.47) vrijedi samo za kanal sa konstantnim parametrima i aditivnim Gausovim bijelim (ili kvazibijelim) šumom. Ako distribucija aditivne smetnje nije normalna ili je njen spektar neujednačen u širini kanala, tada je širina opsega veća od one izračunate po formuli (4.47). Multiplikativne smetnje (fading signala) obično smanjuju propusni opseg kanala.

Na sl. 4.5 prikazuje zavisnosti C / F od prosječnog odnosa R s / R w za kanal sa konstantnim parametrima (1) i kanal sa Rayleighovim fadingom (2). Iz analize krivulja proizilazi da sporo Rayleigh feding smanjuje propusni opseg kanala za najviše 17%.

5.1. Brzina prijenosa informacija u diskretnom komunikacijskom sistemu

U diskretnom komunikacionom sistemu, u odsustvu smetnji, informacija na izlazu komunikacionog kanala (PI kanal) potpuno se poklapa sa informacijom na njegovom ulazu, stoga je brzina prenosa informacija numerički jednaka performansama izvora poruke. :

U prisustvu smetnji, dio informacija iz izvora se gubi i brzina prijenosa informacija je niža od performansi izvora. Istovremeno, informacija o smetnji se dodaje poruci na izlazu kanala (slika 12).

Stoga, u prisustvu smetnji, potrebno je na izlazu kanala uzeti u obzir ne sve informacije koje daje izvor, već samo međusobne informacije:

bit / s. (5.2)

Na osnovu formule (5.1) imamo

gdje H (x)  performanse izvora ;

H (x/ y)  “nepouzdanost” kanala (gubitak) u jedinici vremena;

H (y)  entropija izlazne poruke po jedinici vremena;

H (y/ x) =H’(n) - entropija interferencije (šuma) po jedinici vremena.

Širina pojasa komunikacijskog kanala(kanal za prijenos informacija) C je maksimalna moguća brzina prijenosa informacija preko kanala

. (5.4)

Da bi se postigao maksimum, uzimaju se u obzir svi mogući izvori izlaza i sve moguće metode kodiranja.

Dakle, propusnost komunikacionog kanala jednaka je maksimalnoj performansi izvora na ulazu kanala, u potpunosti usklađenoj sa karakteristikama ovog kanala, umanjenom za gubitak informacija u kanalu zbog smetnji.

U kanalu bez smetnji C= max H (x) , jer H (x/ y)=0 ... Kada koristite uniformni radix kod k koji se sastoji od n trajanje elemenata  eh, u kanalu bez smetnji

,

at k=2
bit / s. (5.5)

Za efektivno korištenje kapaciteta kanala, on mora biti usklađen sa izvorom informacija na ulazu. Takvo poklapanje je moguće kako za komunikacione kanale bez smetnji, tako i za kanale sa smetnjama na osnovu dvije teoreme koje je dokazao K. Shannon.

1. teorema (za komunikacijski kanal bez smetnji):

Ako izvor poruke ima entropijuH(bitova po karakteru), a komunikacijski kanal je propusni opsegC(bitova u sekundi), tada možete kodirati poruke na način da prenosite informacije preko kanala prosječnom brzinom, proizvoljno blizu vrijednostiCali ne i nadmašiti ga.

K. Shannon je također predložio metodu takvog kodiranja, koja se naziva statističko ili optimalno kodiranje. Kasnije je ideja o takvom kodiranju razvijena u radovima Fanoa i Huffmana i sada se široko koristi u praksi za „komprimiranje poruka“.

5.2. Širina pojasa homogenog simetričnog komunikacijskog kanala

U homogenom komunikacijskom kanalu, uslovne (prolazne) vjerovatnoće str(y 1 / x 1 ) ne zavisi od vremena. Grafikon stanja i prelaza homogenog binarnog komunikacionog kanala prikazan je na Sl. trinaest.

Na ovoj slici x 1 i x 2 - signali na ulazu komunikacijskog kanala, y 1 i y 2 - izlazni signali. Ako je signal prenošen x 1 i primljen signal y 1, to znači da prvi signal (indeks 1) nije izobličen. Ako je prvi signal odaslan ( x 1), a drugi signal je primljen ( y 2), to znači da je prvi signal bio izobličen. Vjerovatnoće prijelaza su prikazane na Sl. 13. Ako je kanal simetričan, tada su vjerovatnoće prijelaza po parovima jednake.

Označimo: str(y 2 / x 1 )= str(y 1 / x 2 )= str eh - vjerovatnoća izobličenja signalnog elementa, str(y 1 / x 1 )= str(y 2 / x 2 )=1- str eh - vjerovatnoća ispravnog prijema signalnog elementa.

U skladu sa formulama (5.1) i (5.3)

.

Ako signali x 1 i x 2 imaju isto trajanje  eh, onda
... Tada će kapacitet kanala biti jednak

. (5.7)

U ovoj formuli maxH(y)= log k... Za binarni kanal ( k = 2) maxH(y)= 1 i formula (5.4) poprima oblik

. (5.8)

Ostaje odrediti uslovnu entropiju H(y/ x) ... Za binarni izvor imamo

Zamjenom ove vrijednosti uslovne entropije u (5.8), konačno dobijamo

. (5.9)

Za kanal komunikacije sa k>2

bit / s.

Na sl. 14 je graf zavisnosti propusnosti binarnog kanala od verovatnoće greške.

Za kanal komunikacije sa k>2 propusnost se određuje gotovo sličnom formulom:

U zaključku, razmotrite jedan primjer. Neka postoji binarni izvor sa performansama
bit / s.

Ako je vjerovatnoća izobličenja str eh = 0,01, onda iz ovoga proizilazi da će od 1000 signalnih elemenata koji se prenose u jednoj sekundi, u prosjeku 990 elemenata biti primljeno bez izobličenja, a samo 10 elemenata će biti izobličeno. Čini se da bi propusnost u ovom slučaju bila 990 bita u sekundi. Međutim, izračunavanje po formuli (5.9) daje nam vrijednost mnogo manju ( C= 919 bps). Šta je ovde? Poenta je da bismo dobili C= 990 bps, ako ste tačno znali koji elementi poruke su oštećeni. Nepoznavanje ove činjenice (a to je praktično nemoguće znati) dovodi do činjenice da 10 oštećenih elemenata toliko umanjuje vrijednost primljene poruke da se propusnost dramatično smanjuje.

Još jedan primjer. Ako str eh = 0.5, tada od 1000 prenesenih elemenata, 500 neće biti oštećeno. Međutim, sada propusnost neće biti 500 bita/s, kao što bi se moglo očekivati, već će nam formula (5.9) dati vrijednost C= 0. Vrijedi za str eh = 0.5, signal zapravo ne prolazi kroz komunikacijski kanal i komunikacijski kanal je jednostavno ekvivalentan generatoru šuma.

At str eh  1 propusnost se približava svojoj maksimalnoj vrijednosti. Međutim, u ovom slučaju, signali na izlazu komunikacionog sistema moraju biti invertirani.

Kanal za kontinuirani prijenos informacija sadrži skup sredstava za prijenos kontinuiranih signala, dok se umjesto uređaja za kodiranje i dekodiranje koriste različite vrste pretvarača (modulacijski i sl.). Ulazni i izlazni signali u kontinuiranom komunikacijskom kanalu predstavljaju ansambl kontinuiranih funkcija sa odgovarajućim distribucijama gustine vjerovatnoće.
Ako se na ulazu kontinuiranog komunikacijskog kanala prima kontinuirani signal X (t) trajanje T, zatim zbog smetnji f (t) izlazni signal Y (t)će se razlikovati od unosa. U ovom slučaju, količina informacija u signalu Y (t) o signalu X (t) jednako:
. (13)
Kontinuirani signal se može smatrati diskretnim pri. Može se predstaviti u obliku rešetkaste funkcije, dok je na prijemnoj strani, za pojedinačne uzorke uzete u intervalima Dt originalni kontinuirani talasni oblik se može vratiti.
Korak kvantizacije Dt = T / n, gdje n- broj referentnih tačaka. Prema teoremi Kotelnikova Dt = 1 / 2f c, gdje f c - granična frekvencija a n = 2Tf c- signalna baza.
U ovom slučaju, u izrazu (13) za međusobnu informaciju, umjesto razlike entropije, mogu se upisati razlike odgovarajućih diferencijalnih entropija pojedinačnih uzoraka
.

Širina pojasa kontinuiranog komunikacijskog kanala
(14)
Za diskretni komunikacioni kanal, maksimalna vrednost brzine prenosa odgovara jednako verovatnim znakovima abecede. Za kontinuiranu komunikaciju, kada je cilj prosječna jačina signala, maksimalna brzina se postiže korištenjem normalno centriranog slučajnog signala.
Ako je signal centriran ( m x = 0) tj. bez konstantne komponente u ovom slučaju, snaga mirovanja je nula ( P 0 = 0). Uvjet centriranosti obezbjeđuje maksimalnu disperziju za datu prosječnu snagu signala
Ako signal ima normalnu distribuciju, tada je apriorna diferencijalna entropija svakog uzorka maksimalna.
Stoga, pri izračunavanju propusnosti kontinuiranog kanala, pretpostavljamo da se kontinuirani signal ograničene prosječne snage prenosi preko kanala - P c i aditivna buka ( y = x + f) također sa ograničenom prosječnom snagom - P n vrsta bijelog (Gausovog) šuma. Budući da je interferencija aditivna, varijansa izlaznog signala je
.
Da bi entropija bila maksimalna za signal ograničene snage, mora biti Gaussova, dok
.
Da bi interferencija bila maksimalna, mora biti i Gausova.
.
U ovom slučaju, širina pojasa kontinuiranog kanala treba da bude jednaka širini pojasa signala
. (15)
Dakle, brzina prijenosa informacija s ograničenom prosječnom snagom je maksimalna ako su i signal i smetnje Gaussovi, nasumični procesi.
Širina kanala se može promijeniti promjenom širine spektra signala - f c svoju moć - P c. Ali povećanje širine spektra povećava snagu interferencije. - P n, dakle, odnos između širine kanala i nivoa smetnji je izabran na kompromisan način.
Ako distribucija f (x) izvor kontinuiranih poruka se razlikuje od normalnog, onda je brzina prijenosa informacija WITH biće manje. Koristeći funkcionalni pretvarač, može se dobiti signal sa normalnim zakonom raspodjele.
Obično p c / p p >> 1, dok je propusnost kontinuiranog kanala Sa n = F do D k. Odnos između kapaciteta i kapaciteta komunikacijskog kanala ima oblik V k = T do F do D do = T do C p.
Šenonova teorema za kontinuirani kanal sa šumom. Ako je entropija izvora kontinuiranih poruka proizvoljno blizu propusnosti kanala, onda postoji način prijenosa u kojem će se sve poruke iz izvora prenositi sa proizvoljno visokom vjernošću reprodukcije.

Primjer. Kroz kontinuirani komunikacijski kanal sa propusnim opsegom F k = 1 kHz, se prenosi korisni signal X (t), što je normalan slučajni proces sa nultim matematičkim očekivanjem i varijansom = 4 mV. Kanal je podložan Gausovom šumu nezavisnom od signala Ž (t) sa nultim matematičkim očekivanjem i varijansom = 1 mV.
definirati:
- diferencijalna entropija ulaznog signala;
- diferencijalna entropija izlaznog signala;
- uslovna diferencijalna entropija;
- količina informacija u jednom kontinuiranom uzorku procesa Y (t) u vezi odbrojavanja X (t);
- brzina prenosa informacija preko kontinuiranog kanala sa diskretnim vremenom;
- kapacitet kontinuiranog komunikacionog kanala;
- odrediti kapacitet komunikacionog kanala, ako je vrijeme njegovog rada T = 10 m;
- odrediti količinu informacija koja se može prenijeti za 10 minuta rada kanala;
- pokazati da informacioni kapacitet kontinuiranog kanala bez memorije sa aditivnim Gausovim šumom pod ograničenjem vršne snage nije veći od informacionog kapaciteta istog kanala sa istom vrijednošću ograničenja na prosječnu snagu. Rješenje:
Diferencijalna entropija ulaznog signala

= 3,05 bita/uzorak.
Izlazna diferencijalna entropija
= 3,21 bita/uzorak.
Uslovna diferencijalna entropija
= 2,05 bita/uzorak.
Količina informacija u jednom kontinuiranom uzorku procesa Y (t) u vezi odbrojavanja X (t) određuje se formulom
I (X, Y) = h (x) - h (x / y) = h (y) - h (y / x) = 3,21–2,05 = 1,16 bita/uzorak.
Brzina prijenosa informacija preko kontinuiranog kanala sa diskretnim vremenom određena je formulom
=
= 2 × 10 3 × = 2320 bps
Propusnost kontinuiranog šumnog kanala određena je formulom

=2322 bps.
Dokažimo da informacijski kapacitet kontinuiranog kanala bez memorije sa aditivnim Gausovim šumom pod ograničenjem vršne snage nije veći od informacionog kapaciteta istog kanala sa istom vrijednošću ograničenja na prosječnu snagu.
Očekivana vrijednost za simetričnu uniformnu distribuciju

Srednji kvadrat za simetričnu uniformnu distribuciju

Varijanca za simetričnu uniformnu distribuciju

Štaviše, za jednoliko raspoređen proces.
Diferencijalna entropija signala sa uniformnom distribucijom
.
Razlika između diferencijalnih entropija normalnog i ravnomjerno raspoređenog procesa ne ovisi o vrijednosti varijanse
= 0,3 bit / uzorak
Dakle, propusnost i kapacitet komunikacijskog kanala za proces sa normalnom distribucijom je veći nego za jednoliku.
Odredite kapacitet (volumen) komunikacijskog kanala
V k = T k C k = 10 × 60 × 2322 = 1,3932 Mbita.
Odredimo količinu informacija koja se može prenijeti za 10 minuta rada kanala
10× 60× 2322= 1,3932 Mbps.

Zadaci

1. Poruke sastavljene od abecede se prenose na komunikacijski kanal x 1, x 2 i x 3 sa vjerovatnoćama p (x 1) = 0,2; p (x 2) = 0,3 i p (x 3) = 0,5.
Matrica kanala izgleda ovako:
pri čemu .
Izračunati:
1. Entropija izvora informacija H (X) i prijemnik H (Y).
2. Opšta i uslovna entropija H (Y / X).
3. Gubitak informacija u kanalu tokom prijenosa To likovi ( k = 100).
4. Količina informacija primljenih tokom prenosa To karaktera.
5. Brzina prijenosa, ako je vrijeme prijenosa od jednog znaka t = 0,01 ms.
2. Znakovi abecede se prenose preko komunikacijskog kanala x 1, x 2, x 3 i x 4 sa vjerovatnoćama. Odredite količinu informacija primljenih tokom prijenosa od 300 simbola, ako je učinak smetnje opisan matricom kanala:
.
3. Odrediti gubitak informacija u komunikacijskom kanalu pri prenošenju jednakovjerovatnih simbola abecede, ako matrica kanala ima oblik

.
t = 0,001 sek.
4. Odredite gubitak informacija pri prijenosu 1000 znakova izvorne abecede x 1, x 2 i x 3 sa vjerovatnoćama p = 0,2; p = 0,1 i p () = 0,7 ako je utjecaj smetnji u kanalu opisan matricom kanala:
.
5. Odrediti količinu informacija primljenih prilikom prijenosa 600 simbola, ako su vjerovatnoće pojave simbola na izlazu izvora X su jednaki: a efekat smetnji tokom prenosa je opisan matricom kanala:
.
6. Poruke koje se sastoje od simbola abecede prenose se na kanal komunikacije, a vjerovatnoće pojave simbola abecede su jednake:
Komunikacijski kanal je opisan sljedećom matricom kanala:

.
Odredite brzinu prijenosa ako je vrijeme prijenosa jednog znaka gospođa.
7.Signali se prenose komunikacijskim kanalom x 1, x 2 i x 3 sa vjerovatnoćama p = 0,2; p = 0,1 i p () = 0,7. Učinak smetnji u kanalu opisan je matricom kanala:
.
Odredite ukupnu uslovnu entropiju i udio gubitaka informacija koji padaju na signal x 1(djelomična uslovna entropija).
8. Znakovi abecede se prenose preko komunikacijskog kanala x 1, x 2, x 3 i x 4 sa vjerovatnoćama.
Šum kanala je određen matricom kanala
.
Odredite propusni opseg komunikacijskog kanala, ako je vrijeme prijenosa jednog simbola t = 0,01 sek.
Odredite količinu informacija primljenih prilikom prijenosa 500 simbola, ako su vjerovatnoće pojave simbola na ulazu prijemnika Y su jednaki:, a efekat smetnji tokom prenosa je opisan matricom kanala:

Bibliografija
1 Grinchenko A.G. Teorija informacija i kodiranje: Udžbenik. dodatak. - Harkov: KhPU, 2000.
2 Kuprijanov M.S., Matjuškin B.D. - Digitalna obrada signala: procesori, algoritmi, alati za projektovanje. - SPb: Politehnika, 1999.
3 Hemming R.W. Digitalni filteri: Per. sa engleskog / Ed. A.M. Trakhtman. - M.: Sov. radio, 1980.
4 Sibert W.M. Lanci, signali, sistemi: In 2-ch. / Per. sa engleskog - M.: Mir, 1988.
5 Sklyar B. Digitalna komunikacija. Teorijske osnove i praktična primjena: Per. sa engleskog - M.: Izdavačka kuća "Williams", 2003. - 1104 str.
6 Kalinjin, V.I. Mikrovalna i telekomunikacijska tehnologija, 2007. CriMiCo 2007. Svezak 17. međunarodne Krimske konferencije, broj, 10-14. 2007 Strana (s): 233 - 234
7 Feer K. Bežična digitalna komunikacija. Tehnike modulacije i širenja spektra. Per. sa engleskog - M.: Radio i komunikacija, 2000.
8 Ignatov V.A. Teorija prenosa informacija i signala: Udžbenik za univerzitete. - 2. izd., Rev. i dodati. - M.: Radio i komunikacija, 1991;

Tema 2.5. Propusnost komunikacijskog kanala

U svakom komunikacijskom sistemu, informacije se prenose putem kanala. Njegova brzina prijenosa ovisi ne samo o samom kanalu, već i o svojstvima signala koji se dovodi na njegov ulaz i stoga ne može okarakterizirati kanal kao sredstvo prijenosa informacija. Hajde da pronađemo način da procenimo sposobnost kanala da prenosi informacije. Za svaki izvor, količina informacija koje se prenose putem kanala poprima vlastitu vrijednost.

Maksimalna količina prenesenih informacija, uzeta iz svih mogućih izvora ulaznog signala, karakterizira sam kanal i naziva se propusnost kanala po karakteru:

Bit / char.

(gdje se vrši maksimizacija nad svim multivarijantnim distribucijama vjerovatnoće P (A))

Također možete odrediti propusni opseg C kanala po jedinici vremena.

Izračunajmo širinu pojasa simetričnog kanala bez memorije

(2.26)

Veličina u ovom slučaju je lako izračunati, jer uslovna (prijelazna) vjerovatnoća uzima samo dvije vrijednosti: if i (1-P) if.

Prva od ovih vrijednosti se javlja s vjerovatnoćom P, a druga sa vjerovatnoćom (1-P). Osim toga, budući da se razmatra kanal bez memorije, rezultati prijema pojedinačnih znakova su nezavisni jedan od drugog.

(2.27)

Shodno tome, H (B / A) ne zavisi od distribucije verovatnoće u ansamblu A, već je određen samo prelaznim verovatnoćama kanala. Ovo svojstvo je zadržano za sve modele sa aditivnom bukom.

Zamjenom (2.27) u (2.26) dobivamo:

Pošto na desnoj strani samo pojam H (B) zavisi od distribucije verovatnoće P (A), onda ju je potrebno maksimizirati.

Maksimalna vrijednost H (B) je jednaka log m i ostvaruje se kada su svi primljeni simboli podjednako vjerovatni i nezavisni jedan od drugog. Lako je provjeriti da je ovaj uvjet zadovoljen ako su ulazni simboli jednako vjerojatni i nezavisni, jer u ovom slučaju

Štaviše, i

Otuda i propusnost po jedinici vremena

Za binarni simetrični kanal (m = 2) širina pojasa u binarnim jedinicama po jedinici vremena

Zavisnost od P prema formuli (2.31)

Sa P = 1/2, širina pojasa binarnog kanala C = 0, jer se s takvom vjerovatnoćom greške može dobiti niz izlaznih binarnih simbola bez da se signali uopće prenose kroz kanal, već da se biraju nasumično ( na primjer, prema rezultatima bacanja novčića), odnosno sa P = 1/2 sekvence na izlazu i ulazu kanala su neovisne. Slučaj C = 0 naziva se prekid kanala. Činjenica da je širina pojasa kod P = 1 u binarnom kanalu ista kao i kod P = 0 (kanal bez šuma) objašnjava se činjenicom da je pri P = 1 dovoljno invertirati sve izlazne simbole (tj. zamijeniti 0 sa 1 i 1 sa 0 ) da biste ispravno vratili ulazni signal.

Na isti način se izračunava širina pojasa kontinuiranog kanala. Neka, na primjer, kanal ima ograničen propusni opseg F. Tada su signali U (t) i Z (t), respektivno, na ulazu i izlazu kanala prema teoremi. Kotelnikov se određuju njihovim očitanjima uzetim u intervalu od 1 / (2F), i stoga je informacija koja prolazi kroz kanal neko vrijeme T jednaka zbiru količine informacija koja se prenosi za svako takvo očitavanje. Propusni opseg kanala za jedan takav uzorak:

Ovdje su U i Z slučajne varijable - presjeci procesa U (t) i Z (t) na ulazu i izlazu kanala, respektivno, a maksimum se preuzima nad svim dopuštenim ulaznim signalima, odnosno preko svih distribucije U.

Propusnost C je definirana kao zbir vrijednosti uzetih za sve uzorke u sekundi. U ovom slučaju, naravno, diferencijalne entropije u (2.35) treba izračunati uzimajući u obzir vjerovatnoće veze između uzoraka.

Izračunajmo propusnost kontinuiranog kanala bez memorije sa aditivnim bijelim Gausovim šumom koji ima širinu pojasa F ako je prosječna snaga signala. Snaga (varijansa) šuma u F opsegu je označena sa. Uzorci izlaznog i ulaznog signala, kao i šum N povezani su jednakošću:

Pošto N ima normalnu distribuciju sa nultim matematičkim očekivanjem, tada će i uslovna gustina verovatnoće za fiksni U biti normalna - sa matematičkim očekivanjem U i varijansom.

Propusnost po brojanju određena je formulom (2.32):

Prema (2.24), uslovna diferencijalna entropija h (Z / U) normalne distribucije ne zavisi od matematičkog očekivanja i jednaka je. Stoga je za pronalaženje potrebno pronaći takvu gustinu raspodjele pri kojoj je h (Z) maksimiziran. Iz (2.33), uzimajući u obzir da su U i N nezavisne slučajne varijable, imamo za varijanse

Dakle, varijansa je fiksna, onako kako je data. Kao što je poznato, za fiksnu varijansu, maksimalna diferencijalna entropija je obezbeđena normalnom distribucijom. Iz (2.33) se vidi da će za normalnu jednodimenzionalnu distribuciju U, raspodjela Z također biti normalna i stoga je osiguran maksimum diferencijalne entropije (2.24).

(2.34)

Okrećući se propusnosti C u sekundi, napominjemo da je informacija koja se prenosi preko nekoliko uzoraka maksimalna u slučaju kada su uzorci signala nezavisni. To se može postići ako se signal U (t) odabere tako da je njegova spektralna gustina ujednačena u opsegu F. Uzorci razdvojeni intervalima djeljivim sa 1 / (2F) su međusobno nekorelirani, a za Gausove vrijednosti nekorelacija znači nezavisnost. Stoga se propusnost C (po sekundi) može naći dodavanjem propusnosti (2.35) za 2F nezavisne uzorke:

(2.36)

Ostvaruje se ako je U (t) Gausov proces sa ujednačenom spektralnom gustinom u frekvencijskom pojasu F (kvazi-bijeli šum).

Iz (2.36) se može vidjeti da kada snaga signala nije ograničena, onda bi propusnost bila proizvoljno velika. Širina pojasa je nula ako je odnos signal-šum kanala nula. Sa rastom ovog omjera, propusnost raste neograničeno, ali polako, zbog logaritamske ovisnosti.

Relacija (2.36) se zove Šenonova formula. Ova formula je važna u teoriji informacija, jer određuje ovisnost propusnosti razmatranog kontinuiranog kanala od tehničkih karakteristika kao što su širina pojasa i omjer signal-šum. Šenonova formula ukazuje na sposobnost razmene propusnog opsega za jačinu signala i obrnuto. Međutim, pošto C zavisi linearno od F, i od - prema logaritamskom zakonu, obično nije isplativo kompenzovati moguće smanjenje propusnog opsega povećanjem snage signala. Reverzna razmjena snage signala za propusni opseg je efikasnija.

Maksimalna količina informacija koja se u prosjeku može prenijeti kontinuiranim kanalom po vremenu,

Za Gausov kanal

(2.37)

Imajte na umu da se kod izraza (2.37) poklapa sa karakteristikom imenovanog kapaciteta (volumena) kanala.