Kapacitet propusnog opsega binarnog, simetričnog kanala.

Opis

DSC je binarni kanal, koji se može koristiti za prijenos jednog od dva znaka (obično 0 ili 1). Prijenos nije savršen, pa u nekim slučajevima prijemnik dobija drugačiji karakter.

DSC često koriste teoretičari kao najjednostavniji kanal sa šumom. U teoriji komunikacije, mnogi problemi se svode na DSC.

Definicija

Binarni simetrični kanal sa vjerovatnoćom prijelaza naziva se kanal sa binarnim ulazom, binarnim izlazom i vjerovatnoćom greške. Kanal karakteriziraju sljedeće uslovne vjerovatnoće:

Prvi argument uslovne vjerovatnoće odgovara slučajnom preneseni karakter, druga dobivena vrijednost.

Vjerovatnoća se zove vjerovatnoća tranzicije ili vjerovatnoća greške jednog karaktera.

DSC propusnost

Kapacitet kanala izračunava se po formuli:

, je funkcija koja se zove binarna entropija.

Vidi Također

Wikimedia fondacija. 2010.

Pogledajte šta je "Binarni simetrični kanal" u drugim rječnicima:

binarni balansirani kanal- Kanal za prenos podataka u kojem su vjerovatnoće greške u simbolima “0” i “1” u prosjeku iste i nema uticaja prethodnih simbola na naredne. Pouzdanost prenosa informacija ne zavisi od toga šta ... ... Vodič za tehnički prevodilac

- (engleski kanal, data linija) sistem tehnička sredstva i medij za širenje signala za prijenos poruka (ne samo podataka) od izvora do odredišta (i obrnuto). Kanal komunikacije, shvaćen u užem smislu (komunikacijski put), ... ... Wikipedia

Komunikacijski kanal, funkcija prijelaza na rogo, ima jedno ili drugo svojstvo simetrije. Homogeni kanal bez memorije sa diskretnim vremenom i konačnim prostorom stanja Y i komponentom signala na ulazu i izlazu, specificiranom matricom prijelaza ... ... Mathematical Encyclopedia

Grana matematike koja proučava procese skladištenja, transformacije i prenošenja informacija. Zasnovan je na na određeni način mjerenje količine informacija. Izlazeći iz problema teorije komunikacije, teorija informacija se ponekad smatra ... ... Collier's Encyclopedia- Terminologija GOST 22670 77: Digitalna integrisana komunikaciona mreža. Termini i definicije originalni dokument: 10. n digitalni telekomunikacioni signal n agu digitalni signal Digitalni signal telekomunikacije koje imaju n mogućih stanja parametra koji predstavlja, ... ... Rječnik-priručnik pojmova normativne i tehničke dokumentacije

Obrada informacija u računarskim sistemima je nemoguća bez prenošenja poruka između pojedinačnih elemenata (RAM-a i procesora, procesora i eksternih uređaja). Primjeri procesa prijenosa podataka prikazani su u sljedećoj tabeli.

	Predajnik	Kanal	Prijemnik
Ljudi pričaju		Vazdušno okruženje. Akustične vibracije	Ljudski slušni aparat
Telefonski razgovor	Mikrofon	Dirigent. Varijabilna struja
Prijenos podataka na Internetu	Modulator	Dirigent. Optički kabl. Naizmjenična električna struja. Optički signal	Demodulator
Radiotelefon, voki-toki	Radio predajnik	Eter. Elektromagnetski talasi	Radio

U gore navedenim procesima prenosa mogu se uočiti određene sličnosti. Opća šema prijenosa informacija prikazana je na slici 7.1.

U kanalu je signal podložan raznim utjecajima koji ometaju proces prijenosa. Utjecaji mogu biti nenamjerni (prouzročeni prirodnim uzrocima) ili posebno organizirani (stvoreni) u neku svrhu od strane nekog neprijatelja. Nenamjerni utjecaji na proces prijenosa (smetnje) mogu uključivati ​​uličnu buku, električna pražnjenja (uključujući munje), magnetne smetnje (magnetske oluje), magle, suspenzije (za optičke linije komunikacije) itd.

Rice. 7.1. Opća šema prijenosa informacija

Za proučavanje mehanizma uticaja smetnji na proces prenosa podataka i načina zaštite od njih potreban je neki model. Proces nastanka greške opisan je modelom koji se naziva binarni simetrični kanal (DSC), čiji je dijagram prikazan na slici 7.2.

Rice. 7.2. Binarno kolo simetrični kanal

Prilikom slanja poruke By DSC u svakom bitu poruke postoji vjerovatnoća da može doći do greške, bez obzira na prisustvo grešaka u drugim bitovima. Greška se sastoji od zamjene znaka 0 sa 1 ili 1 sa 0.

Neke vrste grešaka:

Dolazi do najčešće zamjene znakova. Ova vrsta greške je najpotpunije proučena.

Načini poboljšanja pouzdanosti prijenosa poruka

Ako se pri kodiranju poruka koriste optimalni kodovi, onda ako se pojavi samo jedna greška, cijela poruka ili njen značajan dio može biti izobličen. Pogledajmo primjer. Neka kodiranje elementarne izvorne poruke se provode pomoću tablice kodova

Poruke	Šifra

Tada kodirana poruka izgleda kao 011011100110. Ako se pojavi greška u prvom znaku, tada će biti primljena poruka 111011100110, koja se dekodira u riječ. Potpuno izobličenje poruke zbog jedne greške nastaje zbog činjenice da je jedan kod riječ prelazi na drugi kod riječ kao rezultat zamjene jednog ili više znakova. Primjer pokazuje da je optimalno kodiranje ne štiti dobro poruke od efekata grešaka.

U praksi je neophodno kompromis između efikasnosti koda i zaštite od grešaka.

Prvo se briše onaj "beskorisni". redundantnost(uglavnom statistički), a zatim dodaje "korisno" redundantnost, koji pomaže u otkrivanju i ispravljanju grešaka.

Pogledajmo neke metode za povećanje pouzdanosti prijenosa podataka. Dobro poznate metode rješavanja smetnji su sljedeće:

prijenos u kontekstu;

umnožavanje poruka;

prijenos sa ponovnim pitanjem.

Pogledajmo detaljnije svaku od ovih metoda.

Prijenos u kontekstu. Sa ovom dobro poznatom i opšteprihvaćenom metodom susreli su se svi koji pokušavaju da prenesu preko telefona sa slab sluh nečije prezime, imenovano umjesto slova koja ga čine, neka imena čija prva slova čine dato prezime. U ovom slučaju pravilan oporavak iskrivljenoj poruci pomaže poznavanje njenog semantičkog sadržaja.

Duplicirane poruke. Ova metoda se takođe široko koristi u svakodnevnoj praksi, kada se, da bi se pravilno razumelo, prava poruka ponovite nekoliko puta.

Transfer sa ponovnim traženjem. U slučaju kada primalac ima vezu sa izvor poruka, da bi pouzdano dešifrirali poruke, koriste ponovno ispitivanje, odnosno traže da se ponovi cijela poslana poruka ili njen dio.

Zajedničko svim ovim metodama povećanja pouzdanosti je uvođenje redundancije, odnosno povećanje na ovaj ili onaj način obima poslane poruke kako bi se ona mogla ispravno dekodiranje u prisustvu distorzija.

Treba napomenuti da se uvođenjem redundancije smanjuje brzina prenosa informacije, budući da je samo dio poslane poruke od interesa za primaoca, a njen višak je uveden radi zaštite od buke i ne sadrži korisne informacije.

Prirodno je odabrati takve oblike uvođenja redundancije koji omogućavaju maksimalnu otpornost na buku uz minimalno povećanje glasnoće poruke.

Satelitski Internet izaziva interesovanje korisnika prvenstveno zbog svoje univerzalne dostupnosti. Na kraju krajeva, pristup internetu sa satelita pomaže tamo gdje su druge opcije za povezivanje na Internet nedjelotvorne ili uopće nisu dostupne.

U doba sveprisutnog interneta, za stanovnike velikih gradova, njegovo odsustvo izgleda kao nesporazum, ali kakve mogućnosti imaju stanovnici privatnih kuća i onih udaljenih od velikih gradova? naselja mjesta? Većina provajdera ima koristi od pokrivenosti stambenom mrežom samo stambenih zgrada. Stanovnicima “privatnog sektora” je mnogo teže organizovati internet kanal, a da ne spominjemo udaljena područja u koja provajderi vjerovatno neće doći u bliskoj budućnosti. Naravno, moguć je pristup internetu putem mobilni operater, ali s obzirom na trenutni obim saobraćaja to je veoma skupo.

Dostojna alternativa za niske brzine i skupe mobilni internet - Satelitski Internet. U skorije vrijeme koristilo ga je samo nekoliko, ali sada je ovaj način pristupa internetu postao mnogo dostupniji.

Pokrivenost satelitskim internetom

Satelitski Internet- ovo je komunikacija preko radio kanala sa učešćem umjetni sateliti Zemlje, koje nisu nezavisni izvori ili konačni prijemnici signala, jer su samo repetitori koji nam omogućavaju da zaobiđemo ograničenje udaljenosti zemaljskih radio komunikacija uzrokovano neravnim terenom naše planete. Dakle, satelitski internet je samo način da se signal od zemaljskog provajdera isporuči zemaljskom klijentu.

Posebnost satelitski internet je da je repetitor u orbiti, automatski povećavajući područje pokrivenosti signalom na nekoliko područja i regiona. Uzimajući u obzir i njihovu cijenu, može se opravdati razlog zašto ovaj tip komunikacija nikome nije dostupna. Drugi karakteristika satelitskog interneta je ograničavanje jačine zvuka prenesene informacije. Uostalom, ako bi svakom pretplatniku morala biti dodijeljena dva odvojena kanala (za prijem i prijenos podataka), tada takva oprema jednostavno ne bi stala na satelit, a broj mogućih pretplatnika bio bi izuzetno mali. Da bi nekako optimizirali troškove, provajderi koriste prednosti internetskog prometa.

Asimetričan - satelitski internet za 50%

Ako govorimo o statistici, onda u prosjeku dolaznog saobraćaja premašuje odlazni, a pri projektovanju mreža polaze od ovog faktora, obezbeđujući različita brzina dolazne i odlazne kanale. Uzmimo za primjer ADSL kanal (usput, ovu skraćenicu znači "asimetričan" digitalna linija"), u kojem je dolazni promet nekoliko puta brži od odlaznog. Istovremeno, korisnici se osjećaju prilično ugodno, a provajder štedi na frekvencijskim resursima. Slična tehnologija se koristi u organizaciji satelitske komunikacije, samo ovdje operateri iskorištavaju priliku ne samo da smanje brzinu obrnutog kanala, već potpuno uklanjanje to sa satelita, odnosno prenošenje ove funkcije u ruke zemaljskih provajdera. Ova šema se zove asimetrični kanal. Tipično, telefonska linija (fiksna ili mobilne komunikacije), ali ovu ulogu može imati i provajder koji radi lokalna mreža ili bežični pristup.

Postoji stereotip da je satelitski internet usmjeren na regije sa slabo razvijenom infrastrukturom, što se ne može shvatiti kao potpuno odsustvo telekomunikacija kao takvih. To prije znači nedostatak pristojnih zemaljskih provajdera razumne tarife. Ova opcija vam također omogućava značajno povećanje brzine pristupa ako je, na primjer, pristup Internetu moguć samo preko telefonskog modema ili sporog GPRS kanala mobilnog Interneta.

Istovremeno, postoji i dvosmjerni satelitski internet, ali taj fenomen je daleko od rasprostranjenosti. Ova opcija namijenjen je prvenstveno onima kojima je potreban pristup internetu kada potpuno odsustvo alternative sa bilo kog mesta u svetu. Ovo rješenje zaista ne ovisi o tome postojeće mreže, iako je i dalje potrebna električna energija za rad. Ali zbog visoke cijene takvog kanala, koristi se uglavnom u hitne svrhe, pa najčešće pod satelitski internet To znači asimetrični kanal koji kombinuje sljedeće:

• satelitski prijemnik za prijem
• usluge zemaljskog provajdera (na primjer, mobilnog operatera) za slanje zahtjeva i podataka.

Opcije za organiziranje obrnutog kanala

Načini organizovanja povratni kanal ima ih mnogo. Naravno, izbor tehnologije prvenstveno treba da bude određen mogućnostima dostupnim u pojedinoj geografska tačka. Ovo može biti ne samo fiksna ili mobilna telefonska linija, već i neka vrsta radio pristupa. Nije isključeno lokalni provajder sa " kućnu mrežu"(iz nekog razloga vam ne odgovara kao jedina veza na World Wide Web).

Softver koji isporučuje operater satelitskog interneta odgovoran je za ispravnu distribuciju podataka (gdje poslati zahtjev i odakle pročitati informacije). Bez njega kompetentan rad asimetrični kanal nije moguć.

Karakteristike asimetričnog kanala

Nažalost, čak i sa asimetrična šema za organizovanje pristupa Internetu broj frekvencija za prenos podataka sa satelita je ograničen. To znači da je nemoguće svakom pretplatniku obezbijediti poseban kanal ne samo za prijem/prenos, već i jednostavno za primanje informacija. Štaviše, bilo koja druga podjela kanala, na primjer po vremenu, takođe nije efikasna. Dakle, standard satelitskog Interneta podrazumijeva emitovanje podaci za sve korisnike, što znači da informacije koje prima primalac ne sadrže samo stranice koje ste tražili, već i poštu vašeg komšije, delove preuzetog filma vašeg rođaka u drugom gradu, pa čak i poruke od nekog stranca glasnika.

Satelitski prijemnik dešifruje signal koji dolazi sa satelita u tražene podatke na Internetu

Prijemnik bira potrebne podatke iz ove mase koristeći MAC adresu satelitskog terminala. Naravno, provajderi satelitskog interneta pribjegavaju raznim trikovima kako bi spriječili korisnike da čitaju informacije koje im nisu namijenjene – na primjer, kanali se šifriraju različitim algoritmima. Ali sama činjenica da se povjerljivim podacima može pristupiti privlači mnoge prevarante i jednostavno znatiželjnike. Zabava koja se sastoji od čitanja podataka drugih ljudi naziva se "satelitski ribolov".

Oprema za satelitski internet

Najpopularnije za organizovanje satelitskog interneta danas su DVB-S standardi i DVB-S2 (drugi je poboljšana verzija prvog). Da biste se povezali na mrežu putem satelita koristeći uobičajenu asimetričnu shemu, trebat će vam:

• satelitsku antenu preporučenog prečnika
• pretvarač signala
• prijemnik (satelitski internet terminal)
• potrebnim kablovima
• ugovor sa satelitskim operaterom.

Kao što sam ranije rekao, i to je neophodno alternativno povezivanje na “zemaljsku” mrežu i softver za upravljanje paketima podataka.

Satelitske antene se ne razlikuju od uređaja za prijem digitalne satelitske televizije, ali se značajno razlikuju i po cijeni i po veličini od primopredajnih antena. Obično operater satelitski internet, kao što je slučaj sa satelitska televizija, preporučuje određeni minimalni prečnik “tanjira”, u zavisnosti od geografske lokacije pretplatnika (a samim tim i snage satelitski signal pod idealnim uslovima). Iza tačne informacije Trebali biste kontaktirati web stranicu operatera. Teoretski, možete sami instalirati satelitsku antenu. Međutim, najčešće se preporučuje kontaktiranje stručnjaka koji će ga jasno usmjeriti na satelit koji se nalazi u geostacionarnoj orbiti.

Pretvarači mogu se razlikovati jedni od drugih po nizu parametara (na primjer, po polarizaciji s kojom rade), pa se prilikom odabira preporučuje da obratite pažnju na liste podržanog hardvera na web stranici provajdera.

Prijemnik u formatu PCI kartice se ubacuje u sistemsku jedinicu i omogućava korisniku dolazni saobraćaj sa satelitske i satelitske televizije.

Satelitski terminal je interfejs ploča u koju se može umetnuti sistemska jedinica računar (na primjer, preko PCI sučelja) ili smješten u vanjskom kućištu i spojen na PC preko USB porta.

Pažnja! Ne biste trebali prvo kupiti opremu, a zatim tražiti satelitskog Internet provajdera. Ako su "pločice" manje-više univerzalne, onda se nude pristupni terminali raznih operatera, vrlo često se ispostavi da su nespojive. Vaš internet provajder obično vam može obezbediti i hardver i softver, u kojem je već navedeno vlastita podešavanja(kodiranje, proxy serveri, itd.).

Dvosmjerni satelitski komunikacijski kanal

Simetričan kanal

Očigledno, da biste organizirali dvosmjerni kanal, trebat će vam ne samo prijemna, već i oprema za odašiljanje, odnosno skuplja primopredajna antena, jedinica za odašiljanje (pored prijemne), kao i poseban terminal. Osim visoke cijene sve ove opreme i najma satelitskog kapaciteta, dvosmjerni satelitski internet ima i druge nedostatke:

• Pošto se podaci od vas šalju bežičnim putem, oprema za odašiljanje mora biti propisno registrovana kod državnih organa, što može potrajati, ali najčešće se za ovaj problem pobrinu provajderi.
• Dvosmjerni satelitski internet je vrlo specifičan način komunikacije. S obzirom na vrijeme potrebno da radio signal putuje kroz satelit do provajdera i nazad, odgovori na poslane zahtjeve možda neće biti vraćeni za nekoliko milisekundi, kao što smo navikli kod zemaljskih provajdera, već za sekunde. Određeno kašnjenje je tipično i za "asimetrične" satelitska veza, ali u ovom slučaju signal putuje samo jednom duž "duge" putanje (preko satelita). Prilikom organiziranja simetrične linije signal dolazi putem satelita dva puta (zahtjev provajderu i odgovor korisniku), odnosno vrijeme čekanja se udvostručuje i postaje primjetno. To znači da nema mreže kompjuterske igrice, zahtijeva brz odgovor i nije vrijedno razmišljanja.

Da li je satelitski internet skup?

Tradicionalni satelitski internet je drugačiji visoka cijena vezu, jer pretplatnik mora da plati skupa oprema. No, s popularizacijom usluge, pojavljuje se sve više pristupačnih terminala i satelitskih antena, što nam omogućava da se nadamo sniženju cijena u bliskoj budućnosti. Današnji trošak simetričan pristup je oko 2-3 desetine hiljada rubalja za povezivanje i podešavanje, kao i od 1000 rubalja mesečno za saobraćaj ili kao pretplatu.

WITH asimetričan pristup situacija je bolja: trošak opreme za prijem je oko 5000-7000 rubalja. Mjesečni troškovi o saobraćaju ili pretplatu u prosjeku se kreću od 500 rubalja za veze bez nižeg garantovanog praga brzine (CIR) i od 2000 rubalja - s takvim pragom.

Da li vam je potreban satelitski internet?

Satelitski internet je možda jedina šansa da se povežete na Internet tamo gde ne postoji stabilna mobilna ili kablovska usluga telefonska komunikacija. A ako vas cijena problema ne zaustavi, ima smisla obratiti pažnju simetrična metoda pristup. Ali vrijedi uzeti u obzir nedostatke satelitskih internetskih komunikacija. Nažalost, takav pristup Internetu, začudo, nije toliko pouzdan. S obzirom da signal putuje hiljadama kilometara do satelita, svaki primjetni oblak može postati smetnja. Ovo se može boriti korištenjem veće površine satelitska antena, što će koštati više. Još jedan nedostatak takve veze je potreba za stručnom pomoći prilikom instaliranja i konfiguracije opreme, što također zahtijeva novac.

Binarni simetrični kanal (skraćeno BSC) je definisan dijagramom vjerovatnoće tranzicije prikazanim na Sl. 1. Ulaz kanala prima binarni signali, kao što su 0 i 1. Za svaki od ovih ulaznih signala postoji vjerovatnoća da je signal ispravno primljen i vjerovatnoća da je primljen pogrešno.

Rice. 1. Binarni simetrični kanal.

Zli šaljivdžija koji unosi greške u prenos je vrlo prostodušan: nema memoriju i „pogrešno tumači“ simbole nasumično i nezavisno jedan od drugog. Njegovi postupci su destruktivni, ali u njemu nema svjesne zlobe i njegova aktivnost je stabilna, navodi najmanje, u statističkom smislu.

Apstraktna shema za prijenos informacija kojom ćemo se tako baviti prikazana je na Sl. 2. Ulaz enkodera prima neku dugu binarnu sekvencu x,

koji se sastoji od znakova 0 i 1, koje ćemo nazvati informacijskim nizom. Ovaj niz može biti potpuno proizvoljan. Želimo da se tačno reprodukuje na izlazu uređaja za dekodiranje sa verovatnoćom što je moguće bližom jedinici. Uređaji enkodera i dekodera povezani su samo binarnim simetričnim kanalom za koji je poznata vjerovatnoća prijelaza

U ovoj situaciji, koder je jasno ograničen u tome koje operacije može izvršiti. Priroda DSC-a je takva da propušta samo binarne sekvence.

Rice. 2. Prijenos informacija preko binarnog simetričnog kanala.

Ali koder može pretvoriti sekvencu x na svom ulazu u dužu sekvencu na svom izlazu. Tako sekvenca ulazi u kanal i njena iskrivljena verzija y stiže na ulaz uređaja za dekodiranje. Zadatak uređaja za dekodiranje, s obzirom na poznatu vjerovatnoću prijelaza kanala izobličene sekvence y primljene na ulazu ovog uređaja i metodu kodiranja koja specificira transformaciju, je da donese odluku u vezi informacijskog niza x primljenog kodiranjem. uređaj.

Za dati DSC, zadatak kodiranja je odrediti skup pravila po kojima se bilo koja informacijska sekvenca x kodira u određeni niz tako da uređaj za dekodiranje može jedinstveno i sa proizvoljno malom vjerovatnoćom greške rekonstruirati x, uprkos izobličenjima koja se javljaju u kanal. Nas zanima ne samo

da naznači kako enkoder iz x proizvodi s (problem kodiranja), ali i da naznači kako dekoder dobija x od y (problem dekodiranja).

Postoji barem jedan jednostavan i očigledno rešenje za ovaj zadatak: ponovite svaki znak niza x jednom. Na primjer, niz informacija

at će odgovarati prenesenoj sekvenci

Mi ćemo dekodirati y koristeći pravilo većine. Ako je ili više znakova u svakom bloku znakova jednako 1, tada će uređaj za dekodiranje ispisati znak 1, u suprotnom - znak 0. Ako je jasno da je vjerovatnoća greške, ali, nažalost, broj znakova koji se može isporučiti primatelju po izlazu uređaja za dekodiranje će težiti 0.

Klasičan način da se smanji vjerovatnoća greške pri prenošenju numeričke informacije prevedene na DSC jezik je da, prvo, treba smanjiti vjerovatnoću tranzicije, tj. najbolji kanal. Ako u bilo kojoj fazi dalje poboljšanje kanal se pokaže neekonomičan ili tehnički nemoguć, tada se prijenos ponavlja onoliko puta koliko je potrebno kako bi se osiguralo da rezultirajuća vjerovatnoća greške padne ispod određene granice koja zadovoljava projektanta. Poteškoća s klasičnim pristupom je u tome što kada se ova margina greške približi nuli, ili kanal postaje neproporcionalno skup ili je prihod od njegove upotrebe nesrazmjerno nizak. Drugim riječima, opet smo suočeni s činjenicom da savršenstvo obično ima cijenu.

Shanonov temeljni rad na teoriji informacija pokazao je dva opšte teoreme, koji su u jasnoj suprotnosti sa našim očekivanjima.

1. Za dati kanal, moguće je, koristeći odgovarajuće odabrano kodiranje, prenositi s vjerovatnoćom greške manjom od bilo koje unaprijed postavljena vrijednost, ako brzina prijenosa informacija ne prelazi određenu granicu poznatu kao kapacitet kanala C.

2. Suprotno tome, za brzine prijenosa informacija veće od C, nemoguće je prenijeti sa proizvoljno malom vjerovatnoćom greške.

U slučaju binarnog simetričnog kanala, zgodno je odnositi brzinu prijenosa informacija na jedan preneseni simbol, a ne na jedinicu vremena. Kada su svi mogući nizovi x na ulazu jednako vjerovatni, brzina prijenosa informacija je određena relacijom

7.5. Kapacitet kanala

Magnituda I(X; Y) igra posebnu ulogu u teoriji informacija i opisuje prijenos informacija putem komunikacijskog kanala. Iz definicije (7.9) slijedi da I(X; Y) zavisi i od verovatnoće prelaza kanala i od distribucije verovatnoće simbola na ulazu kanala. Za daljnja razmatranja, razmotrite diskretni kanal bez memorije sa fiksnim prijelaznim vjerovatnoćama i postavite pitanje: Šta maksimalni iznos mogu li se informacije prenositi putem ovog kanala?

Bandwidth kanal sa datim vjerovatnoćama prijelaza jednak je maksimumu prenesene informacije po svim ulaznim distribucijama izvornih simbola X

Komentar.Dimenzija propusnog opsega je bit/simbol. Ako se, na primjer, jedan simbol u sekundi prenosi preko kanala, onda možemo govoriti i o dimenziji bit/sec.

Pošto se traži maksimum preko svih važećih ulaznih izvora, propusnost zavisi samo od prelaznih verovatnoća kanala.

Sa matematičke tačke gledišta, traženje kapaciteta diskretnog kanala bez memorije svodi se na traženje distribucije vjerovatnoće ulaznih izvornih simbola koja pruža maksimalnu informaciju I(X; Y). Istovremeno, o vjerovatnoći ulaznih simbola nametnuta su ograničenja

U osnovi, određivanje maksimuma I(x,y) pod ograničenjima (7.44) moguće je kada se koristi multiplikativno Lagrangeova metoda. Međutim, takvo rješenje je pretjerano skupo. U posebnom slučaju (simetrični kanali), sljedeća teorema pomaže u pronalaženju propusnosti.

Teorema 7.5.1. U simetričnim diskretnim kanalima bez memorije, propusnost se postiže ujednačenom distribucijom vjerovatnoće ulaznih izvornih simbola X.

Komentar.Također je predviđena metoda za određivanje da li je kanal simetričan ili ne.

7.5.1. Bandwidth

Binarni diskretni simetrični kanal bez memorije (DSC) se određuje korištenjem matrice vjerovatnoće prijelaza kanala (7.2). Jedini parametar koji karakterizira DSC je vjerovatnoća greške ε. Iz ujednačene raspodjele ulaznih simbola i simetrije prijelaza kanala slijedi uniformna raspodjela izlaznih simbola, tj.

Koristeći (7.9), dobijamo

Zamena numeričke vrijednosti, imamo

Entropija DSC određuje se kroz (2.32)

Konačno dobijamo propusnost DSC-a u kompaktnom obliku

Zanimljiva su dva rubna slučaja:

1. Prijenos informacija putem tihog kanala:

I

2. Kanal je potpuno bučan:

I

Važan poseban slučaj DSC je binarni simetrični kanal sa brisanjem (DSKS) ili binarni kanal sa brisanjem (Binary Erasure Channel, WEIGHT - engleski). Kao i DSC, binarni kanal sa brisanjem može poslužiti kao pojednostavljeni model prijenosa informacija preko kanala With aditivni bijeli Gausov šum (AWGN). Pravilo donošenja odluka u DSKS-u prikazano je na sl. 7.11. Sa slike se može vidjeti da se uz odluke o prenesenom znaku “0” ili “1” ponekad ovdje donosi odluka da se primljeni znak “e” izbriše (Erasure). Brisanje se dešava ako se detektuje analogni signal V spada u zonu za koju funkcionišu vrednosti uslovne gustoće verovatnoće f(V/0) i f(V/1) ispostavilo se da je blizu nule.

Rice. 7.11. Uvjetne funkcije gustoće vjerovatnoće detektiranog signala i područja odlučivanja.

Komentar.U binarnom kanalu sa brisanjem, umjesto nedvosmisleno “tvrde” odluke o primljenom simbolu “O” ili “1”, donosi se takozvana “meka”. rješenje. U ovom slučaju dodatno imamo neke informacije o pouzdanosti primljenog binarnog simbola. S tim u vezi, u tehnologiji prenosa podataka govore o prijemu sa “tvrdom” i “mekom” odlukom. “Meko” rješenje u kombinaciji s odgovarajućim kodiranjem informacija omogućava, u nekim slučajevima, pouzdaniji prijenos podataka. Jedan primjer upotrebe "mekog" rješenja može se naći u drugom dijelu ove knjige.

Rice. 7.12.

Označimo vjerovatnoću brisanja sa q, a vjerovatnoća greške neizbrisanog simbola je R.

Prijelazni dijagram za kapal sa dva ulazna i tri izlazna simbola prikazan je na Sl. 7.12. Odgovarajuća matrica kanala koja sadrži vjerovatnoće prijelaza ima oblik

Nađimo kapacitet kanala sa brisanjem. Budući da je kanal simetričan, propusnost se postiže ravnomjernom raspodjelom ulaznih simbola

Iz toga slijedi da su vjerovatnoće izlaznih simbola jednake

Sada su poznate sve potrebne vjerovatnoće. Koristeći (7.9), imamo

Koristeći svojstvo simetrije kanala, dobijamo

Kao što vidimo, propusnost kanala sa brisanjem zavisi samo od verovatnoće R I q. Raspored C =f(str, q) je prostorna trodimenzionalna površina koja se nalazi iznad ravnine (str, q). Ovdje ćemo se ograničiti na samo razmatranje dva važna specijalna slučaja.

1. Kada q = 0, imamo binarni simetrični kanal, o čemu smo već govorili ranije. Zamena q = 0 u (7,59), kako se očekivalo, dobijamo (7,49).

2. Kanal sadrži samo brisanja, tj. at p = 0 greške ili nisu prisutne, ili ih zanemarujemo. U ovom slučaju

Na sl. 7.13 prikazuje propusnost DSC-a (7.49) i binarnog kanala sa brisanjem (p = 0). Treba napomenuti da je uz male vjerovatnoće greške, odabirom optimalnih područja brisanja u DSCS-u moguće postići znatno veći protok nego u konvencionalnim binarnim kanalima.

Komentar.Ovdje se postavlja pitanje mogućnosti povećanja propusnosti kod prijema sa brisanjem u praksi. Tu se otkriva slabost teorije informacija. Teorija informacija često ne može ponuditi dizajn koji realizuje teorijski dostižne granice. Međutim, mali primjer, detaljno razmotren u drugom dijelu ove knjige, pokazuje da uvođenje brisanja ponekad može smanjiti vjerovatnoću greške. Pogledajmo ovaj primjer na intuitivnom nivou. Podijelimo tok prenesenih informacija na blokove koji sadrže 7 binarni znakovi (7 bita). Svakom bloku dodajemo jedan paritetni bit (“O” ili “1”). Ovako kodirani blokovi od osam binarnih znakova uvijek će sadržavati paran broj jedinica. Neka vjerovatnoća greške u DSC-u bude prilično mala. Predstavimo zonu brisanja (slika 7.11) na ovaj način:tako da se greške uglavnom pretvaraju u brisanja. Istovremeno, vjerovatnoća "neizbrisane" greške bit će zanemarljiva, a vjerovatnoća brisanja će ostati prilično mala. Dobit ćemo kapilar za brisanje (DSKS), u kojem će blokovi od osam binarnih znakova u velikoj većini slučajeva ili biti ispravno primljeni ili će sadržavati samo jedan izbrisan binarni znak. Kvalitet prijema će se značajno poboljšati, jer se jedno brisanje u bloku sa paran broj uvijek može ispraviti.

Rice. 7.13. Kapacitet propusnog opsega binarnog simetričnog kanala WITH DSK sa mogućnošću greške ε i binarni kanal sa brisanjem WITH DSKS sa vjerovatnoćom brisanja q i vjerovatnoću greške R= 0.

primjer: Binarni simetrični kanal sa brisanjem.

Rice. 7.14. Binarni kanal sa brisanjem.

Na sl. Slika 7.14 prikazuje dijagram prijelaza simetričnog kanala sa brisanjem. Definiraj:

1. Matrica kanala

2. Distribucija vjerovatnoće izvornih simbola Y, ako je poznato da su izvorni simboli X ravnomerno raspoređeni, tj. pa = pi = 1/2;

3. Kapacitet kanala;

4. Dijagram tokova informacija sa svim entropijama;

5. Model kanala s matricom Ry/u.

Rješenje.

1. Uzimajući u obzir činjenicu da je zbir vjerovatnoća u svakom redu matrice jednak 1, dobijamo

2. Na osnovu uniformne distribucije vjerovatnoće simbola na ulazu, prema (7.52), imamo

3. Pošto je kanal koji se razmatra simetričan, propusnost se postiže ravnomernom raspodelom ulaznih simbola. Iz (7.54) uzimajući u obzir (7.56) imamo

4. Entropija diskretnog binarnog izvora, bez memorije X sa uniformnom raspodelom verovatnoće simbola je jednaka

Entropija izvora YR Ava

Budući da je u simetričnom kanalu sa ravnomerna raspodela ulaznih simbola I(X; Y) poklapa se sa propusnost WITH iz (7.58), zajednička entropija i dvije uslovne entropije mogu se izračunati korištenjem tabele 7.3. Dijagram toka informacija prikazan je na Sl. 7.15.

Rice. 7.15. Dijagram tokova informacija binarnog simetričnog kanala sa brisanjem.

5. Ponovno izračunavanje matrice vjerovatnoća prijelaza kanala u

Čitaocu ostavljamo matricu kao samostalnu vježbu. Dijagram kanala sa izvorom ulaza Y i vikendom X prikazano na sl. 7.16 za kontrolu.

Rice. 7.16. Binarni simetrični kanal sa brisanjem.

7.6. Teorema kodiranja za diskretne kanale bez memorije

Razmotrimo diskretni kanal bez memorije sa propusnim opsegom od C[bit/simbol], u kojem se svaki simbol prenosi unutar T s sec. Za ovaj kanal

Neka je entropija nekog izvora X, mjereno u periodu od sekunde je H(X) bit. Tada vrijedi sljedeća teorema.

Teorema 7.6.1. Teorema kodiranja kanala(Chennault-ova teorema).

Za izvor X sa brzinom R = H(X)/ T S [bit/sec] i R < С postoji neki kod. uz pomoć kojeg izvora informacija X može se prenijeti na komunikacioni kanal kapaciteta C 1 [bit/sec] sa proizvoljno malom vjerovatnoćom greške.*

* Teorema kodiranja vrijedi ne samo za diskretni kanali, važi i za vrijeme prijenosa diskretne poruke By kontinuirani kanali. Bilješka prevod

Dokaz teoreme kodiranja za kanal (vidi, na primjer,) je prilično kompliciran i izvan je okvira ove knjige, pa ćemo se ovdje ograničiti na sljedeće komentare.

Dokaz teoreme kodiranja uključuje korištenje slučajni kodovi beskonačna dužina i dekoder maksimalne vjerovatnoće, pružajući minimalnu vjerovatnoću greške. Dokaz ne koristi nikakva konstruktivna rješenja. Koristi samo statistička svojstva i granične prolaze za blok kodove čija dužina bloka teži beskonačnosti. Dokaz ne daje nikakve naznake dizajna optimalnih kodova.

Teorema kodiranja također definira gornju granicu za brzinu prijenosa R.*

Prilikom dokazivanja teoreme uvodi se indikator eksponencijalne evaluacije R 0 , koji se može koristiti za procjenu tehnički ostvarive brzine prijenosa podataka.

* Ovdje je potrebno pojašnjenje. Postoji teorema inverznog kodiranja koja ovo kaže. o čemu R> C Ne postoji metoda kodiranja koja omogućava prijenos informacija s bilo kojom vjerovatnoćom greške. Bilješka prevod

Poglavlje 8. Kontinuirani izvori i kanali

Poglavlje 2 definiše entropiju kao meru neizvesnosti izvora. Pretpostavljalo se da je entropija mjerena nasumičnim eksperimentima. U ovom poglavlju ćemo zauzeti sličan pristup kontinuiranim izvorima.

Rice. 8.1. Kontinuirani izvorni signal.

Umjesto izvora sa konačnim alfabetom simbola, razmatrat ćemo izvore čiji je izlaz kontinuirani signali. Primjer takvih signala je vremenski promjenjiv napon u telefonskim kanalima, itd. Slika 8.1 prikazuje kontinuirani izvor X, čiji je izlaz analogni signal x(t), što je neka nasumična funkcija vremena t. Razmotrićemo vrednosti x(t) u nekim fiksnim vremenskim trenucima kao nasumični eksperimenti koji nose neke informacije o izvoru X.

8.1. Diferencijalna entropija

Slika 8.2 prikazuje dva kontinuirana izvora X I Y, povezani kanalom (slično kao na slici 7.4). Ovdje, umjesto vjerovatnoća, postoje funkcije gustoće vjerovatnoće stohastičkih varijabli.

Upotreba stohastičkih varijabli i njihovih funkcija gustoće vjerovatnoće omogućava nam da uvedemo koncept informacije, entropije, uslovne i međusobne entropije za dva kontinuirana izvora po analogiji sa diskretnim izvorima.

Rice. 8.2. Dva kontinualna izvora bez memorije, povezana kanalom.

Transformacija kontinuiranog izvora X da diskretno. Da bismo to učinili, kvantiziramo vrijednosti analognog izlaza izvora sa korakom Δ (slika 8.3).

Rice. 8.3. Digitalizacija kontinuiranog izvora sa intervalom kvantizacije Δ u trenucima posmatranja t 0 , t 1 itd.

Osim toga, kao što se obično radi u teoriji informacija, diskretizirat ćemo izvor na vrijeme. Kao rezultat dobijamo niz stohastičkih varijabli.Slijedeći tabelu 7.2, određujemo međusobnu informaciju simbola x i, And y j , Gdje x i - vrijednost izlaznog simbola u trenutku t m , a x j - u određenom trenutku t n

Međusobne informacije se mogu tumačiti kao „uklonjena“ (izgubljena) nesigurnost pogotka varijable X P u intervalu , kada je poznato da je varijabla X T pripada intervalu ili obrnuto. Razmotrit ćemo funkciju gustoće vjerovatnoće kontinuirana funkcija. Zatim, usmjeravajući širinu intervala kvantizacije na nulu, dobijamo

one. rezultat sličan izrazu za međusobne informacije za diskretni izvori. Prenesene informacije može se definisati kao matematičko očekivanje

Komentar.Ovdje, da bi se notacija ovog poglavlja uskladila sa rezultatima tabele 7.2, umjesto X T korištenoX, i umjesto togaY n - Y.

Izvorne informacije određuju se na osnovu sličnog razmišljanja

Za razliku od izraza (8.3) za međusobnu informaciju, u (8.4) se pojavljuje član koji zavisi od intervala kvantizacije Δ.

Kod , vrijednost također teži beskonačnosti. Kao rezultat toga, izraz za također teži ∞. Ovo nije iznenađujuće, jer kako se korak kvantizacije smanjuje, povećava se broj pojedinačnih događaja (simbola izvorne abecede) i, posljedično, povećava se i izvorna nesigurnost.

Magnituda ne ovisi o izvoru i potpuno je irelevantan za njegov opis, stoga se čini sasvim prirodnim koristiti samo funkciju gustoće vjerovatnoće kontinuiranog izvora. Dakle, prelazimo na sljedeću definiciju.

Prosječna informacija kontinuiranog izvora, tzv diferencijalna entropija, definisano kao

Prije svega, napominjemo da takva proizvoljna definicija diferencijalne entropije potvrđuje njenu prikladnost činjenicom da se pokazuje da relacije entropije za diskretne izvore vrijede za slučaj kontinuiranih izvora i kanala. Konkretno, za kontinuirane izvore vrijede relacije (7.39) - (7.42).

Dakle, diferencijalna entropija kontinuiranog izvora ovisi samo o funkciji gustoće vjerovatnoće, koja u opšti slučaj je beskonačna veličina, stoga postavimo pitanje kolika može biti vrijednost diferencijalne entropije. Prije svega, napominjemo da su karakteristike stohastičkog procesa dvije veličine: prosječna vrijednost koju uzima stohastička varijabla (koja ima svojstvo linearnosti) μ I standardna devijacija stohastička varijabla σ .

Prosječna vrijednost ili matematičko očekivanje μ nema uticaja na diferencijalnu entropiju. Sa rastom σ , povećava se nesigurnost izvora, što također dovodi do povećanja diferencijalne entropije. S tim u vezi, poređenje razne funkcije ima smisla istovremeno proizvesti gustine raspodjele vjerovatnoće u odnosu na njihovu odgovarajuću entropiju σ .

Komentar.IN informacione tehnologije uzeti kao početni parametarσ 2 - disperzija, koja određuje prosječnu snagu stohastičkog procesa[ 10]. Jasno je da se sa povećanjem snage predajnika povećava količina prenesene informacije i, obrnuto, sa povećanjem snage buke povećava se nesigurnost, tj. Manje informacija se prenosi po jedinici vremena.

Iz teorije informacija slijedi da diferencijalna entropija dostiže svoj maksimum s Gausovom raspodjelom vjerovatnoće.

Teorema 8.1.1. Za datu varijansu σ 2 , maksimalna diferencijalna entropija ima izvor sa Gausova raspodjela vjerovatnoće, i

primjer: Diferencijalna entropija Gausovog izvora.

Iz (8.5) proizilazi da je diferencijalna entropija Gausovog izvora jednaka

Izraz u uglaste zagrade može se proširiti na dva integrala. Dakle, konačno imamo

Numerički primjeri za tri najčešće distribucije dati su u tabeli 8.1.

Tabela 8.1. Primjer diferencijalne entropije.

primjer: Telefonija.

Praktična korisnost gornjih rezultata može se jasno pokazati procjenom dostignuća brzine prijenosa informacija (u bitovima) u digitalnom telefonske linije. Moderna standardne metode digitalni prenos govor (logaritamski PCM) zahtijeva 8 bita za kodiranje jednog uzorka, sa frekvencijom uzorka od 8 kHz. Dakle, brzina prenosa glasa je 64 kbit/sec.

Na osnovu uniformne distribucije vjerovatnoće u intervalu [-1,1], eksperimentalno dobijamo σ 2 = 1/3. Dakle, diferencijalna entropija po uzorku je

Pošto se uzorci uzimaju na frekvenciji od 8 kHz, nalazimo da je potrebna brzina prenosa govora 8 kbit/sec. Prilikom procjene entropije nismo uzeli u obzir veze između susjednih uzoraka (izvorna memorija) i. stoga će stvarna diferencijalna entropija izvora govora biti još manja. U stvari, mi to znamo savremeni algoritmi kodiranje govora omogućava prijenos govorni signal brzinom od oko 8 kbit/sec sa kvalitetom uporedivim sa standardnim PCM-om.