Lățimea de bandă a unui canal binar, echilibrat.

Descriere

DSK este canal binar, prin care se poate transmite unul dintre cele două caractere (de obicei 0 sau 1). Transmisia nu este perfectă, astfel încât receptorul capătă un caracter diferit în unele cazuri.

DSC este adesea folosit de teoreticieni ca cel mai simplu canal zgomotos. În teoria comunicării, multe probleme se rezumă la DSC.

Definiție

Canal binar simetric cu probabilitate de tranziție se referă la un canal cu intrare binară, ieșire binară și probabilitate de eroare. Canalul este caracterizat de următoarele probabilități condiționate:

Primul argument al probabilității condiționate corespunde caracterului transmis aleatoriu, al doilea valorii primite.

Probabilitatea este numită probabilitatea de tranziție sau probabilitatea de eroare cu un caracter.

Debitul DSC

Lățimea de bandă a canalului este calculată prin formula:

, este o funcție numită entropie binară.

Cm. de asemenea

Fundația Wikimedia. 2010.

Vedeți ce este „Canal simetric binar” în alte dicționare:

canal binar echilibrat- Un canal de transmisie a datelor în care probabilitățile de erori în caracterele „0” și „1” sunt în medie aceleași și nu există nicio influență a caracterelor anterioare asupra celor ulterioare. Fiabilitatea transferului de informații nu depinde de ceea ce ...... Ghidul tehnic al traducătorului

- (canal englezesc, linie de date) un sistem de mijloace tehnice și un mediu de propagare a semnalului pentru transmiterea mesajelor (nu numai a datelor) de la o sursă la un receptor (și invers). Canalul de comunicare, înțeles în sens restrâns (cale de comunicare), ... ... Wikipedia

Canalul de comunicare, funcția de tranziție la rogo, are una sau alta proprietate de simetrie. Canal omogen fără memorie cu timp discret și spații de stări finite Y și componente ale semnalului la intrare și la ieșire, specificate de matricea tranzitorii ... ... Enciclopedia de matematică

O ramură a matematicii care examinează procesele de stocare, transformare și transmitere a informațiilor. Se bazează pe un anumit mod de măsurare a cantității de informații. Decurgând din problemele teoriei comunicării, teoria informației este uneori privită ca ... ... Enciclopedia lui Collier- Terminologie GOST 22670 77: Rețea digitală integrală de comunicații. Termeni și definiții document original: 10. n semnal personal de telecomunicații n ary signal digital Semnal digital de telecomunicații având n stări posibile ale parametrului reprezentativ, ... ... Dicționar-carte de referință de termeni ai documentației normative și tehnice

Procesarea informațiilor în sistemele de calcul este imposibilă fără transferul de mesaje între elementele individuale (RAM și procesor, procesor și dispozitive externe). Exemple de procese de transfer de date sunt prezentate în tabelul următor.

	Transmiţător	Canal	Receptor
Oamenii vorbesc		Mediul aerian. Vibrații acustice	Aparatură auditivă umană
Convorbire telefonica	Microfon	Conductor. Curent electric alternativ
Transmiterea datelor pe internet	Modulator	Conductor. Cablu de fibra optica... Curent electric alternativ. Semnal optic	Demodulator
Radiotelefon, walkie-talkie	Transmițător radio	Eter. Undele electromagnetice	Radio

O anumită similitudine poate fi observată în procesele de transfer enumerate mai sus. Schema generală a transferului de informații este prezentată în Fig.7.1.

În canal, semnalul este supus diferitelor influențe care interferează cu procesul de transmisie. Impacturile pot fi neintenționate (cauzate de cauze naturale) sau special organizate (create) într-un anumit scop de un inamic. Influențele neintenționate asupra procesului de transmisie (interferențe) pot fi zgomotul stradal, descărcări electrice (inclusiv fulgere), perturbări magnetice (furtuni magnetice), ceață, suspensii (pentru liniile de comunicații optice) etc.

Orez. 7.1. Schema generală de transfer de informații

Pentru a studia mecanismul efectului interferenței asupra procesului de transmitere a datelor și metodele de protecție împotriva acestora, este nevoie de un anumit model. Procesul de eroare este descris de un model numit Binary Symmetric Channel (BSC), care este prezentat schematic în Figura 7.2.

Orez. 7.2. Circuit de canal binar echilibrat

La trimiterea unui mesaj pe Eroarea DSC este probabil să apară în fiecare bit al mesajului, indiferent de prezența erorilor în alți biți. Eroarea constă în înlocuirea semnului 0 cu 1 sau 1 cu 0.

Unele tipuri de erori:

Înlocuirea semnelor are loc mai des decât altele. Acest tip de eroare a fost investigat cel mai amănunțit.

Modalități de îmbunătățire a fiabilității transmiterii mesajelor

Dacă se utilizează coduri optime la codificarea mesajelor, atunci dacă apare o singură eroare, întregul mesaj sau o parte semnificativă a acestuia poate fi distorsionat. Să ne uităm la un exemplu. Lăsa codificare mesajele elementare ale sursei se realizează folosind tabelul de coduri

Postări	Cuvânt de cod

Apoi mesajul codificat are forma 011011100110. Dacă apare o eroare la primul caracter, va fi primit mesajul 111011100110, care este decodat în cuvânt... Denaturarea completă a mesajului din cauza unei erori apare datorită faptului că un singur cod cuvânt trece la alt cod cuvânt ca urmare a înlocuirii unuia sau mai multor caractere. Un exemplu arată că optim codificare protejează slab mesajele de efectele erorilor.

În practică, este necesar compromiteîntre economia de cod și protecția împotriva erorilor.

În primul rând, „inutilul” redundanţă(mai ales statistic) și apoi se adaugă „util”. redundanţă care ajută la detectarea și remedierea erorilor.

Să luăm în considerare câteva metode pentru a îmbunătăți fiabilitatea transmiterii datelor. Tehnicile anti-interferențe binecunoscute sunt următoarele:

transmiterea în context;

mesaje duplicate;

transmitere cu re-cerere.

Să aruncăm o privire mai atentă la fiecare dintre aceste metode.

Transfer în context. Această metodă binecunoscută și general acceptată a fost întâlnită de oricine, încercând să transmită prin telefon numele de familie al cuiva cu o audibilitate slabă, a numit în locul literelor care o alcătuiesc, câteva nume, ale căror primele litere alcătuiesc numele de familie dat. . În acest caz, cunoașterea conținutului său semantic ajută la restabilirea corectă a mesajului distorsionat.

Mesaje duplicate. Această metodă este utilizată pe scară largă și în practica de zi cu zi, când, pentru a fi înțeles corect, mesajul solicitat este repetat de mai multe ori.

Transfer cu re-cerere. În cazul în care destinatarul are o legătură cu sursa mesajelor, pentru a decripta în mod fiabil mesajele, folosesc re-aking, adică cer să repete întregul mesaj transmis sau o parte din acesta.

Lucrul comun în toate aceste metode de creștere a fiabilității este introducerea redundanței, adică o creștere într-un fel sau altul a volumului unui mesaj transmis pentru posibilitatea decodării corecte a acestuia în prezența distorsiunilor.

De remarcat faptul că introducerea redundanței se reduce viteza de transmisie informații, deoarece doar o parte a mesajului transmis prezintă interes pentru destinatar, iar partea în exces a acestuia este introdusă pentru a preveni zgomotul și nu poartă informații utile.

Este firesc să alegeți astfel de forme de introducere a redundanței care să permită asigurarea unei imunități maxime la zgomot cu o creștere minimă a volumului unui mesaj.

Internet prin satelit trezește interes în rândul utilizatorilor, în primul rând, prin disponibilitatea sa pe scară largă. La urma urmei, accesul la Internet de la un satelit ajută acolo unde alte opțiuni de conectare la Internet sunt ineficiente sau nu sunt disponibile deloc.

În epoca internetului omniprezent, locuitorii orașelor mari, absența acestuia pare a fi o neînțelegere, dar ce opțiuni au locuitorii caselor private și din locurile îndepărtate de așezările mari? Majoritatea furnizorilor beneficiază de acoperirea rețelelor rezidențiale doar în blocurile de locuințe. Este mult mai dificil pentru rezidenții „sectorului privat” să organizeze un canal de internet, ca să nu mai vorbim de zonele îndepărtate, unde furnizorii este puțin probabil să vină în viitorul apropiat. Desigur, este posibil să accesați Rețeaua printr-un operator de telefonie mobilă, dar cu volumul actual de trafic, acest lucru este foarte scump.

O alternativă demnă la internetul mobil de viteză redusă și scump - Internet prin satelit... Mai recent, doar câțiva l-au folosit, dar acum această metodă de acces la Web a devenit mult mai accesibilă.

Acoperirea internetului prin satelit

Internet prin satelit- aceasta este comunicarea pe un canal radio cu participarea sateliților artificiali de pe Pământ, care nu sunt surse independente sau receptori finali ai semnalului, deoarece sunt doar repetoare care vă permit să ocoliți limitarea distanței comunicațiilor radio terestre cauzate de relief neuniform al planetei noastre. Astfel, Internetul prin satelit este doar o metodă de livrare a unui semnal de la un furnizor terestru către un client terestru.

Particularitatea internetului prin satelit este că repetitorul se află pe orbită, crescând automat zona de acoperire a semnalului la mai multe zone și regiuni. Avand in vedere si costul acestora, se poate fundamenta motivul pentru care acest tip de comunicare nu este la indemana nimanui. Încă una caracteristică a internetului prin satelit este de a limita cantitatea de informații transmise. La urma urmei, dacă fiecărui abonat ar trebui să i se aloce două canale separate (pentru primirea și transmiterea datelor), atunci un astfel de echipament pur și simplu nu s-ar potrivi pe un satelit, iar numărul de abonați posibili ar fi extrem de mic. Pentru a optimiza cumva costurile, furnizorii folosesc particularitățile traficului pe internet.

Asimetric - internet prin satelit cu 50%

Dacă vorbim despre statistici, atunci, în medie, traficul de intrare depășește cel de ieșire, iar la proiectarea rețelelor, acestea sunt respinse de acest factor, oferind viteze diferite ale canalelor de intrare și de ieșire. Să luăm, de exemplu, un canal ADSL (apropo, această abreviere înseamnă „linie digitală asimetrică”), în care traficul de intrare este de câteva ori mai rapid decât cel de ieșire. În același timp, utilizatorii se simt destul de confortabil, iar furnizorul economisește resursa de frecvență. O tehnologie similară este utilizată în organizarea comunicațiilor prin satelit, numai că aici operatorii folosesc ocazia nu numai de a reduce viteza canalului de întoarcere, ci de a-l elimina complet din satelit, adică de a transfera această funcție în mâinile terestre. furnizorii. O astfel de schemă se numește canal asimetric... De regulă, o linie telefonică (fixă sau mobilă) este folosită ca canal de întoarcere, dar un furnizor care operează printr-o rețea locală sau acces wireless poate acționa și el în acest rol.

Există un stereotip conform căruia Internetul prin satelit se concentrează asupra regiunilor cu infrastructură slab dezvoltată; acest lucru nu poate fi înțeles ca o absență completă a telecomunicațiilor ca atare. Înseamnă mai degrabă lipsa furnizorilor terestre decente cu tarife acceptabile. De asemenea, această opțiune vă permite să creșteți semnificativ viteza de acces, dacă, de exemplu, accesul la rețea este posibil doar printr-un modem telefonic sau un canal GPRS lent al internetului mobil.

Cu toate acestea, există și Internet prin satelit bidirecțional, dar fenomenul este departe de a fi răspândit. Această opțiune este destinată în primul rând celor care prețuiesc accesul la Internet în absența oricărei alternative de oriunde în lume. Această soluție nu depinde cu adevărat de rețelele existente, deși încă necesită energie electrică pentru a funcționa. Dar, datorită costului ridicat al unui astfel de canal, este utilizat în principal în scopuri de lucru de urgență, prin urmare, cel mai adesea sub Internet prin satelit este canalul asimetric care se înțelege care combină următoarele:

• receptor satelit pentru recepție
• servicii ale unui furnizor la sol (de exemplu, un operator de telefonie mobilă) pentru trimiterea de cereri și date.

Înapoi la opțiunile de organizare a canalului

Există multe modalități de a organiza un canal din spate. Desigur, alegerea tehnologiei ar trebui să fie determinată în primul rând de capacitățile disponibile într-o anumită locație geografică. Aceasta poate fi nu numai o linie de telefonie fixă ​​sau mobilă, ci și unele dintre opțiunile de acces radio. Nu este exclus un furnizor local cu o „rețea de domiciliu” (din anumite motive, nu vi se potrivește ca singura conexiune la World Wide Web).

Distribuirea corectă a datelor (unde se trimite o solicitare și unde se citește informații) este responsabilitatea software-ului furnizat de operatorul de internet prin satelit. Fără acesta, operarea competentă a unui canal asimetric este imposibilă.

Caracteristici ale canalului asimetric

Din pacate, chiar si cu organizare asimetrică a accesului la Internet numărul de frecvențe pentru transmiterea datelor de la satelit este limitat. Aceasta înseamnă că este imposibil să oferi fiecărui abonat un canal separat nu numai pentru primirea/transmiterea, ci și pur și simplu pentru primirea de informații. Mai mult, orice altă diviziune a canalului, de exemplu în timp, nu este eficientă. Prin urmare, standardul Internet prin satelit presupune difuzarea datelor pentru toți utilizatorii, ceea ce înseamnă că informațiile primite de receptor conțin nu numai paginile pe care le-ați solicitat, ci și e-mailul vecinului dvs., părți dintr-un film descărcat al rudei dvs. din alt oraș și chiar mesaje de la orice mesager al unui străin...

Receptorul de satelit decriptează semnalul care vine de la satelit în datele de internet solicitate

Selectarea datelor necesare din această masă este gestionată de receptor prin adresa MAC a terminalului satelit. Desigur, furnizorii de internet prin satelit recurg la diverse trucuri pentru a împiedica utilizatorii să citească informații care nu le sunt destinate - de exemplu, canalele sunt criptate folosind diferiți algoritmi. Dar chiar faptul că datele confidențiale pot fi accesate atrage o mulțime de escroci și doar curioși. Divertismentul, care constă în citirea datelor altora, se numește „pescuit prin satelit”.

Echipament pentru internet prin satelit

Cele mai populare standarde pentru organizarea internetului prin satelit astăzi sunt standardele DVB-S și DVB-S2 (al doilea este o versiune îmbunătățită a primei). Pentru a vă conecta la rețea prin satelit conform schemei asimetrice comune, veți avea nevoie de:

• antenă satelit de diametrul recomandat
• convertor de semnal
• receptor (terminal de internet prin satelit)
• cablurile necesare
• contract cu un operator de satelit.

După cum am spus mai devreme, sunt necesare, de asemenea, conectivitate terestră alternativă și software de gestionare a pachetelor.

Antenele de satelit nu sunt diferite de dispozitivele de recepție a televiziunii digitale prin satelit, dar diferă semnificativ atât ca preț, cât și ca dimensiune, cu antenele de recepție și de transmisie. De obicei, operatorul Internet prin satelit, ca si in cazul televiziunii prin satelit, recomanda un anumit diametru minim de „antene”, in functie de localizarea geografica a abonatului (si de aici puterea semnalului satelit in conditii ideale). Pentru informații exacte, vă rugăm să consultați site-ul web al operatorului. Teoretic, puteți instala singur o antenă satelit. Cu toate acestea, cel mai adesea este recomandat să contactați specialiști care îl vor direcționa clar către un satelit situat pe o orbită geostaționară.

Convertoare pot diferi unul de celălalt într-o serie de parametri (de exemplu, polarizarea cu care funcționează), prin urmare, atunci când alegeți, se recomandă să acordați atenție listelor de hardware acceptat de pe site-ul furnizorului.

Receptorul în format PCI-card este introdus în unitatea de sistem și oferă utilizatorului atât traficul de intrare de la televiziunea prin satelit, cât și de la TV prin satelit.

Terminalul satelit este o placă de interfață care poate fi introdusă în unitatea de sistem a unui computer (de exemplu, printr-o interfață PCI) sau amplasată într-o carcasă externă și conectată la un PC printr-un port USB.

Atenţie! Nu ar trebui să cumpărați mai întâi echipament și apoi să căutați un furnizor de servicii de internet prin satelit. Dacă „plăcile” sunt mai mult sau mai puțin universale, atunci terminalele de acces oferite de diferiți operatori sunt de foarte multe ori incompatibile. Un ISP vă poate furniza, de obicei, atât hardware cât și software care au deja propriile setări (criptare, servere proxy etc.).

Canal de comunicație prin satelit bidirecțional

Canal simetric

Evident, organizarea unui canal bidirecțional va necesita nu numai echipamente de recepție, ci și de transmisie, adică o antenă de transmisie și recepție mai scumpă, o unitate de transmisie (pe lângă recepție), precum și un terminal special. Pe lângă costul ridicat al tuturor acestor echipamente și închirierea energiei prin satelit, internetul bidirecțional prin satelit are și alte dezavantaje:

• Deoarece datele de la dvs. sunt trimise pe canalul radio, echipamentul de transmisie trebuie să fie înregistrat corespunzător la agențiile guvernamentale, ceea ce poate dura mult timp, dar cel mai adesea furnizorii preiau această problemă.
• Internetul prin satelit bidirecțional este o metodă foarte specifică de comunicare. Având în vedere timpul de tranzit al semnalului radio prin satelit către furnizor și înapoi, răspunsurile la solicitările trimise pot reveni nu în câteva milisecunde, așa cum ne-am obișnuit în cazul furnizorilor terestri, ci în secunde. O anumită întârziere este inerentă liniei de satelit „asimetrice”, dar în acest caz semnalul se deplasează o singură dată pe calea „lungă” (prin satelit). La organizarea unei linii echilibrate, semnalul trece prin satelit de două ori (o cerere către furnizor și un răspuns către utilizator), adică timpul de așteptare se dublează și devine tangibil. Și asta înseamnă că nici măcar nu ar trebui să te gândești la niciun joc de computer în rețea care necesită răspuns rapid.

Internetul prin satelit este scump?

În mod tradițional, internetul prin satelit are un cost ridicat de conectare, deoarece abonatul trebuie să plătească și pentru echipamente scumpe. Dar, odată cu popularizarea serviciului, apar tot mai multe terminale disponibile și antene satelit, ceea ce ne permite să sperăm la o reducere a prețurilor în viitorul apropiat. Astazi costa acces simetric este de aproximativ 2-3 zeci de mii de ruble pentru conectare și configurare, precum și de la 1000 de ruble pe lună pentru trafic sau ca taxă lunară.

CU acces asimetric situația este mai bună: costul de primire a echipamentului este de aproximativ 5000-7000 de ruble. Costurile lunare de trafic sau taxele de abonament sunt în medie de la 500 de ruble pentru conexiunile fără pragul inferior al vitezei garantate (CIR) și de la 2000 de ruble - cu acest prag.

Ai nevoie de internet prin satelit?

Internetul prin satelit poate fi singura șansă de a vă conecta la Internet acolo unde nu există un serviciu stabil de telefonie mobilă sau prin cablu. Și dacă prețul problemei nu te oprește, este logic să fii atent la metoda de acces simetric. Dar merită să luați în considerare dezavantajele tipurilor de comunicații prin satelit prin internet. Din păcate, un astfel de acces la Internet, destul de ciudat, nu este atât de fiabil. Având în vedere că semnalul parcurge mii de kilometri până la satelit, orice nor vizibil poate deveni o piedică. Pentru a combate acest lucru, puteți folosi o antenă satelit mai mare, care va fi mai scumpă. Un alt dezavantaj al unei astfel de conexiuni este nevoia de asistență de specialitate în instalarea și configurarea echipamentelor, care necesită și bani.

Un canal simetric binar (abreviat ca DSC) este definit de diagrama probabilității de tranziție prezentată în Fig. 1. Intrarea canalului primește semnale binare precum 0 și 1. Pentru fiecare dintre aceste intrări, există o probabilitate ca semnalul să fi fost recepționat corect și probabilitatea ca acesta să fi fost primit incorect.

Orez. 1. Canal binar echilibrat.

Jokerul malefic care introduce erori în transmisie este foarte simplist: nu are memorie și „întorce” personajele la întâmplare și independent unul de celălalt. Acțiunile lui sunt distructive, dar nu există o malignitate conștientă în el și activitatea lui este stabilă, cel puțin în sens statistic.

În Fig. 2. Intrarea codificatorului primește o secvență binară lungă x,

format din caracterele 0 și 1, pe care le vom numi secvența informațională. Această secvență poate fi complet arbitrară. Dorim ca acesta să fie reprodus cu acuratețe la ieșirea decodorului cu o probabilitate arbitrar apropiată de unu. Codificatorul și decodorul sunt conectate doar printr-un canal simetric binar pentru care probabilitatea de tranziție este cunoscută

În această situație, codificatorul este clar limitat în ce operațiuni poate efectua. Natura DSC este de așa natură încât trece doar secvențe binare.

Orez. 2. Transmiterea informațiilor pe un canal binar simetric.

Dar codificatorul poate converti secvența x la intrarea sa într-o secvență mai lungă la ieșire. Astfel, secvența intră în canal, iar versiunea sa distorsionată y este alimentată la intrarea dispozitivului de decodare. Sarcina dispozitivului de decodare cu probabilitatea de tranziție cunoscută a canalului secvenței distorsionate y obținute la intrarea acestui dispozitiv și metoda de codificare care specifică transformarea pentru a lua o decizie cu privire la secvența de informații x primită de codificator.

Pentru un anumit DSC, sarcina de codare este de a determina setul de reguli prin care orice secvență de informații x este codificată într-o anumită secvență, astfel încât dispozitivul de decodare să poată restabili în mod unic x cu o probabilitate de eroare arbitrar scăzută, în ciuda distorsiunilor care apar în canal. . Ne interesează nu numai

pentru a indica modul în care un codificator de la x generează s (o problemă de codificare), dar și pentru a indica modul în care un decodor obține x de la y (o problemă de decodare).

Există cel puțin o soluție simplă și evidentă la această problemă: repetați fiecare caracter al secvenței x o dată. De exemplu, secvența de informații

la voi corespunde secvenţei transmise

Vom decoda y după regula majorității. Dacă sau mai multe caractere din fiecare bloc de caractere sunt egale cu 1, atunci decodorul va imprima caracterul 1, în caz contrar - caracterul 0. Dacă este clar că, cu probabilitatea de eroare Dar, din păcate, și numărul de caractere care pot fi livrate destinatarului la ieșirea decodorului va tinde spre 0.

Modul clasic de reducere a probabilității de eroare la transmiterea informațiilor numerice în traducere în limbajul DSC este ca, în primul rând, probabilitatea de tranziție să fie redusă, adică să fie construit un canal mai bun. Dacă, în orice etapă, îmbunătățirea ulterioară a canalului se dovedește a fi neeconomică sau imposibilă din punct de vedere tehnic, atunci transmisia este repetată de câte ori este necesar, pentru ca probabilitatea de eroare rezultată să scadă sub o anumită limită care satisface proiectantul. Dificultatea asociată cu abordarea clasică este că atunci când această limită a probabilității de eroare tinde spre zero, atunci fie canalul devine disproporționat de scump, fie venitul din utilizarea sa se dovedește a fi disproporționat de scăzut. Cu alte cuvinte, iar aici ne confruntăm cu faptul că perfecțiunea are de obicei un cost.

Lucrarea fundamentală a lui Shannon privind teoria informației demonstrează două teoreme generale care sunt în contradicție clară cu așteptările noastre.

1. Pentru un canal dat, este posibil, folosind o codificare selectată corespunzător, să se transmită cu o probabilitate de eroare mai mică decât orice valoare predeterminată, dacă rata de transfer de informații nu depășește o anumită limită cunoscută sub numele de lățime de bandă a canalului C.

2. În schimb, pentru rate de transmisie a informațiilor mai mari decât C, este imposibil să se transmită cu o probabilitate de eroare arbitrar mică.

În cazul unui canal binar simetric, este convenabil să se raporteze rata de transfer de informații la un simbol transmis și nu la o unitate de timp. Când toate secvențele posibile x la intrare sunt la fel de probabile, rata de transfer de informații este determinată de raport

7.5. Lățime de bandă de canal

Magnitudinea eu(X; Y) joacă un rol deosebit în teoria informației și descrie transferul de informații pe un canal de comunicare. Din definiția (7.9) rezultă că eu(X; Y) depinde atât de probabilitățile de tranziție ale canalului, cât și de distribuția probabilităților simbolurilor la intrarea canalului. Pentru un raționament suplimentar, luați în considerare un canal discret fără memorie cu probabilități fixe de tranziție și puneți întrebarea: Care este cantitatea maximă de informații care poate fi transmisă prin acest canal?

Lățimea de bandă canalul cu probabilități de tranziție date este egal cu maximul de informații transmise pe toate distribuțiile de intrare ale simbolurilor sursă X

Cometariu.Lățimea de bandă este măsurată în biți/simbol. Dacă, de exemplu, un caracter pe secundă este transmis pe canal, atunci putem vorbi și despre dimensiunea biților / secundă.

Deoarece maximul este căutat peste toate sursele de intrare admisibile, debitul depinde doar de probabilitățile de tranziție ale canalului.

Din punct de vedere matematic, căutarea debitului unui canal discret fără memorie se reduce la căutarea distribuției de probabilitate a simbolurilor de intrare ale sursei care furnizează informațiile maxime. eu(X; Y). Mai mult, cu privire la probabilitățile simbolurilor de intrare sunt impuse restricții

Practic, definiția maximului eu(X y) sub constrângeri (7.44) este posibil când se utilizează multiplicativul metoda Lagrange. Cu toate acestea, o astfel de soluție este prohibitiv de costisitoare. Într-un anumit caz (canale simetrice), următoarea teoremă ajută la găsirea lățimii de bandă.

Teorema 7.5.1.În canalele discrete simetrice fără memorie, debitul este realizat cu o distribuție uniformă a probabilităților simbolurilor sursei de intrare. X.

Cometariu.De asemenea, oferă o metodă pentru a determina dacă un canal este echilibrat sau nu.

7.5.1. Lățimea de bandă

Canal simetric discret binar fără memorie (DSC) se determină folosind matricea probabilităților de tranziție a canalului (7.2). Singurul parametru care caracterizează DSC este probabilitatea de eroare ε. Distribuția uniformă a simbolurilor de intrare și simetria tranzițiilor canalului conduc la distribuția uniformă a simbolurilor de ieșire, adică.

Folosind (7.9), obținem

Înlocuind valorile numerice, avem

Entropia DSC definit în termenii (2.32)

În cele din urmă, obținem debitul DSC într-o formă compactă

Există două cazuri marginale interesante:

1. Transferul de informații printr-un canal silențios:

și

2. Canalul este complet zgomotos:

ȘI

Un caz special important de DSC este Ștergerea canalului simetric binar (EASB) sau Canal de ștergere binar (BEC). La fel ca DSC, un canal binar cu ștersături poate servi ca model simplificat pentru transmiterea informațiilor pe un canal. Cu zgomot alb Gaussian aditiv (AWGN). Regula de luare a deciziilor în DSKS este prezentată în Fig. 7.11. Din figură se poate observa că alături de deciziile referitoare la caracterul transmis „0” sau „1”, aici se ia uneori decizia de a șterge caracterul primit „e” (Ștergere). Ștergerea are loc dacă semnalul analogic detectat V se încadrează în zona pentru care funcționează valorile densității distribuției probabilității condiționate f(V / 0) și f(V/1) se dovedesc a fi aproape de zero.

Orez. 7.11. Funcții de densitate condiționată ale distribuției de probabilitate a semnalului detectat și a zonei de luare a deciziilor.

Cometariu.Într-un canal binar cu ștersături, în loc de o decizie unică „dură” cu privire la caracterul primit „O” sau „1”, așa-numitul „soft” soluţie. În acest caz, avem în plus câteva informații despre fiabilitatea simbolului binar primit. În acest sens, în tehnologia transmisiei de date, se spune despre recepția cu o soluție „hard” și „soft”. O soluție „soft” în combinație cu o codificare adecvată a informațiilor permite în unele cazuri o transmisie mai fiabilă a datelor. Un exemplu de utilizare a unei soluții soft poate fi găsit în a doua parte a acestei cărți.

Orez. 7.12.

Notăm probabilitatea de ștergere prin q, și probabilitatea unei erori a unui caracter neșters prin R.

Diagrama de tranziție pentru o picurare cu două simboluri de intrare și trei de ieșire este prezentată în Fig. 7.12. Matricea de canal corespunzătoare care conține probabilitățile de tranziție are forma

Să găsim lățimea de bandă a canalului cu ștersături. Deoarece canalul este simetric, debitul este realizat atunci când simbolurile de intrare sunt distribuite uniform

Rezultă că probabilitățile simbolurilor de ieșire sunt

Acum sunt cunoscute toate probabilitățile necesare. Folosind (7.9), avem

Folosind proprietatea de simetrie a canalului, obținem

După cum putem vedea, lățimea de bandă a canalului cu ștersături depinde doar de probabilități Rși q. Programa C =f(p, q) este o suprafață spațială tridimensională situată deasupra planului (p, q). Aici ne limităm la a lua în considerare doar două cazuri speciale importante.

1. Când q = 0, avem un canal binar simetric, deja considerat mai devreme. Înlocuind q = 0 în (7,59), după cum era de așteptat, obținem (7,49).

2. Doar ștergerile sunt prezente în canal; la p = 0 erorile fie nu sunt prezente, fie le neglijăm. În acest caz

În fig. 7.13 arată debitul DSC (7.49) și un canal binar cu ștergeri (p = 0). Trebuie remarcat faptul că, cu probabilități mici de eroare, prin alegerea regiunilor de ștergere optime în DCS, este posibil să se obțină lățimi de bandă semnificativ mai mari decât în ​​canalele binare convenționale.

Cometariu.Acest lucru ridică problema posibilității de a crește debitul la primirea cu ștersături în practică. Aici se dezvăluie slăbiciunea teoriei informației. Teoria informației nu poate oferi adesea un construct care implementează limite teoretic realizabile. Cu toate acestea, un mic exemplu detaliat în a doua parte a acestei cărți arată că introducerea ștersăturilor poate reduce uneori probabilitatea de eroare. Să aruncăm o privire intuitivă asupra acestui exemplu. Să împărțim fluxul de informații transmise în blocuri care conțin 7 caractere binare (7 biți). Adăugați un bit ("O" sau "1") pentru paritate la fiecare bloc. Blocurile de opt simboluri binare codificate în acest fel vor conține întotdeauna un număr par de unități. Fie ca probabilitatea de eroare în DSC să fie suficient de mică. Să intrăm în zona de ștergere (fig. 7.11) în așa fel,astfel încât erorile să se transforme în mare parte în ștersături. În acest caz, probabilitatea unei erori „nescrise” va fi neglijabilă, iar probabilitatea de ștergere va rămâne destul de mică. Vom obține o picurare de ștergere (DSKS), în care blocurile de opt caractere binare în majoritatea covârșitoare a cazurilor fie vor fi primite corect, fie vor conține doar un caracter binar șters. Calitatea recepției se va îmbunătăți semnificativ, deoarece o ștergere dintr-un bloc cu un număr par de unități poate fi întotdeauna corectată.

Orez. 7.13. Lățimea de bandă a canalului binar echilibrat CU DSK cu probabilitate de eroare ε și un canal binar cu ștersături CU DSKS cu probabilitate de ștergere q și probabilitatea de eroare R= 0.

Exemplu: Canal binar echilibrat cu ștersături.

Orez. 7.14. Canal binar cu ștersături.

În fig. 7.14 este specificată diagrama tranzitorie a unui canal echilibrat cu ștersături. Defini:

1. Matricea canalelor

2. Distribuția de probabilitate a simbolurilor sursei Y, dacă se știe că simbolurile sursei X distribuite uniform, adică pa = pi = 1/2;

3. Lățimea de bandă a canalului;

4. Diagrama fluxurilor informative cu toate entropiile;

5. Modelul canalului cu matricea Ru / y.

Soluţie.

1. Având în vedere că suma probabilităților din fiecare rând al matricei este egală cu 1, obținem

2. Pe baza distribuției uniforme a probabilităților simbolurilor la intrare, conform (7.52), avem

3. Deoarece canalul luat în considerare este simetric, debitul este realizat cu o distribuție uniformă a simbolurilor de intrare. Din (7.54), ținând cont de (7.56), avem

4. Entropia unei surse binare discrete, fără memorie X cu o distribuţie uniformă a probabilităţilor simbol este

Entropia sursă YR avna

Deoarece într-un canal simetric cu distribuția uniformă a simbolurilor de intrare eu(X; Y) coincide cu lățimea de bandă CU din (7.58), entropia comună și două entropii condiționate pot fi calculate folosind Tabelul 7.3. Diagrama fluxului de informații este prezentată în Fig. 7.15.

Orez. 7.15. Diagrama fluxurilor de informații ale unui canal binar simetric cu ștersături.

5. Recalcularea matricei probabilităților de tranziție a canalului în

lăsăm matricea cititorului ca exercițiu independent. Diagrama canalelor cu sursa de intrare Y si weekendul X este prezentat în Fig. 7.16 pentru control.

Orez. 7.16. Canal binar echilibrat cu ștersături.

7.6. Teorema de codificare pentru canalele discrete fără memorie

Luați în considerare un canal discret fără memorie cu o lățime de bandă C [bit / caracter], în care fiecare caracter este transmis în timpul T s sec. Pentru acest canal

Fie entropia unei surse X, măsurată în câteva secunde este H (X) pic. Atunci este valabilă următoarea teoremă.

Teorema 7.6.1. Teorema de codificare a canalelor(teorema lui Chennon).

Pentru sursa X cu viteza R = H(X)/ T S [bit / sec] și R < С exista ceva cod. cu care sursa informaţiei X poate fi transmis pe un canal de comunicație cu o capacitate de 1 [bit/s] cu o probabilitate de eroare arbitrar mică. *

* Teorema de codare este valabilă nu numai pentru canalele discrete, ci și pentru transmiterea de mesaje discrete pe canale continue. Aproximativ. transl.

Dovada teoremei de codificare a canalelor (vezi, de exemplu,) este destul de dificilă și depășește scopul acestei cărți, așa că aici ne limităm la următoarele remarci.

Dovada teoremei de codificare presupune utilizarea de coduri aleatorii de lungime infinită și un decodor de maximă probabilitate care oferă o probabilitate minimă de eroare. Dovada nu folosește nicio soluție de proiectare. Utilizează numai proprietăți statistice și tranziții limită pentru codurile de bloc cu lungimea blocurilor care tind spre infinit. Dovada nu dă nicio indicație asupra construcției codurilor optime.

Teorema de codare definește, de asemenea, o limită superioară pentru rata de biți R.*

În demonstrarea teoremei se introduce estimarea exponenţială R 0 , care poate fi folosit pentru a estima rata de transfer de date realizabilă din punct de vedere tehnic.

* Sunt necesare clarificări aici. Există o teoremă de codificare inversă care spune asta. cu ce R> C nu există o metodă de codificare care să permită transmiterea informațiilor cu o probabilitate de eroare arbitrar scăzută. Aproximativ. transl.

Capitolul 8. Surse și canale continue

Capitolul 2 definește entropia ca măsură a incertitudinii sursei. S-a presupus că entropia este măsurată prin experimente aleatorii. În acest capitol, vom adopta o abordare similară a surselor continue.

Orez. 8.1. Semnal sursă continuu.

În loc de surse cu un alfabet finit de simboluri, vom lua în considerare sursele a căror ieșire sunt semnale continue. Un exemplu de astfel de semnale este tensiunea care variază în timp pe liniile telefonice etc. Figura 8.1 prezintă o sursă continuă X, a cărui ieșire este un semnal analogic X(t), care este o funcție aleatoare a timpului t. Vom lua în considerare valorile X(t) în anumite momente fixe ca experimente aleatorii care poartă unele informații despre sursă X.

8.1. Entropia diferenţială

Figura 8.2 prezintă două surse continue X și Y, conectat printr-un canal (asemănător cu Fig. 7.4). Aici, în loc de probabilități, există funcții ale distribuțiilor de probabilitate ale variabilelor stocastice.

Utilizarea variabilelor stocastice și a funcțiilor lor de densități de distribuție a probabilității face posibilă introducerea conceptului de informație, entropie, entropie condiționată și reciprocă pentru două surse continue prin analogie cu sursele discrete.

Orez. 8.2. Două surse continue fără memorie, legate printr-un canal.

Transformarea unei surse continue X în discret. Pentru aceasta, vom cuantifica valorile ieșirii analogice a sursei cu un pas Δ (Fig. 8.3).

Orez. 8.3. Digitalizarea unei surse continue cu un interval de cuantizare Δ la momentele de observare t 0 , t 1 etc.

În plus, așa cum se face de obicei în teoria informației, vom discretiza sursa dar timpul. Ca rezultat, obținem o succesiune de variabile stocastice. Urmând Tabelul 7.2, definim informațiile reciproce ale simbolurilor X i, și y j , Unde X i - valoarea simbolului de ieșire la un moment dat t m , A X j - pentru moment t n

Informațiile reciproce pot fi interpretate ca incertitudine „eliminată” (pierdută) a variabilei hit X P în interval , când se ştie că variabila X T aparține inter-arbore sau vice versa. Vom considera că funcția de densitate a distribuției de probabilitate este o funcție continuă. Apoi, lăsând lățimea intervalului de cuantizare să meargă la zero, obținem

acestea. un rezultat asemănător cu expresia informaţiei reciproce pentru surse discrete. Informații transmise poate fi definită ca așteptarea matematică

Cometariu.Aici, pentru a aduce denumirile acestui capitol în conformitate cu rezultatele din Tabelul 7.2, în loc de X T folosit deX, iar în loc deY n - Y.

Sursa informațiilor este determinată pe baza unor considerații similare

Spre deosebire de expresia (8.3) pentru informații reciproce, în (8.4) apare un termen care depinde de intervalul de cuantizare Δ.

La, valoarea tinde, de asemenea, spre infinit. Ca urmare, expresia pentru tinde, de asemenea, spre ∞. Acest lucru nu este surprinzător, deoarece odată cu scăderea etapei de cuantizare, numărul de evenimente individuale (simboluri ale alfabetului sursei) crește și, prin urmare, crește și incertitudinea sursei.

Magnitudinea nu depinde de sursă și este complet inadecvat pentru descrierea acesteia, prin urmare, pare destul de firesc să folosiți doar funcția de densitate de probabilitate a unei surse continue. Astfel, trecem la următoarea definiție.

Informații medii ale unei surse continue, așa-numita entropia diferentiala, definit ca

În primul rând, observăm că o astfel de definiție arbitrară a entropiei diferențiale confirmă adecvarea acesteia prin faptul că rapoartele de entropie pentru sursele discrete sunt valabile și pentru cazul surselor și canalelor continue. În special, relațiile (7.39) - (7.42) sunt valabile pentru sursele continue.

Astfel, entropia diferenţială a unei surse continue depinde doar de funcţia de densitate a distribuţiei de probabilitate, care în cazul general este o cantitate infinită, prin urmare, ne vom pune întrebarea cât de mare poate fi valoarea entropiei diferenţiale. În primul rând, remarcăm că caracteristicile procesului stocastic sunt două mărimi: valoarea medie pe care o ia variabila stocastică (care posedă proprietatea de liniaritate) μ şi abaterea standard a variabilei stocastice σ .

Valoare medie sau așteptată μ nu are efect asupra entropiei diferenţiale. Odată cu creșterea σ , incertitudinea sursei creste, ceea ce duce si la o crestere a entropiei diferentiale. În acest sens, este logic să comparăm diferite funcții ale densităților distribuției de probabilitate în raport cu entropia corespunzătoare acestora la același σ .

Cometariu.În tehnologia informației se ia parametrul inițialσ 2 - varianţa, care determină puterea medie a procesului stocastic[ 10]. Este clar că odată cu creșterea puterii emițătorului, cantitatea de informații transmise crește și, invers, cu creșterea puterii de zgomot, incertitudinea crește, i.e. se transmit mai puține informații pe unitatea de timp.

Din teoria informației rezultă că entropia diferențială atinge maximul cu o distribuție de probabilitate Gaussiană.

Teorema 8.1.1. Pentru o variație dată σ 2 , entropia diferenţială maximă este deţinută de o sursă cu distributie gaussiana probabilități și.

Exemplu: Entropia diferenţială a unei surse gaussiene.

Din (8.5) rezultă că entropia diferenţială a unei surse gaussiene este

Expresia dintre paranteze pătrate poate fi descompusă în două integrale. Astfel, în sfârșit avem

Exemple numerice pentru cele mai comune trei distribuții sunt prezentate în Tabelul 8.1.

Tabelul 8.1. Un exemplu de entropie diferenţială.

Exemplu: Telefonie.

Utilizarea practică a rezultatelor de mai sus poate fi demonstrată clar prin evaluarea realizărilor ratei de transfer de informații (în biți) în liniile telefonice digitale. Metodele standard moderne de transmisie digitală a vorbirii (PCM logaritmic) necesită 8 biți pentru a codifica o probă, la o rată de eșantionare de 8 kHz. Astfel, rata de transmisie a vocii este de 64 kbps.

Pe baza distribuției uniforme a probabilităților în intervalul [-1,1], empiric obținem σ 2 = 1/3. Astfel, entropia diferenţială per probă este

Deoarece probele sunt luate la o frecvență de 8 kHz, constatăm că rata de vorbire necesară este de 8 kbps. La estimarea entropiei nu am ținut cont de conexiunile dintre eșantioanele vecine (memoria sursă) și. prin urmare, entropia diferenţială reală a sursei de vorbire va fi şi mai mică. Într-adevăr, știm că algoritmii moderni de codificare a vorbirii sunt capabili să transmită un semnal de vorbire la o rată de aproximativ 8 kbps cu o calitate comparabilă cu PCM standard.