4.ENTROPIE ȘI INFORMAȚII

4.1. Entropia ca măsură a incertitudinii statistice.Într-una dintre discuțiile publice recente pe teme educaționale, s-a sugerat ca fiecare persoană educată să înțeleagă natura fundamentală a conceptului de incertitudine. În ultimele decenii, acest termen a preluat cu încredere conducerea printre primele principii fizice, pătrunzând în noi domenii de cunoaștere. În această secțiune, ar trebui să vă familiarizați mai mult cu acest concept și să înțelegeți legătura dintre incertitudine și caracteristicile de formare a sistemului.

Incertitudinea poate avea origini diferite. Unul dintre tipurile sale este necunoscut– considerat de teoria cunoașterii și filozofie; acest tip de incertitudine apare atunci când, de exemplu, punem întrebarea „Există viață pe alte planete?” sau „Există și alte civilizații?” și așa mai departe.

Un alt tip de incertitudine vag, neclaritate,- de exemplu, „Câte granule de nisip trebuie să luați pentru a forma o grămadă mică”? Întâlnim incertitudine de acest tip în mecanica cuantică. Pe baza ei, a fost construită o versiune non-locală a termodinamicii, care este capabilă să răspundă la o întrebare similară: „de câte particule trebuie să aveți pentru a forma un macronivel și care este împrăștierea cuantică a acestui număr?” Această incertitudine este obiectivă, este caracteristic că nu poate fi eliminată în timpul procesului de măsurare. În matematică, teoria mulțimilor fuzzy se ocupă de o astfel de incertitudine. Trebuie remarcat în treacăt că neclaritatea este o proprietate caracteristică a limbajului: „un bărbat înalt (ce înălțime?) tânăr (de ce vârstă mai exact?) (cine este?) a intrat în cameră (ce?), etc.

Al treilea tip de incertitudine este accident. Se bazează pe legi statistice stabilite de teoria probabilității. Acest tip de incertitudine este folosit de fizica statistică și împreună cu incertitudinea de al doilea tip în mecanica cuantică. O trăsătură distinctivă a incertitudinii statistice este că este posibil să se stabilească o măsură cantitativă, despre care vom vorbi Mai departe.

Să lăsăm deocamdată deoparte problema semnificației practice a măsurării statistice a incertitudinii, concentrându-ne pe esența acesteia. Să luăm în considerare câteva situații simple, pe care le vom numi experimente A, B și C. Se presupune că cititorul este familiarizat cu elementele teoriei probabilităților.

Experimentul A va consta în aruncarea unei monede. În acest experiment sunt două posibile rezultat(k=2): „capete sau cozi”. Evident, probabilitatea fiecărui rezultat ( i=1,2).

Experimentul B – aruncarea unui zar cu șase fețe. Există deja șase rezultate posibile în acest experiment ( k=6). Probabilitatea fiecărui rezultat.

Experimentul C implică aruncarea a două zaruri în același timp. Pentru această experiență k=36 și.

Evaluarea incertitudinii rezultatelor experimentale este o evaluare a dificultății de a prezice rezultatul unui experiment. Este intuitiv clar că dintre toate situațiile descrise, experiența C are incertitudinea maximă, deoarece numărul de rezultate aici este cel mai mare și este cel mai dificil să se prezică în avans rezultatul acestei experiențe.

Pentru a trece la o evaluare cantitativă a incertitudinii, formulăm cerințele de bază pentru o funcție care ar trebui să joace rolul unei măsurători a incertitudinii. Vom desemna această funcție prin literă H.

Prima cerință. Funcţie N ar trebui să crească monoton odată cu creșterea numărului de rezultate experimentale.

A doua cerință. Funcţie N trebuie să fie egal cu zero dacă există un singur rezultat ( k=1). Aceasta înseamnă că, dacă este posibil un singur rezultat, atunci nu apare nicio incertitudine și rezultatul experimentului poate fi prezis fără eroare.

A treia cerință. Să acordăm atenție faptului că un experiment C poate fi considerat ca două experimente B și cerem ca valoarea entropiei totale a două experimente B să fie egală cu entropia experimentului C

sau în cazul general nu pentru doi, dar n experimente simple

Dacă a treia cerință nu ar fi îndeplinită, atunci evaluarea incertitudinii experienței C s-ar dovedi a fi contradictorie și ar depinde de interpretarea subiectivă a experienței în sine - dacă să considerăm că experiența C a avut loc, sau dacă zarul nu a avut loc. toamnă în același timp și au avut loc două experiențe B. Acceptarea acestei cerințe echivalează cu introducerea proprietăților de aditivitate pentru evaluarea viitoare a incertitudinii. În mod implicit, se presupune că elementele (oasele) în cauză nu interacționează între ele. În interpretarea termodinamică, aceasta este echivalentă cu acceptarea unui sistem ideal.

Să rezolvăm ecuația funcțională (4.1) pentru funcția . Pentru a face acest lucru, diferențiem ambele părți ale expresiei (4.1-1) în raport cu k, folosind cerința de monotonitate a funcției:

Acum diferențiam (4.1) în raport cu n

Să împărțim ecuația (4.2) la (4.3)

care este echivalent

Integrând această expresie și folosind integrala tabelului pentru partea dreaptă, găsim

unde este constanta de integrare.

Din ultima expresie

Din moment ce cu creşterea k entropia crește (prima cerință), apoi C>0, iar această expresie poate fi rescrisă în următoarea formă finală:

,A>1.

De aici rezultă că îndeplinește și a doua cerință. Alegerea bazei de logaritmi pentru A>1 nu contează și determină doar alegerea unității de măsură a incertitudinii. Cei mai des utilizați sunt logaritmii binari sau naturali. Dacă se folosesc logaritmi binari, atunci incertitudinea unui experiment care are două rezultate la fel de probabile (experimentul A) este luată ca unitate de măsură a incertitudinii. Această situație corespunde entropiei unei celule elementare de calculator, care stochează fie 0, fie 1. Pentru această celulă

Această unitate de măsură se numește pic(din engleză binarydiget – unitate binară).

Deci când k rezultate la fel de probabile, incertitudinea experienței este

Unde p– probabilitatea rezultatului experimentului.

Având în vedere că pentru rezultate la fel de probabile

apoi, înmulțind (4.4) cu unu sub forma unei sume de probabilități, obținem

Fiecare termen din partea dreaptă a acestei expresii poate fi considerat ca contribuția unui rezultat separat la incertitudinea generală a experienței. În cazul unor rezultate la fel de probabile, contribuția fiecăruia dintre ele la incertitudinea generală a experimentului este aceeași și formula (4.5) se prăbușește în (4.4).

Expresia (4.5) este ușor de generalizat în cazul în care probabilitățile de rezultate sunt diferite. În acest caz, (4.5) poate fi considerată ca entropia medie a experienței, iar probabilitățile înainte de log capătă semnificația coeficienților de ponderare. Acum se presupune că contribuția fiecărui rezultat la incertitudinea totală a experienței nu este neapărat aceeași. Un exemplu de situație cu rezultate inegale este experiența de a extrage o minge la întâmplare dintr-o urnă care conține un număr mare de bile de mai multe culori. Rezerva privind numărul mare de bile este făcută special pentru a sublinia caracterul probabilistic al măsurii incertitudinii.

Expresia (4.5) poate fi scrisă în formă compactă

Dacă numărul de experimente N, luând apoi în considerare aditivitatea entropiei

Entropia ca măsură a incertitudinii a fost introdusă de matematicianul american Claude Shannon în 1949, în timp ce dezvolta teoria matematică a comunicării. O funcție ca (4.6) sau entropia de alegere numit adesea și Entropia Shannon. Deoarece conceptul de entropie astăzi devine științific general, o indicație a originii sale informaționale, de regulă, este utilizată numai în cazurile în care textul ar trebui să facă distincția între entropia informațională și termodinamică (fizică).

Orez. 4.1. Dependența entropiei pentru două rezultate ale experimentului

Să luăm în considerare câteva proprietăți ale entropiei. Să remarcăm în primul rând că entropia nu poate lua valori negative: deoarece , este întotdeauna pozitivă. Dacă, atunci (pentru dovadă, incertitudinea de tip trebuie dezvăluită). Dacă, atunci de asemenea.

Abia de când p=0 sau p=1, atunci entropia experienței este zero numai în cazul în care una dintre probabilități este egală cu unu și, prin urmare, toate celelalte sunt egale cu zero. Această împrejurare este în acord cu semnificația cantității H ca măsură a incertitudinii: în acest caz, experiența nu conține deloc incertitudine, deoarece rezultatul experienței poate fi prevăzut în avans.

Figura 4.1 prezintă graficul funcției H pentru două rezultate ale unui experiment, din care este clar cum se schimbă entropia atunci când unul dintre rezultatele experimentului se schimbă de la zero la unu. Din grafic rezultă că valoare maximă entropia corespunde unor evenimente la fel de probabile. În acest caz, valoarea maximă a entropiei

În cazul general, adică nu pentru doi, dar k rezultatelor experimentului, valoarea maximă a entropiei corespunde.

Faptul că maximul de entropie corespunde unor evenimente la fel de probabile este în concordanță cu sensul entropiei. Într-adevăr, în cazul unor evenimente la fel de probabile, este imposibil să se acorde preferință oricărui rezultat și, prin urmare, este cel mai dificil să se prezică rezultatul.

4.2. Entropia ca măsură a cantității de informații. Să revenim la cele mai simple experimente cu o monedă sau un zar. Înainte de a efectua un experiment, există o anumită incertitudine asociată cu necunoașterea rezultatului experimentului. După experiment, adică după primirea rezultatului, această incertitudine este eliminată și dispare. Cu toate acestea, acest lucru nu este întotdeauna cazul și, în practică, există cel mai adesea cazuri când o anumită incertitudine rămâne încă după încheierea experimentului.

Dacă incertitudinea dinaintea experimentului a fost N(incertitudine a priori), iar după experiment –( incertitudine posterioară), atunci, evident, incertitudinea eliminată în timpul experimentului va fi:

Această diferență se numește cantitatea de informații.

Prin urmare, cantitatea de informații este cantitatea de incertitudine eliminată. Într-un caz particular, când incertitudinea ca rezultat al experimentului este complet eliminată, așa cum a fost cazul în experimentele A, B și C, obținem: Deși aici cantitatea de informații este formal egală cu entropia, ar trebui să țineți cont de semnificația diferită a cantității de informații și a entropiei. Entropia (incertitudinea) există înainte de experiment, în timp ce informațiile apar după experiment. Trebuie doar luat în considerare faptul că pentru evaluarea cantitativă a informațiilor nu există altă măsură decât entropia. Relația dintre conceptele de entropie și cantitatea de informații seamănă cu relația dintre conceptele fizice de potențial (entropie) și diferența de potențial (cantitatea de informații).

Cantitatea de informații, precum entropia, este măsurată în biți. Un bit de informație este cantitatea de informații care spune care dintre cele două evenimente la fel de probabile a avut loc. De exemplu, cantitatea de informații conținute într-o celulă elementară de computer care conține fie 0, fie 1 este de un bit.

Să luăm în considerare un exemplu în care ar apărea incertitudinea a posteriori. Lăsați metoda de enumerare a opțiunilor să caute rădăcina unei ecuații exacte la un număr jumătate întreg. Se știe dinainte că valoarea rădăcinii este în intervalul de la 1 la 100, așa că ar trebui să parcurgeți 200 de opțiuni. Atunci incertitudinea valorii rădăcinii în versiunea la fel de probabilă (4.4) va fi H = Buturuga 2 200 = 13,3 biți.

Să presupunem că au fost verificate 150 de variante ale valorilor posibile ale rădăcinii, dar nu a fost găsită nicio rădăcină. Totuși, se obțin unele informații despre semnificația rădăcinii? Fără îndoială, și pentru a o determina, este necesar să găsim mai întâi incertitudinea reziduală (posterior): H 1 = Buturuga 2 (200 – 150) = 5,6. Atunci cantitatea necesară de informații va fi = 13,3 – 5,6 = 7,7 biți.

Entropia condiționată. Să luăm în considerare conceptul cantității de informații folosind exemplul de transmitere a semnalului. Să fie transmis un grup de semnale în cod Morse:

        

Până când următorul caracter este primit la capătul de recepție, există incertitudine „ce semnal va fi trimis?” Această incertitudine poate fi caracterizată prin entropie „pe caracter” (4.6) cu numărul de rezultate k = 3 (punct, liniuță, spațiu) cu probabilități p i (i = 1, 2, 3). Probabilitatea ca un punct, liniuță sau spațiu să apară la capătul de recepție, de ex. Specialiștii cunosc probabilitățile (frecvențele) de utilizare a simbolurilor într-o anumită limbă din analiza statistică a unui volum mare de texte în limba respectivă. Prin calcularea entropiei pe caracter, folosind formula (4.6) este ușor de determinat entropia totală a mesajului (4.7). ÎN în acest exemplu 10 caractere inclusiv spațiu și, prin urmare, N = 10.

Deci, la capătul de primire, înainte de a primi mesajul, a existat incertitudine a priori (4.7) sau un semn (4.6). După primirea mesajului, incertitudinea a fost eliminată și a fost primită informația I=H– 0.

Totuși, așa situatie simpla apare dacă mesajul este transmis fără interferențe ( canal fără zgomot). Dacă există zgomot, atunci acțiunea acestuia duce la faptul că simbolul transmis poate fie să rămână același (i-al-lea) fie să fie înlocuit accidental cu orice alt simbol (n-al-lea). Probabilitatea unei astfel de substituiri se notează p(y n  x i), unde x se referă la semnalul transmis, iar y la semnalul primit la receptor. Într-un canal fără interferență y n = x i . Se numește probabilitatea p(y n  x i). probabilitate condițională x i) este probabilitatea ca semnalul i-lea trimis să corespundă celui de-al n-lea semnal la capătul de recepție. Desigur, această situație poate fi considerată și din partea emițătorului, folosind probabilități condiționate de forma p(x i y n). În acest caz, р(x i y n) este probabilitatea ca semnalul primit la capătul de recepție al-lea semnal corespunde semnalului i-lea de pe partea de transmisie. Conceptul de probabilitate condiționată introduce entropia condiționatăîn funcţie de probabilitatea condiţionată. În general, acest lucru este scris în următoarea notație:

I(X,Y) = H(X) – H(XY)

I(X,Y) = H(Y) – H(YX)

În aceste expresii identice, entropia condiționată joacă rolul entropiei posterioare, iar cantitatea de informații este masura de conformitate două obiecte aleatorii X și Y.

Această măsură ne permite să înțelegem legătura dintre conceptinformația și cantitatea acesteia. Informația este reflectarea unui obiect de către altul. În acest exemplu, aceste obiecte sunt receptorul și emițătorul. Cantitatea medie de informații este o caracteristică numerică a completitudinii acestei reflecții, a gradului de corespondență și, în final, gradul de interacțiune aceste obiecte. Dar atunci când interacționează, obiectele se influențează reciproc și suntem obișnuiți să distingem între cauză și efect. Descrierea cantitativă a informațiilor este un alt tip de descriere a interacțiunilor care nu are nicio legătură cu descrierile clasice de cauză și efect.. Acest tip de comunicare este tipic pentru NVT.

Aici este util să ne referim la paragraful 3.6, unde am atins deja limitările mecanismului clasic, cauză-efect, atunci când descriem interacțiunile într-un sistem deschis.

4.3.Entropia unei multimi continue. Revizuit anterior entropia unei multimi discrete. Aceasta înseamnă că sistemele au fost înțelese în cazul în care numărul de rezultate posibile (elemente ale mulțimii) este finit. Cu toate acestea, întâlnim adesea situații în care numărul de elemente poate fi arbitrar mare. Din teoria probabilității se știe că în acest caz ar trebui să se ocupe nu de probabilitatea unui rezultat individual, care este egal cu zero, ci de densitatea distribuției probabilității. Această funcție are proprietatea că cantitatea este probabilitatea ca variabila care ne interesează X(valoarea rădăcinii din exemplul clauzei 4.2.) va lua valori în intervalul de la X inainte de x+dx.

Acum, pentru a estima incertitudinea, este necesar să se recurgă la entropia unei mulțimi continue, care, prin analogie cu entropia unei mulțimi discrete (4.5), are forma

. (4.9)

Ca exemplu de utilizare a acestei funcții, vom încerca să estimăm incertitudinea experienței asociate cu o căutare aleatorie în interval dat valorile rădăcină (a se vedea clauza 4.2) în absența restricțiilor privind acuratețea căutării.

Prin creșterea cerințelor pentru acuratețea răspunsului, ne putem aștepta la un număr arbitrar de mare de rezultate posibile ale experimentului. În acest caz, probabilitatea fiecărui rezultat tinde spre zero, iar rădăcina dorită poate lua toate valorile posibile (nenumărate) într-un interval numeric dat de la 0 la 200. Să încercăm să folosim entropia unei mulțimi continue pentru aceeași problemă. Să introducem un segment de lungime l=x 1 –x 0 unități relative. Probabilitatea de a găsi valoarea rădăcinii în zona dx este dx/ 1 . Pe de altă parte, aceeași probabilitate este prin definiție. Prin urmare, pentru cazul la fel de probabil = dx/l u= 1/ l.Înlocuind această valoare în (4.), este ușor de obținut H = log 2 l= 5,6 biți.

Să comparăm rezultatul obținut cu exemplul din paragraful 4.2. În cazul unei mulțimi discrete, entropia folosește numărul de intervale discrete pe un segment selectat, iar în cazul unei mulțimi continue, lungimea relativă a segmentului însuși. Rețineți că lungimea trebuie exprimată în formă relativă, altfel o mărime dimensională ar apărea sub logaritm. Scara de reducere la o formă relativă nu are o importanță fundamentală pentru entropia informațională, deoarece de la bun început entropia a fost introdusă cu precizie la un factor (până la constanta de integrare, vezi procedura de integrare în paragraful 4.1).

Entropia unei multimi continue sau entropia diferenţială(4.9) are cele mai multe proprietăți ale entropiei multime discrete.

ÎN literatura modernă se pot găsi critici la adresa conceptului de entropie diferenţială şi a conceptului rezultat cantitate diferențială de informații. Această critică în natura sa coincide cu critica conceptului de continuitate, discutată mai devreme în secțiunea 3.5.

4.4.Entropia ca măsură de diversitate, dezordine, haos. Până acum, conceptul de entropie a fost asociat cu incertitudinea. Entropia permite o altă interpretare. Să ne imaginăm un sistem format dintr-o cameră în care există N bile de tipuri diferite, de exemplu, prin culoare . Se presupune că N este un număr suficient de mare. Să notăm fracția de bile i-al-lea tip (culoare) –. Dacă realizăm un experiment pe sistem, care constă în extragerea aleatorie a unei bile, atunci entropia unui experiment, conform (4.6), va fi:

Se presupune că dimensiunile bilelor sunt aceleași, altfel probabilitatea de a extrage bilele i-tipul respectiv nu va corespunde exact cotei lor în cameră. Entropia tuturor experimentelor asupra sistemului

Întrucât partea dreaptă a ultimelor expresii include parametri care caracterizează conținutul sistemului, se pune întrebarea dacă, fără a ne referi la experimente cu bile, este posibil să înțelegem din ce punct de vedere aceste funcții caracterizează conținutul camerei.

Prima dintre cele două funcții caracterizează gradul de tulburare sistem sau gradul de diversitate din acesta, ținând cont de caracteristica selectată pentru distingerea elementelor sistemului (culoarea bilelor). Dacă au existat bile de același tip în cameră, atunci una dintre valorile probabilității p=z ar fi egal cu unu, iar toate celelalte ar fi egale cu zero, iar entropia ar lua valoare nulă. Aceasta ar însemna că sistemul este complet ordonat sau, ceea ce este același lucru, că nu există diversitate în sistem în ceea ce privește atributul (culoarea) evaluat.

A doua funcție (4.11) măsoară oarecum diferit tulburarea (diversitatea) din sistem. Diferența dintre aceste două funcții poate fi ilustrată prin exemplul următor. Dacă camera este împărțită în două părți, atunci cu suficient cantitati mari bile în ea parte de bile i-al-lea tip în fiecare dintre cele două părți va rămâne același, dar numărul de bile va fi înjumătățit, iar dezordinea estimată prin formula (4.11) va fi și ea înjumătățită. Totuși, gradul de dezordine pentru fiecare dintre cele două părți, estimat prin funcție (4.10), va rămâne același.

Prin analogie cu exemplul luat în considerare, formula (4.11) poate fi utilizată pentru a estima dezordinea curgerii unui amestec de orice substanțe. În acest caz, concentrația i-a-a componentă în fracții molare; N– debitul sau numărul de molecule care trec printr-o anumită secțiune transversală pe unitatea de timp. De la numărul N V probleme practice este întotdeauna foarte mare, putem trece la o scară diferită pentru entropie. De exemplu, împărțind părțile stânga și dreaptă la numărul lui Avogadro, obținem

Unde F– debitul, kmoli/unitate. timp. Denumirea entropiei pe noua scară rămâne aceeași.

Astfel, entropia evaluează diversitatea elementelor dintr-un sistem în funcție de o caracteristică specifică care ne poate interesa într-o anumită sarcină; a se vedea clauzele 4.6 și 4.7.

Să observăm că expresia (4.10) coincide, până la un factor, cu expresia termodinamică pentru entropia molară de amestecare a unui gaz ideal.

S= –R, (4,13)

unde R este constanta gazului.

În acest exemplu, se poate observa legătura dintre entropia informațională, introdusă în secțiunile anterioare fără a folosi principii fizice, și termodinamică. Aici este de asemenea util să remarcăm nu numai analogia externă, structurală. Entropia amestecării (4.13) este doar entropia unui amestec ideal termodinamic. Când sa luat în considerare camera cu bile, au fost adoptate și unele restricții, de exemplu, cerința dimensiuni egale bile.

Entropia scrisă în termeni de probabilități este adesea numită funcţional, spre deosebire de entropia exprimată în termeni de fracții molare, care se numește atributiv.

4.5 Legătura entropiei informaționale cu fizica. Conceptul de entropie a fost introdus pentru prima dată în termodinamică de către Clausis ca o relație care leagă incrementul elementar al entropiei dS cu o cantitate elementară de căldură dQ la o temperatură T

dS = dQ/T(4.14)

Această expresie spune puțin despre esența fizică a entropiei. În fizică, s-au încercat în mod repetat să dezvăluie conținutul acestui concept, ghidat de concepte model.

Entropia Boltzmann. Să luăm în considerare binecunoscuta ecuație Boltzmann bazată pe o abordare statistică

Unde k B– constanta Boltzmann, k B=1,3810J/K;W – numărul de microstări.

Pentru a înțelege esența metodelor statistice, ca exemplu inițial, luați în considerare un gaz ca un ansamblu un numar mare particule. Primul lucru care pare necesar de făcut atunci când construim un model matematic al comportamentului particulelor este să încercăm să scrieți ecuația de mișcare pentru fiecare dintre ele, deoarece un gaz, cel puțin într-o primă aproximare, este un sistem de particule în mișcare. conform legilor mecanicii newtoniene.

Cu toate acestea, cu această abordare, numărul de ecuații devine inimaginabil de mare, ca să nu mai vorbim de faptul că pentru a integra aceste ecuații sunt necesare vitezele și coordonatele inițiale ale fiecărei molecule. Cu toate acestea, această cale nu este doar complicată, ci și inutilă, deoarece cunoașterea traiectoriilor și a legii de mișcare a moleculelor individuale nu oferă nicio informație cu privire la proprietățile gazului în ansamblu. Faptul este că într-un sistem format din multe particule apar noi modele sistemice sau integrative, pur statistice, care nu au existat într-un sistem cu un număr mic de particule.

Folosind un model foarte simplificat, să urmărim cum apar aceste noi proprietăți asociate conceptului de entropie Boltzmann.

Pentru claritate, să luăm un sistem de numai zece particule ( N=10), distribuite pe patru niveluri energetice, având valori energetice relative de 1, 2, 3 și 4. Energia totală a sistemului este 20 unități relative. Sarcina este de a exprima unele considerații cu privire la starea pe care și-o va asuma sistemul dacă l-ar lăsa singur, i.e. în ceea ce privește modul în care particulele sunt distribuite pe nivelurile de energie.

Pentru a face acest lucru, să aflăm ce distribuții de energie ale particulelor sunt posibile. În acest caz, vom distinge între modificările micro și macrostarea sistemului. Dacă există o schimbare a numărului de particule la orice nivel de energie, atunci vom vorbi despre o schimbare macrostări sisteme. Dacă a existat doar un schimb de particule între nivelurile de energie, dar numărul de particule la fiecare nivel de energie a rămas același, vom înregistra schimbarea microstări sisteme. Pentru un observator extern care monitorizează doar macrostările sistemului, schimbările de natură microscopică vor trece neobservate, iar microstările nu vor fi distinse. O macrostare poate fi realizată de mai multe microstări.

Astfel, una dintre macrostările posibile în sistemul considerat de zece particule este următoarea: la primul nivel de energie există o particulă ( N 1 =1), pe a doua sunt opt ​​particule ( N 2 =8) și unul ocupă al treilea nivel ( N 3 =1). Al patrulea nivel nu este ocupat. Energia totală este 11+82+13+ 40=20. Să presupunem că particulele sunt numerotate. Apoi această macrostare ar putea fi realizată în moduri diferite (prin diferite microstări), prin plasarea, de exemplu, pe nivelul energetic 1 a particulelor pe rând cu numerele 1, 2, 3, 4, 5 etc., adică. efectuând diverse rearanjamente ale particulelor fără a perturba macrostarea sistemului.

. (4.16)

Aici r– numărul de niveluri de energie; în acest exemplu r= 4.

Dacă acum trecem la o altă macrostare, de ex. luați o distribuție diferită a particulelor pe niveluri de energie, de exemplu, N 1 =2,N 2 =7,N 3 =0 și N4=1 (energie totală 21+72+14 = 20), atunci numărul de moduri de implementare a acestei macrostare W se dovedește a fi egal cu 360.

Concept Entropie introdus pentru prima dată în 1865 de R. Clausius în termodinamică pentru a determina măsura disipării ireversibile a energiei. Entropia este folosită în diferite ramuri ale științei, inclusiv în teoria informației, ca măsură a incertitudinii oricărei experiențe, test, care poate avea rezultate diferite. Aceste definiții ale entropiei au o conexiune internă profundă. Astfel, pe baza ideilor despre informație, pot fi deduse toate cele mai importante prevederi ale fizicii statistice. [BES. Fizică. M: Marea Enciclopedie Rusă, 1998].

Entropia binară a informațiilor pentru independentă (inegală probabilă) evenimente aleatorii X Cu n stări posibile (de la 1 la n, p- funcţia de probabilitate) se calculează prin formula lui Shannon:

Această cantitate se mai numește entropia medie mesaje. Entropia în formula lui Shannon este caracteristica medie– așteptarea matematică a distribuției variabilă aleatorie.
De exemplu, în succesiunea de litere care alcătuiesc o propoziție în limba rusă, apar litere diferite cu frecvente diferite, deci incertitudinea apariției este mai mică pentru unele litere decât pentru altele.
În 1948, în timp ce exploram problema transmiterii raționale a informațiilor printr-un zgomot canal de comunicare, Claude Shannon a propus un revoluționar abordare probabilistică pentru a înțelege comunicațiile și a creat prima teorie a entropiei, cu adevărat matematică. Ideile sale senzaționale au servit rapid drept bază pentru dezvoltarea teoriei informației, care folosește conceptul de probabilitate. Conceptul de entropie ca măsură a aleatoriei a fost introdus de Shannon în articolul său „A Mathematical Theory of Communication”, publicat în două părți în Bell System Technical Journal în 1948.

În cazul unor evenimente la fel de probabile ( caz special), când toate opțiunile sunt la fel de probabile, dependența rămâne doar de numărul de opțiuni luate în considerare, iar formula lui Shannon este simplificată semnificativ și coincide cu formula lui Hartley, care a fost propusă pentru prima dată de un inginer american. Ralph Hartleyîn 1928, ca una dintre abordările științifice pentru evaluarea mesajelor:

, unde I este cantitatea informatii transmise, p – probabilitatea unui eveniment, N – numărul posibil de mesaje diferite (la fel de probabil).

Sarcina 1. Pentru evenimente la fel de probabile.
Sunt 36 de cărți în pachet. Câte informații sunt conținute în mesajul că o carte cu portretul „as” a fost luată de pe pachet; "as de pică"?

Probabilitatea p1 = 4/36 = 1/9 și p2 = 1/36. Folosind formula lui Hartley avem:

Răspuns: 3,17; 5,17 biți
Rețineți (din al doilea rezultat) că pentru a codifica toate cardurile, sunt necesari 6 biți.
De asemenea, din rezultate reiese clar că, cu cât probabilitatea unui eveniment este mai mică, cu atât mai multe informatii contine. ( Această proprietate numit monotonie)

Sarcina 2. Pentru evenimente inegal probabile
Sunt 36 de cărți în pachet. Dintre acestea, 12 sunt cărți cu „portrete”. Una câte una, una dintre cărți este luată din pachet și afișată pentru a determina dacă înfățișează un portret. Cartea este returnată pe pachet. Determinați cantitatea de informații transmise de fiecare dată când este afișat un card.

Cantitatea de informații

Introducere

2. Incertitudine, cantitate de informații și entropie

3. Formula lui Shannon

4. Formula lui Hartley

5. Cantitatea de informații primite în timpul procesului de comunicare

Lista literaturii folosite

Introducere

Conform definiției lui A.D. Ursula - „informația este o diversitate reflectată”. Cantitatea de informații este o măsură cantitativă a diversității. Aceasta poate fi diversitatea conținutului agregat al memoriei; diversitatea semnalului perceput în timpul unui anumit mesaj; varietatea de rezultate ale unei anumite situații; diversitatea elementelor unui anumit sistem... este o evaluare a diversităţii în sensul cel mai larg al cuvântului.

Orice mesaj între sursa și receptorul de informații are o anumită durată în timp, dar cantitatea de informații percepută de receptor ca urmare a mesajului este caracterizată în cele din urmă nu de lungimea mesajului, ci de varietatea semnalului generat. în receptor prin acest mesaj.

Memoria unui purtător de informații are o anumită capacitate fizică în care este capabilă să acumuleze imagini, iar cantitatea de informație acumulată în memorie este caracterizată în cele din urmă de diversitatea de umplere a acestei capacități. Pentru obiectele neînsuflețite, aceasta este diversitatea istoriei lor, pentru organismele vii, aceasta este diversitatea experienței lor.

Varietatea este esențială atunci când transmiteți informații. Nu poți picta alb pe alb, doar starea nu este suficientă. Dacă o celulă de memorie este capabilă să fie într-o singură stare (inițială) și nu este capabilă să-și schimbe starea sub influență externă, aceasta înseamnă că nu este capabilă să perceapă și să-și amintească informații. Capacitatea de informare a unei astfel de celule este 0.

Diversitatea minimă este asigurată de prezența a două state. Dacă o celulă de memorie este capabilă, în funcție de influența externă, să ia una dintre cele două stări, care sunt de obicei desemnate „0” și „1”, aceasta are o capacitate de informare minimă.

Capacitatea de informare a unei celule de memorie, capabilă să fie în două stări diferite, este luată ca unitate de măsură pentru cantitatea de informații - 1 bit.

1 bit (bit - prescurtare de la engleză binary digit - binary number) este o unitate de măsură a capacității informaționale și a cantității de informații, precum și o altă valoare - entropia informațională, pe care o vom cunoaște mai târziu. Bit, una dintre cele mai necondiționate unități de măsură. Dacă unitatea de măsură a lungimii ar putea fi setată în mod arbitrar: cot, picior, metru, atunci unitatea de măsură a informațiilor nu ar putea fi în esență oricare alta.

La nivel fizic, un bit este o celulă de memorie care la un moment dat se află într-una din cele două stări: „0” sau „1”.

Dacă fiecare pixel al unei imagini poate fi doar alb sau negru, o astfel de imagine se numește bitmap, deoarece fiecare pixel reprezintă o celulă de memorie cu o capacitate de 1 bit. Un bec care poate fi „aprins” sau „stins” simbolizează, de asemenea, ritmul. Un exemplu clasic care ilustrează 1 bit de informații este cantitatea de informații obținută ca urmare a aruncării unei monede - „capete” sau „cozi”.

O cantitate de informații egală cu 1 bit poate fi obținută ca răspuns la o întrebare „da”/„nu”. Dacă inițial au existat mai mult de două opțiuni de răspuns, cantitatea de informații primite într-un anumit răspuns va fi mai mare de 1 bit, dacă există mai puțin de două opțiuni de răspuns, de exemplu. unul, atunci aceasta nu este o întrebare, ci o declarație, prin urmare, obținerea de informații nu este necesară, deoarece nu există incertitudine.

Capacitatea informațională a unei celule de memorie capabilă să primească informații nu poate fi mai mică de 1 bit, dar cantitatea de informații primite poate fi mai mică de 1 bit. Acest lucru se întâmplă atunci când opțiunile de răspuns „da” și „nu” nu sunt la fel de probabile. Inegalitatea, la rândul ei, este o consecință a faptului că unele informații preliminare (a priori) despre această problemă sunt deja disponibile, obținute, de exemplu, pe baza experienței de viață anterioare. Astfel, în tot raționamentul paragrafului anterior, trebuie luată în considerare un avertisment foarte important: ele sunt valabile doar pentru cazul la fel de probabil.

Vom nota cantitatea de informații prin simbolul I, probabilitatea este notată cu simbolul P. Reamintim că probabilitatea totală a unui grup complet de evenimente este egală cu 1.

2.Incertitudine, cantitate de informații și entropie

Fondatorul teoriei informației, Claude Shannon, a definit informația ca fiind eliminarea incertitudinii. Mai exact, obținerea de informații - conditie necesara pentru a elimina incertitudinea. Incertitudinea apare într-o situație de alegere. Sarcina care este rezolvată în cursul înlăturării incertitudinii este reducerea numărului de opțiuni luate în considerare (reducerea diversității) și, în cele din urmă, alegerea unei opțiuni adecvate situației dintre cele posibile. Eliminarea incertitudinii face posibilă luarea de decizii în cunoștință de cauză și luarea de măsuri. Acesta este rolul de control al informației.

O situație de incertitudine maximă presupune prezența mai multor alternative (opțiuni) la fel de probabile, i.e. nici una dintre variante nu este de preferat. Mai mult, cu cât se observă mai multe opțiuni la fel de probabile, cu atât este mai mare incertitudinea, cu atât este mai dificil să se facă o alegere fără ambiguitate și cu atât sunt necesare mai multe informații pentru a obține aceasta. Pentru N opțiuni, această situație este descrisă de următoarea distribuție de probabilitate: (1/N, 1/N, … 1/N).

Incertitudinea minimă este 0, adică aceasta este o situație de deplină certitudine, adică alegerea a fost făcută și s-au primit toate informațiile necesare. Distribuția de probabilitate pentru o situație de certitudine completă arată astfel: (1, 0, …0).

Mărimea care caracterizează cantitatea de incertitudine din teoria informației este notată cu simbolul H și se numește entropie, mai precis entropie informațională.

Entropia (H) este o măsură a incertitudinii exprimată în biți. Entropia poate fi considerată și ca o măsură a uniformității distribuției unei variabile aleatoare.

Orez. 1. Comportamentul entropiei

pentru cazul a două alternative.

Figura 1 prezintă comportamentul entropiei pentru cazul a două alternative, când raportul probabilităților acestora se modifică (p, (1-p)).

Entropia atinge valoarea maximă în acest caz când ambele probabilități sunt egale între ele și egale?, valoarea entropiei zero corespunde cazurilor (p0=0, p1=1) și (p0=1, p1=0).

Orez. 2. Relația dintre entropie și cantitatea de informații.

Cantitatea de informație I și entropia H caracterizează aceeași situație, dar din părți calitativ opuse. I este cantitatea de informație necesară pentru a elimina incertitudinea H. Conform definiției lui Leon Brillouin, informația este entropie negativă (negentropie).

Când incertitudinea este complet eliminată, cantitatea de informații primite I este egală cu incertitudinea existentă inițial H.

Când incertitudinea este eliminată parțial, cantitatea de informații primite și incertitudinea rămasă care rămâne nerezolvată se adaugă la incertitudinea inițială. Ht + It = H.

Din acest motiv, formulele care vor fi prezentate mai jos pentru calcularea entropiei H sunt și formule pentru calcularea cantității de informație I, adică. când vorbim despre eliminarea completă a incertitudinii, H în ele poate fi înlocuit cu I.

3.Formula lui Shannon

În general, de entropia H și cantitatea de informații pe care am obținut-o ca urmare a eliminării incertitudinii depind cantitatea originală opțiunile luate în considerare N și probabilitățile a priori de implementare a fiecăreia dintre ele P: (p0, p1, …pN-1), adică. H=F(N, P). Entropia se calculează în acest caz folosind formula lui Shannon, propusă de acesta în 1948 în articolul „Teoria matematică a comunicării”.

În cazul special, când toate opțiunile sunt la fel de probabile, dependența rămâne doar de numărul de opțiuni luate în considerare, i.e. H=F(N). În acest caz, formula lui Shannon este simplificată semnificativ și coincide cu formula lui Hartley, care a fost propusă pentru prima dată de inginerul american Ralph Hartley în 1928, adică. cu 20 de ani mai devreme.

Formula lui Shannon este următoarea:

Orez. 3. Găsirea logaritmului lui b la baza a înseamnă găsirea puterii la care trebuie să ridicați a pentru a obține b.

Să vă reamintim ce este un logaritm.

Logaritmul în baza 2 se numește binar:

log2(8)=3 => 23=8

log2(10)=3,32 => 23,32=10

Logaritmul la baza 10 se numește zecimal:

log10(100)=2 => 102=100

Proprietățile de bază ale logaritmului:

1. log(1)=0, deoarece orice număr la puterea zero dă 1;

2. log(ab)=b*log(a);

3. log(a*b)=log(a)+log(b);

4. log(a/b)=log(a)-log(b);

5. log(1/b)=0-log(b)=-log(b).

Semnul minus din formula (1) nu înseamnă că entropia este o valoare negativă. Acest lucru se explică prin faptul că pi1 este prin definiție, iar logaritmul unui număr mai mic decât unu este o valoare negativă. Prin proprietatea unui logaritm, prin urmare această formulă poate fi scrisă în a doua versiune, fără minusul dinaintea semnului sumei.

este interpretată ca o cantitate particulară de informații obținute în cazul implementării opțiunii i-a. Entropia în formula lui Shannon este caracteristica medie - așteptarea matematică a distribuției unei variabile aleatoare (I0, I1, ... IN-1).

Un exemplu de calcul al entropiei folosind formula lui Shannon. Să fie repartizată componența angajaților dintr-o instituție astfel: ? - femei, ? - bărbați. Apoi, incertitudinea cu privire, de exemplu, pe cine veți întâlni primul când intrați într-o instituție, va fi calculată printr-o serie de acțiuni prezentate în Tabelul 1.

Tabelul 1.

Ii=log2(1/pi), bit

pi*log2(1/pi), bit

Dacă se știe a priori că există un număr egal de bărbați și femei în instituție (două opțiuni la fel de probabile), atunci când calculăm folosind aceeași formulă ar trebui să obținem o incertitudine de 1 bit. Această ipoteză este testată în tabelul 2.

Masa 2.

Ii=log2(1/pi), bit

pi*log2(1/pi), bit

4. Formula lui Hartley

Formula lui Hartley este un caz special al formulei lui Shannon pentru alternative la fel de probabile.

Substituind valoarea sa (în cazul la fel de probabil independent de i) în formula (1) în loc de pi, obținem:

Astfel, formula lui Hartley pare foarte simplă:

Rezultă clar de aici că cu cât este mai mare numărul de alternative (N), cu atât este mai mare incertitudinea (H). Aceste mărimi sunt legate în formula (2) nu liniar, ci printr-un logaritm binar. Logaritm la baza 2 și reduce numărul de opțiuni la unități de informație - biți.

Entropia va fi un număr întreg numai dacă N este o putere de 2, adică. dacă N aparține rândului: (1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048...)

Orez. 3. Entropia depinde de numărul de alegeri la fel de probabile (alternative echivalente).

Pentru a rezolva probleme inverse, când incertitudinea (H) sau cantitatea de informație obținută ca urmare a înlăturării acesteia (I) este cunoscută și este necesar să se determine câte alternative la fel de probabile corespund apariției acestei incertitudini, se folosește inversul Formula Hartley, care este derivată în conformitate cu definiția logaritmului și arată și mai simplă:

De exemplu, dacă se știe că, ca urmare a determinării că Kolya Ivanov, care ne interesează, locuiește la etajul al doilea, s-au obținut 3 biți de informații, atunci numărul de etaje din casă poate fi determinat prin formula (3) ca N = 23 = 8 etaje.

Dacă întrebarea este: „există 8 etaje într-o casă, câte informații am primit când am aflat că Kolya Ivanov, care ne interesează, locuiește la etajul al doilea?”, trebuie să utilizați formula (2): I=log2 (8)=3 biți.

5. Cantitatea de informații primite în timpul procesului de comunicare

Până acum s-au dat formule pentru calcularea entropiei (incertitudinii) H, indicând faptul că H din ele poate fi înlocuit cu I, deoarece cantitatea de informație obținută atunci când incertitudinea unei anumite situații este complet eliminată este cantitativ egală cu entropia inițială. a acestei situatii.

Dar incertitudinea poate fi eliminată doar parțial, astfel încât cantitatea de informații pe care am obținut-o dintr-un anumit mesaj este calculată ca scăderea entropiei care a apărut ca urmare a primirii acestui mesaj.

Pentru cazul la fel de probabil, folosind formula lui Hartley pentru a calcula entropia, obținem:

A doua egalitate este derivată pe baza proprietăților logaritmului. Astfel, în cazul echiprobabil, I depinde de câte ori s-a schimbat numărul de alegeri luate în considerare (diversitatea luată în considerare).

Pe baza (5) se pot deduce următoarele:

Dacă, atunci - eliminarea completă a incertitudinii, cantitatea de informații primite în mesaj este egală cu incertitudinea care exista înainte de primirea mesajului.

Dacă, atunci - incertitudinea nu s-a schimbat, prin urmare, nu a fost primită nicio informație.

Dacă, atunci => , dacă, => . Acestea. cantitatea de informații primite va fi o valoare pozitivă dacă, ca urmare a primirii mesajului, numărul de alternative luate în considerare a scăzut, și negativă dacă a crescut.

Dacă numărul de alternative luate în considerare ca urmare a primirii mesajului se reduce la jumătate, i.e. , atunci I=log2(2)=1 bit. Cu alte cuvinte, primirea a 1 bit de informații elimină jumătate din opțiunile echivalente din considerare.

Luați în considerare, ca exemplu, un experiment cu un pachet de 36 de cărți.

Orez. 4. Ilustrație pentru un experiment cu un pachet de 36 de cărți.

Rugați pe cineva să ia o carte din pachet. Ne interesează care dintre cele 36 de cărți a scos. Incertitudinea inițială, calculată folosind formula (2), este H=log2(36)5,17 biți. Cel care trage cardul ne spune niște informații. Folosind formula (5), determinăm câte informații primim din aceste mesaje:

Opțiunea A: „Acesta este un cartonaș roșu”.

I=log2(36/18)=log2(2)=1 bit (există jumătate de cartonașe roșii în pachet, incertitudinea a scăzut de 2 ori).

Opțiunea B: „Aceasta este o carte a costumului de pică.”

I=log2(36/9)=log2(4)=2 biți (cărțile spade reprezintă un sfert din pachet, incertitudinea a scăzut de 4 ori).

Opțiunea C. „Aceasta este una dintre cărțile mari: vale, damă, rege sau as.”

I=log2(36)-log2(16)=5,17-4=1,17 biți (incertitudinea a scăzut cu mai mult de jumătate, deci cantitatea de informații primite este mai mare de un bit).

Opțiunea D. „Aceasta este o carte din pachet”.

I=log2(36/36)=log2(1)=0 biți (incertitudinea nu a scăzut - mesajul nu este informativ).

Opțiunea D. „Aceasta este regina de pică”.

I=log2(36/1)=log2(36)=5,17 biți (incertitudinea eliminată complet).

Entropie (teoria informației)

Entropie (informațional)- o măsură a haosului informațional, incertitudinea apariției oricărui simbol al alfabetului primar. În absența pierderilor de informații, aceasta este numeric egală cu cantitatea de informații pe simbol al mesajului transmis.

De exemplu, în succesiunea de litere care alcătuiesc o propoziție în limba rusă, apar litere diferite cu frecvențe diferite, astfel încât incertitudinea apariției pentru unele litere este mai mică decât pentru altele. Dacă luăm în considerare că unele combinații de litere (în acest caz vorbim despre entropie n-a ordine, vezi) sunt foarte rare, atunci incertitudinea este redusă și mai mult.

Pentru a ilustra conceptul de entropie informațională, se poate recurge și la un exemplu din domeniul entropiei termodinamice, numit demonul lui Maxwell. Conceptele de informație și entropie au conexiuni profunde între ele, dar, în ciuda acestui fapt, dezvoltarea teoriilor în mecanica statistică și teoria informației a durat mulți ani pentru a le face compatibile între ele.

Definiții formale

Determinare folosind propriile informații

De asemenea, puteți determina entropia unei variabile aleatoare introducând mai întâi conceptul de distribuție a unei variabile aleatoare X, având un număr finit de valori: eu(X) = − log P X (X). Atunci entropia va fi definită ca: Unitatea de măsură a informației și entropia depinde de baza logaritmului: bit, nat sau hartley.

Entropia informațională pentru evenimente aleatoare independente X Cu n stări posibile (de la 1 la n) se calculează folosind formula:

Această cantitate se mai numește entropia medie a mesajului. Se numește cantitatea entropia privată, caracterizand doar i-imobiliar.

Astfel, entropia evenimentului X este suma cu semnul opus a tuturor produselor frecvenţelor relative de apariţie a evenimentului i, înmulțit cu proprii logaritmi binari (baza 2 a fost aleasă numai pentru comoditatea de a lucra cu informațiile prezentate în formă binară). Această definiție pentru evenimente aleatoare discrete poate fi extinsă la o funcție de distribuție a probabilității.

În general b-entropia aria(Unde b este egal cu 2, 3, ...) sursa cu alfabetul original și distribuția de probabilitate discretă unde p i este probabilitatea A i (p i = p(A i) ) este determinată de formula:

Definiția entropiei Shannon este legată de conceptul de entropie termodinamică. Boltzmann și Gibbs au făcut-o buna treabaîn termodinamica statistică, care a contribuit la adoptarea cuvântului „entropie” în teoria informaţiei. Există o legătură între termodinamică și entropia informațională. De exemplu, demonul lui Maxwell contrastează, de asemenea, entropia termodinamică cu informația, iar obținerea oricărei informații este egală cu entropia pierdută.

Definiție alternativă

O altă modalitate de a defini funcția de entropie este H este dovada că H este determinată în mod unic (după cum s-a spus mai devreme) dacă și numai dacă H indeplineste conditiile:

Proprietăți

Este important să ne amintim că entropia este o cantitate definită în contextul unui model probabilistic pentru o sursă de date. De exemplu, aruncarea unei monede are entropie − 2(0,5log 2 0,5) = 1 bit per aruncare (presupunând că este independentă). O sursă care generează un șir format doar din literele „A” are entropie zero: . Deci, de exemplu, se poate stabili experimental acea entropie Textul în limba engleză este de 1,5 biți per simbol, care desigur va varia pentru texte diferite. Gradul de entropie al unei surse de date înseamnă numărul mediu de biți pe element de date necesar pentru a o cripta fără pierderi de informații, cu o codificare optimă.

1. Este posibil ca unii biți de date să nu transporte informații. De exemplu, structurile de date stochează adesea informații redundante sau au secțiuni identice, indiferent de informațiile din structura de date.
2. Cantitatea de entropie nu este întotdeauna exprimată ca un număr întreg de biți.

Proprietăți matematice

Eficienţă

Alfabetul original întâlnit în practică are o distribuție de probabilitate care este departe de a fi optimă. Dacă alfabetul original ar fi avut n caractere, atunci poate fi comparat cu un „alfabet optimizat” a cărui distribuție de probabilitate este uniformă. Raportul de entropie al alfabetului original și optimizat este eficiența alfabetului original, care poate fi exprimat ca procent.

De aici rezultă că eficacitatea alfabetului original cu n simbolurile pot fi definite pur și simplu ca egale cu ea n-entropia aria.

Entropia limitează maximul posibilă compresie fără pierderi (sau aproape fără pierderi), care poate fi implementat folosind un set teoretic tipic sau, în practică, codarea Huffman, codarea Lempel-Ziv-Welch sau codarea aritmetică.

Variații și generalizări

Entropia condiționată

Dacă succesiunea de caractere din alfabet nu este independentă (de exemplu, în franceză litera „q” este aproape întotdeauna urmată de „u”, iar cuvântul „editorial” din ziarele sovietice era urmat de obicei de cuvântul „producție” sau „muncă” ”), cantitatea de informații transportată de secvența unor astfel de simboluri (și, prin urmare, entropia) este evident mai mică. Pentru a lua în considerare astfel de fapte, se folosește entropia condiționată.

Entropia condiționată de ordinul întâi (similar cu modelul Markov de ordinul întâi) este entropia pentru un alfabet în care sunt cunoscute probabilitățile ca o literă să apară după alta (adică probabilitățile de combinații de două litere):

Unde i este o stare dependentă de caracterul precedent și p i (j) - aceasta este probabilitatea j, cu conditia ca i a fost personajul anterior.

Deci, pentru limba rusă fără litera „”.

Pierderile de informații în timpul transmisiei de date într-un canal zgomotos sunt descrise în totalitate prin entropii condiționate private și generale. În acest scop așa-numitul matrice de canale. Deci, pentru a descrie pierderile din partea sursei (adică semnalul trimis este cunoscut), se ia în considerare probabilitatea condiționată de a primi simbolul de către receptor. b j cu condiția ca personajul să fie trimis A i. În acest caz, matricea canalului are următoarea formă:

	b 1	b 2	…	b j	…	b m
A 1			…		…
A 2			…		…
…	…	…	…	…	…	…
A i			…		…
…	…	…	…	…	…	…
A m			…		…

Evident, probabilitățile situate pe diagonală descriu probabilitatea receptie corecta, iar suma tuturor elementelor coloanei va da probabilitatea ca simbolul corespunzător să apară pe partea receptorului - p(b j) . Pierderi atribuibile semnal transmis A i, sunt descrise prin entropia condiționată parțială:

Pentru a calcula pierderile de transmisie ale tuturor semnalelor, se folosește entropia condiționată generală:

Înseamnă entropia pe partea sursă, entropia pe partea receptorului este considerată într-un mod similar: în loc de peste tot este indicată (prin însumarea elementelor liniei puteți obține; p(A i) , iar elementele diagonale înseamnă probabilitatea ca caracterul exact care a fost primit să fi fost trimis, adică probabilitatea transmiterii corecte).

Entropia reciprocă

Entropia reciprocă, sau entropia uniunii, este destinat calculului entropiei sistemelor interconectate (entropia apariției comune a mesajelor dependente statistic) și este notat H(AB) , Unde A, ca întotdeauna, caracterizează emițătorul și B- receptor.

Relația dintre semnalele transmise și recepționate este descrisă de probabilitățile de evenimente comune p(A i b j) , si pentru descriere completa caracteristicile canalului, este necesară o singură matrice:

p(A 1 b 1)	p(A 1 b 2)	…	p(A 1 b j)	…	p(A 1 b m)
p(A 2 b 1)	p(A 2 b 2)	…	p(A 2 b j)	…	p(A 2 b m)
…	…	…	…	…	…
p(A i b 1)	p(A i b 2)	…	p(A i b j)	…	p(A i b m)
…	…	…	…	…	…
p(A m b 1)	p(A m b 2)	…	p(A m b j)	…	p(A m b m)

Pentru mai mult caz general, când nu este un canal care este descris, ci pur și simplu sisteme care interacționează, matricea nu trebuie să fie pătrată. Evident, suma tuturor elementelor coloanei cu număr j va da p(b j) , suma numărului liniei i Există p(A i) , iar suma tuturor elementelor matricei este egală cu 1. Probabilitate comună p(A i b j) evenimente A iȘi b j se calculează ca produsul dintre probabilitatea originală și probabilitatea condiționată,

Probabilitățile condiționate sunt produse folosind formula lui Bayes. Astfel, există toate datele pentru calcularea entropiilor sursei și receptorului:

Entropia reciprocă este calculată prin însumarea secvenţială pe rânduri (sau coloane) a tuturor probabilităţilor matricei, înmulţită cu logaritmul lor:

H(AB) = −	∑	∑	p(A i b j)Buturuga p(A i b j).
	i	j

Unitatea de măsură este biți/două simboluri, acest lucru se explică prin faptul că entropia reciprocă descrie incertitudinea pe pereche de simboluri - trimise și primite. Prin simple transformări obținem și

Entropia reciprocă are proprietatea completitudinea informatiei- din ea se pot obține toate cantitățile luate în considerare.

Poveste

Note

Vezi si

Legături

• Claude E. Shannon. O teorie matematică a comunicării
• S. M. Korotaev.

1) Abordarea sistematică a studiului medicinei. Conceptul de sistem. Proprietățile sistemului. Exemple de sisteme medicale.

O abordare sistemică, o direcție în metodologia cunoștințelor științifice speciale și a practicii sociale, care se bazează pe studiul obiectelor ca sisteme.

Sistem- un ansamblu de elemente care se află în relații și conexiuni între ele, care formează o anumită integritate, unitate.

proprietăți comune tuturor sistemelor:

Integritate- un sistem este o entitate abstractă care are integritate și este definită în limitele sale. Integritatea sistemului implică faptul că, într-un anumit aspect esențial, „puterea” sau „valoarea” conexiunilor elementelor în cadrul sistemului mai mare decât puterea sau valoarea conexiunilor dintre elementele și elementele sistemului sisteme externe sau mediu inconjurator.

Sinergie, aparitie, holism, efect de sistem- apariția proprietăților în sistem care nu sunt inerente elementelor sistemului; ireductibilitatea fundamentală a proprietăților unui sistem la suma proprietăților componentelor sale constitutive. Capacitățile sistemului depășesc suma capacităților părților sale constitutive; performanța generală sau funcționalitatea unui sistem este mai bună decât simpla sumă a elementelor sale.

Ierarhie- fiecare element al sistemului poate fi considerat ca un sistem; sistemul în sine poate fi considerat și ca un element al unui supersistem (supersistem).

Sistemele experte sunt o descriere logică a structurii și conținutului cunoștințelor medicale folosind un sistem de reguli de producție (reguli logice de inferență).

Consultații într-un domeniu specific la un nivel de cunoștințe care îl depășește pe cel al utilizatorului; - aplicarea tehnologiilor informatice” inteligenţă artificială"; - formarea unei baze de cunoștințe sub forma unor sisteme de reguli euristice; - explicarea raționamentului în procesul de obținere a unei decizii.

Sisteme informatice medicale (MIS). După scopul lor, aceste sisteme sunt împărțite în trei grupe: 1) sisteme a căror funcție principală este acumularea de date și informații

2) sisteme de diagnostic și consultanță

3) sisteme care asigură îngrijiri medicale

Sistemul informatic medical (MIS) - un set de instrumente informatice, organizaționale, software și tehnice concepute pentru a automatiza procesele și (sau) organizațiile medicale

Obiectivele sistemelor informatice medicale

Colectare de date

Înregistrarea și documentarea datelor

Asigurarea schimbului de informatii

Monitorizarea evoluției bolii (control medical)

Monitorizarea implementarii tehnologiei pentru procesul de diagnostic si tratament (control tehnologic)

Stocarea și preluarea informațiilor (arhivare)

Analiza datelor

Suport decizional

Instruire

2. Sistem medical ca sistem de control. Principiul feedback-ului în sistemele de control. Locul metodelor și instrumentelor informatice într-un sistem de management medical.

Teoria controlului- știința principiilor și metodelor de gestionare a diverselor sisteme, procese și obiecte. Bazele teoriei controlului sunt cibernetica (știința legilor generale ale proceselor de control și transferul de informații în diverse sisteme, fie ele mașini, organisme vii sau societate) și teoria informației.

Procesul de management poate fi împărțit în mai multe etape:

1. Colectarea și prelucrarea informațiilor.

2. Analiză, sistematizare, sinteză.

3. Stabilirea obiectivelor pe această bază. Alegerea metodei de management, prognoză.

4. Implementarea metodei de management alese.

5. Evaluarea eficacității metodei de management selectate (feedback).

Scopul final al teoriei controlului este universalizarea și, prin urmare, consistența, optimizarea și cea mai mare eficiență în funcționarea sistemelor.

Metode de management luate în considerare de teoria managementului sisteme tehniceși alte obiecte se bazează pe trei principii fundamentale:

1. Principiul controlului în buclă deschisă (software),

2. Principiul compensației (controlul perturbărilor)

3. Principiul feedback-ului.

Managementul poate fi împărțit în două tipuri:

spontan: impactul apare ca urmare a interacțiunii subiecților (management sinergetic);

conştient: influenţa sistematică a obiectului (controlul ierarhic).

Cu controlul ierarhic, scopul funcționării sistemului este stabilit de supersistemul acestuia.

Cibernetica medicală este un domeniu științific asociat cu utilizarea ideilor, metodelor și mijloace tehnice cibernetica în medicină și asistență medicală.

În mod convențional, cibernetica medicală poate fi reprezentată de următoarele grupuri:

Diagnosticul computerizat al bolilor

Această parte este legată de utilizarea tehnologiei informatice în prelucrarea informațiilor provenite de la un obiect biologic în scopul punerii unui diagnostic. Primul pas este dezvoltarea unor metode de descriere formală a stării de sănătate a pacientului, efectuând o analiză amănunțită pentru a clarifica parametrii clinici și semnele utilizate în diagnostic. Aici, cele mai importante caracteristici sunt cele care poartă evaluări cantitative. Pe lângă exprimarea cantitativă a caracteristicilor fiziologice, biochimice și de altă natură ale pacientului, diagnosticul computațional necesită informații despre frecvența sindroamelor clinice (din date a priori) și semnele diagnostice privind clasificarea lor, evaluarea eficacității diagnosticului etc.

Sisteme automate de control și posibilitatea utilizării acestora pentru organizarea asistenței medicaleși eu.

Scopul aici este de a crea sisteme industriale automatizate (OSAU). Astfel de sisteme sunt create pentru o industrie atât de importantă precum cea a sănătății. Particularitatea OSAU în asistența medicală este că trebuie să includă atât o unitate de control, cât și alte elemente: prevenire, tratament (cu diagnosticare), știință medicală, personal și suport material. Sarcinile principale ale OSAU „Asistență medicală” includ automatizarea proceselor de colectare și analiză a informațiilor statistice în principalele domenii de activitate medicală și optimizarea unor procese de management.

3. Conceptul de entropie informaţională.

Entropia (informații) - o măsură a haosului informațiilor, incertitudinea apariției oricărui simbol al alfabetului primar. În absența pierderilor de informații, aceasta este numeric egală cu cantitatea de informații pe simbol al mesajului transmis.

Deci, să luăm, de exemplu, o succesiune de caractere care alcătuiesc o propoziție în limba rusă. Fiecare personaj apare cu o frecvență diferită, prin urmare, incertitudinea apariției pentru unele personaje este mai mare decât pentru altele. Dacă luăm în considerare că unele combinații de simboluri sunt foarte rare, atunci incertitudinea se reduce și mai mult.

Conceptele de informație și entropie au conexiuni profunde între ele, dar, în ciuda acestui fapt, dezvoltarea teoriilor în mecanica statistică și teoria informației a durat mulți ani pentru a le face compatibile între ele.

Introducerea conceptului de entropie se bazează pe utilizarea unei măsuri de probabilitate diverse experiențe. Pentru a obține formula entropiei informaționale, puteți utiliza următoarea tehnică. Să existe o secvență de N evenimente (de exemplu, un text de N litere), fiecare dintre ele ia una dintre M stări (M ¾ numărul de litere din alfabet). Apoi . Găsim probabilitatea de manifestare a acestei stări pentru un lanț suficient de lung de evenimente ca, i=1, ¼ , M. Numărul total diferite secvențe de N litere ale alfabetului cu litere M . Formal, apariția fiecăreia dintre secvențele R este la fel de probabilă, prin urmare, pentru a determina cantitatea de informații dintr-un astfel de lanț de evenimente, folosim formula lui Hartley pentru rezultate la fel de probabile (1). Pentru cazul nostru, toți N și toți N i sunt suficient de mari, deoarece numai atunci toți p i ca probabilități au sens. Prin urmare, aplicăm transformarea Stirling într-un mod similar cu modul în care se face în fizica statistică. Folosind toate premisele indicate și reducând logaritmul (1) la o bază naturală, obținem formula lui Shannon ¾ entropia informațională pentru fiecare dintre M stări posibile.

În viitor, conceptul de entropie poate fi aplicat pentru a rezolva probleme de calculare a incertitudinii (și, prin urmare, a încărcăturii de informații) a diferitelor experimente. Dacă informația primită înlătură complet incertitudinea experienței, atunci cantitatea acesteia este considerată egală cu entropia experienței date. Prin urmare, utilizarea conceptului de entropie poate servi la determinarea valorii diferitelor predicții. Și și mai interesantă și mai utilă este utilizarea conceptului de entropie (din punct de vedere practic) pentru a stabili un criteriu de evaluare a eficacității codului real și ca instrument de elaborare a codurilor economice.

5. Concepte de bază ale proceselor informaționale de bază: stocare, transmitere, prelucrare a informațiilor.

Proces informațional - procesul de primire, creare, colectare, prelucrare, acumulări, depozitare, căutare, transferuriși utilizarea informațiilor.

Oricare activitati de informare oamenii nu au fost implicați, totul se rezumă la implementarea a trei procese: stocarea, transmiterea și prelucrarea informațiilor. Aceste procese se numesc de bază.

Depozitare

Stocarea informațiilor ar trebui înțeleasă ca conținutul informațiilor în memorie externa calculator.

Stocarea informațiilor este asociată cu concepte precum mediul de stocare a informațiilor, memoria internă, memoria externă și stocarea informațiilor. Purtătorul de informații este mediu fizic, care stochează direct informații. Principalul purtător de informații pentru o persoană este propria sa memorie biologică (creierul uman). Poate fi numită memorie internă. Toate celelalte tipuri de purtători de informații pot fi numite externe (în relație cu o persoană).

Un depozit de informații este o colecție de date organizate într-un anumit mod pe medii externe, destinate stocării pe termen lung și utilizării constante. Exemple de facilități de stocare sunt arhivele de documente, bibliotecile, cărțile de referință și indexurile cardurilor. Unitatea de informare principală a depozitului este un document fizic specific - un chestionar, carte, dosar, dosar, raport etc. Organizarea depozitului înseamnă prezența unei anumite structuri, de exemplu. ordinea, clasificarea documentelor stocate. O astfel de organizare este necesară pentru comoditatea menținerii depozitului: completarea acestuia cu documente noi, ștergerea documentelor inutile, căutarea de informații etc.

Principalele proprietăți ale unui depozit de informații sunt volumul de informații stocate, fiabilitatea stocării, timpul de acces și disponibilitatea protecției informațiilor.

Informațiile stocate pe dispozitivele de memorie ale computerului sunt denumite în mod obișnuit date. Stocarea organizată a datelor pe dispozitivele de memorie externă a computerului este de obicei numită baze de date.

În computerele moderne, principalele medii de stocare pentru memoria externă sunt discurile magnetice și optice.

Unități de stocare a datelor. La stocarea datelor, sunt rezolvate două probleme: cum să stocați datele în cea mai compactă formă și cum să oferiți acces convenabil și rapid la acestea. Pentru a asigura accesul, este necesar ca datele să aibă o structură ordonată și, în același timp, este necesară înregistrarea suplimentară a datelor de adresă. Fără acestea, este imposibil să accesezi elementele de date necesare incluse în structură.

Deoarece datele de adresă au și o dimensiune și trebuie, de asemenea, stocate, stocarea datelor în unități mici, cum ar fi octeții, este incomod. De asemenea, sunt incomod de stocat în unități mai mari (kiloocteți, megaocteți etc.), deoarece umplerea incompletă a unei unități de stocare duce la ineficiența stocării.

Un obiect este luat ca unitate de stocare a datelor lungime variabilă, numit fișier. Un fișier este o secvență de un număr arbitrar de octeți cu un nume unic propriu. De obicei în dosar separat stocarea datelor aparținând aceluiași tip. În acest caz, tipul de date determină tipul fișierului.

Difuzare

Procesul de transport al informației este considerat în cadrul unui model de referință pe șapte niveluri cunoscut sub numele de Modelul OSI(Open System Intercongtion - comunicare sisteme deschise). Se acordă multă atenție protocoalelor la diferite niveluri, oferind nivelul necesar de standardizare:

1. Nivel inferior (canal și fizic Nivelurile OSI de exemplu NDIS, ODI)

2. Stratul mijlociu (straturi de sesiune de rețea, transport și OSI, cum ar fi protocoalele de sesiune și datagramă)

3. Stratul superior (stratul de prezentare și stratul de aplicare OSI)

Stratul fizic implementează controlul fizic și se referă la circuitul fizic, cum ar fi circuitul telefonic, peste care sunt transmise informații. La acest nivel, modelul OSI definește caracteristicile fizice, electrice, funcționale și procedurale ale circuitelor de comunicație, precum și cerințele pentru adaptoare de rețeași modemuri.

Nivel de legătură de date. La acest nivel, legătura de rețea (canalul) este controlată și transferul de blocuri (seturi de biți) de informații de-a lungul legăturii fizice este implementat. Efectuează proceduri de control precum determinarea începutului și sfârșitului unui bloc, detectarea erorilor de transmisie, adresarea mesajelor etc.

Stratul de rețea se referă la un circuit virtual (imaginar) care nu trebuie să existe fizic. Instrumentele software la acest nivel oferă determinarea rutei pentru transmiterea pachetelor în rețea. Routerele care caută ruta optimă pe baza analizei informațiilor despre adrese funcționează la nivelul de rețea al modelului OSI, numit punte.

Stratul de transport. La nivelul de transport, ordinea pachetelor de mesaje și identitatea acestora sunt controlate. Astfel, în procesul de schimb între calculatoare, se menține o conexiune virtuală, similară comutării telefonice.

Nivel de sesiune. Pe acest nivel procesele de stabilire a unei sesiuni, de gestionare a transmiterii și recepționării pachetelor de mesaje și de încheiere a sesiunii sunt coordonate și standardizate. Software Acest nivel realizează conversii de date din formatul intern al computerului expeditor în formatul intern al computerului receptor, dacă aceste formate diferă unul de celălalt. Pe lângă conversia formatelor, la acest nivel datele transmise sunt comprimate și decomprimate.

Stratul de aplicație se referă la funcții care oferă suport utilizatorului la niveluri superioare de aplicație și sistem, de exemplu: organizarea accesului la resursele rețelei: informație, memorie pe disc, aplicații software, dispozitive externe (imprimante, streamere etc.); management general rețea (gestionarea configurației, controlul accesului resurse partajate rețele, recuperare după defecțiuni și defecțiuni, managementul performanței); transmiterea de mesaje electronice.

Tratament

Prelucrarea informației se referă la transformarea acesteia în scopul pregătirii acesteia pentru utilizare practică. Uneori, prelucrarea informațiilor este definită ca date de funcționare conform anumitor reguli.

În procesul de prelucrare a informațiilor se rezolvă întotdeauna o sarcină de informare, care constă în obținerea de informații finale pe baza datelor inițiale. Procesul de tranziție de la datele inițiale la rezultat este prelucrarea informațiilor. Entitatea care efectuează prelucrarea este executantul prelucrării. Artistul poate fi o persoană sau poate fi un dispozitiv tehnic special, inclusiv un computer.

De obicei, procesarea informațiilor este un proces direcționat către un scop. Pentru a efectua cu succes prelucrarea informațiilor, executantul trebuie să cunoască metoda de prelucrare, adică. succesiunea de acțiuni care trebuie efectuate pentru a obține rezultatul dorit. Descrierea unei astfel de secvențe de acțiuni în informatică este de obicei numită algoritm de procesare.

De obicei, există două tipuri de situații de procesare a informațiilor.

Primul tip este procesarea asociată cu obținerea de noi conținuturi de cunoștințe. Acest tip de prelucrare include rezolvarea problemelor matematice. Metoda de prelucrare, de ex. algoritmul de rezolvare a problemei este determinat de formule matematice care sunt cunoscute de executant. Acest tip de prelucrare a informațiilor include rezolvarea diverselor probleme prin utilizarea raționamentului logic.

Al doilea tip este procesarea asociată cu modificarea formei, dar nu modificarea conținutului. Acest tip de prelucrare a informațiilor include, de exemplu, traducerea textului dintr-o limbă în alta. Forma se schimbă, dar conținutul trebuie să rămână același. Un tip important de prelucrare pentru informatică este codificare. Codarea este transformarea informațiilor într-o formă simbolică convenabilă pentru stocarea, transmiterea și procesarea acesteia. Codarea este utilizată activ în mijloacele tehnice de lucru cu informații (telegraf, radio, computere).

Procesarea informațiilor include structurarea datelor. Structurarea este asociată cu introducerea unei anumite ordini, a unei anumite organizări în depozitul de informații. Exemplele de structurare includ aranjarea datelor în ordine alfabetică, gruparea în funcție de anumite criterii de clasificare și utilizarea unei prezentări tabelare.

O alta vedere importantă prelucrarea informaţiei – căutare. Sarcina de căutare este de a selecta informațiile necesare care satisfac anumite condiții de căutare în depozitul de informații existent. Algoritmul de căutare depinde de modul în care sunt organizate informațiile. Dacă informația este structurată, căutarea este mai rapidă și se poate construi un algoritm optim.

Astfel, în funcție de scopul prelucrării informațiilor, forma de prezentare sau conținutul acesteia se poate modifica. Procesele de schimbare a formei de prezentare a informațiilor se rezumă adesea la procesele de codificare și decodificare a acesteia și au loc concomitent cu procesele de colectare și transmitere a informațiilor. Procesul de modificare a conținutului informațiilor include proceduri precum calcule numerice, editare, ordonare, generalizare, sistematizare etc. Dacă regulile de conversie a informațiilor sunt strict formalizate și există un algoritm pentru implementarea lor, atunci este posibil să se construiască un dispozitiv pentru procesarea automată a informațiilor.

Merită menționată eterogenitatea resurselor informaționale, caracteristică multor domenii. O modalitate de a rezolva această problemă este abordare orientată pe obiecte, cea mai comună în prezent. Să luăm în considerare pe scurt principalele sale prevederi. Pe bază de descompunere abordare orientată pe obiecte se bazează pe identificarea următoarelor concepte de bază: obiect, clasă, instanță.

Un obiect este o abstractizare a multor obiecte din lumea reală care au aceleași caracteristici și legi ale comportamentului. Obiectul caracterizează un element nedefinit tipic al unui astfel de set. Caracteristica principală a unui obiect este compoziția atributelor (proprietăților) acestuia.

Atribute- acestea sunt obiecte speciale prin care puteți stabili reguli pentru descrierea proprietăților altor obiecte.

Instanță de obiect este un element specific al unui set. De exemplu, un obiect poate fi plăcuța de înmatriculare a unei mașini, iar o instanță a acestui obiect poate fi un anumit număr K 173 PA.

Clasă- acesta este un set de obiecte din lumea reală, conectate printr-o structură și comportament comun. Element de clasă este un element specific al unei mulţimi date. De exemplu, o clasă de numere de înmatriculare a mașinii.

Informațiile sunt transmise sub formă de semnale. Un semnal este un proces fizic care transportă informații. Semnalul poate fi sonor, luminos, sub formă de trimitere poștală etc.

După tipuri (tipuri) de semnale se disting următoarele:

analogic

digital

discret

Semnal analog:

Semnalul analogic este natural. Se poate repara folosind tipuri variate senzori De exemplu, senzori de mediu (presiune, umiditate) sau senzori mecanici (accelerație, viteză)

Semnal digital:

Semnalele digitale sunt artificiale, adică ele pot fi obținute numai prin conversia unui semnal electric analogic.

Semnal discret:

Un semnal discret este același semnal analog convertit, doar că nu este neapărat cuantificat în nivel.

Prelevarea de probe- transformarea de continuu funcții V discret.

Folosit in sisteme de calcul hibrideși dispozitive digitale cu cod de puls modulare semnale în sistemele de transmisie a datelor . La transmiterea imaginilor, acestea sunt folosite pentru a transforma un continuu semnal analogîntr-un semnal discret sau discret-continuu.

7. Codificarea informațiilor. Alfabet. Cuvânt. Dicţionar. Codare binară.

1. Codarea informațiilor este de obicei folosită pentru a transforma mesajele dintr-un formular convenabil pentru utilizare imediată într-o formă convenabilă pentru transmitere, stocare sau procesare automată

Orice informație cu care funcționează tehnologia modernă de calcul este convertită în numere sistem binar Socoteala

Faptul este că dispozitivele fizice (registre, celule de memorie) pot fi în două stări, care sunt asociate cu 0 sau 1. Folosind un număr de dispozitive fizice, puteți stoca aproape orice număr din sistemul de numere binar în memoria computerului dvs. Codarea computerizată a numerelor întregi, fracționale și negative, precum și a simbolurilor (litere etc.) are propriile sale caracteristici pentru fiecare tip. Cu toate acestea, trebuie să vă amintiți întotdeauna că orice informație (numerică, text, grafică, sunet etc.) din memoria computerului este reprezentată ca numere în sistemul numeric binar (aproape întotdeauna). ÎN în sens general codificarea informațiilor poate fi definită ca traducerea informațiilor reprezentate de un mesaj în alfabetul primar într-o secvență de coduri.

De obicei, mesajele sunt transmise și înregistrate folosind o anumită secvență de simboluri - semne.

Alfabet limbajul de interpretare a mesajelor - un set finit de semne incluse în acesta, specificate de obicei prin enumerarea lor directă. Secvența finală de caractere din alfabet este numită intr-un cuvant în alfabet. Numărul de caractere dintr-un cuvânt determină lungimea cuvântului. Se formează multe cuvinte valide diferite vocabular (dictionar) alfabet. Orice alfabet are un aspect ordonat, caracterele sunt aranjate secvenţial într-o ordine strictă, astfel dicţionarul se asigură că toate cuvintele sunt ordonate alfabetic.

Lungimea codului pentru codificarea caracterelor a fost aleasă să fie de 8 biți sau 1 octet. Prin urmare, un caracter al textului corespunde unui octet de memorie.

Cu o lungime a codului de 8 biți, pot exista 28 = 256 de combinații diferite de 0 și 1, deci nu pot fi codificate mai mult de 256 de caractere folosind un singur tabel de conversie. Cu o lungime a codului de 2 octeți (16 biți), pot fi codificate 65536 de caractere. Pentru a codifica un caracter, se folosește o cantitate de informații egală cu 1 octet, adică I = 1 octet = 8 biți. Folosind o formulă care conectează numărul de evenimente posibile K și cantitatea de informații I, puteți calcula câte caractere diferite pot fi codificate K = 2I = 28 = 256, adică un alfabet cu o capacitate de 256 de caractere poate fi folosit pentru a reprezintă informații text.

Esența codificării este că fiecărui caracter i se atribuie un cod binar de la 00000000 la 11111111 sau un cod zecimal corespunzător de la 0 la 255. Același cod binar diferite simboluri sunt potrivite.

9. Cantitatea de informații. O măsură a cantității de informații și a proprietăților acesteia. Formula lui Hartley.

Cantitatea de informații – un număr care caracterizează în mod adecvat cantitatea de diversitate (set de stări, alternative etc.) din sistemul evaluat.

Măsurarea informațiilor – formula, criteriu de apreciere a cantității de informații.

Măsura informației este de obicei dată de o funcție nenegativă definită pe un set de evenimente și care este aditivă, adică măsura unei uniuni finite de evenimente (mulțimi) este egală cu suma măsurilor fiecărui eveniment. Cantitatea de informații este un număr care caracterizează în mod adecvat cantitatea de diversitate (set de stări, alternative etc.) din sistemul evaluat.