Formula entropiei informaționale. Entropia unei surse de mesaje discrete (IDS) și proprietățile acesteia

L E K C I Z Nr 29

Subiect:

Textul prelegerii disciplinare:"Teorie comunicare electrică»

Kaliningrad 2012

Textul prelegerii nr. 30

dupa disciplina:„Teoria comunicației electrice”

„Concepte de bază ale teoriei informației”

Introducere

Canalele de comunicație transmit informații convertite în semnale.

Pentru a coordona cantitatea de informații cu canalul, este necesar să învățați cum să determinați cantitatea de informații care trebuie transmisă. Fără a rezolva această problemă, este imposibil de construit sisteme moderne transmiterea de informații.

Sub termen "informație" a intelege diverse informatii care merg la destinatar. Într-o formă mai strictă, definiția informațiilor este următoarea:

informație Sunt informații care fac obiectul transmiterii, distribuției, transformării, stocării sau utilizării directe.

Pe viitor ne vor interesa doar întrebările legate de informația ca obiect de transmitere.

Mesaj este o formă de prezentare a informațiilor.

Una și aceeași informație poate fi prezentată în diferite forme. De exemplu, transfer mesaj vocal prin telefon sau poza prin canal de televiziune... În acest caz, avem de-a face cu informații prezentate în formă continuă ( comunicare continuă). Vom presupune că acest mesaj este generat de o sursă de mesaje continue. Sau transmitem mesajul prin canalul telegrafic, în acest caz este vorba asupra informațiilor furnizate în formă discretă (mesaj discret). Acest mesaj este generat de sursă mesaje discrete.

În dispozitivele și sistemele tehnice, recepția, prelucrarea și transmiterea informațiilor se realizează folosind semnale.

Semnal(din latină signum – semn) reprezintă orice proces care poartă informații.

Semnalele reflectă caracteristicile fizice ale obiectelor și proceselor studiate. Prin intermediul semnalelor, informațiile pot fi transmise pe scurt și distante lungi... Informațiile sub formă de semnal pot fi procesate în diverse moduri, stocate, distruse etc.

Există mai multe tipuri de semnale: sunet care se aude în timpul lucrului sirena politiei; ușoară transmiterea de informații de la consolă telecomandă la televizor și electric.

Principala diferență între sursele discrete și continue este după cum urmează. Setul tuturor mesajelor diferite generate de o sursă discretă este întotdeauna finit. Prin urmare, la un interval de timp finit, numărul de simboluri ale unei surse discrete este, de asemenea, finit. În același timp, numărul posibil sensuri diferite presiunea sonoră(sau tensiune in linie telefonică), măsurată în timpul unei conversații, chiar și pe o perioadă finită de timp, va fi infinită.

În cursul nostru, vom lua în considerare transmiterea de mesaje discrete.

Informațiile conținute în mesaj sunt transmise de la sursa mesajelor către destinatar prin intermediul canalului discret de transmisie a mesajelor (PDS).

Vedere semnal transmis definește tipul de canal de comunicare.

Conceptul de informație, enunțul problemei definiției sale.

Câte informații sunt conținute, de exemplu, în textul romanului „Război și pace”, în frescele lui Rafael sau în codul genetic uman? Este posibil să se măsoare obiectiv cantitatea de informații?

Este destul de dificil de definit conceptul de „cantitate de informații”. Există două abordări principale pentru a rezolva această problemă. Din punct de vedere istoric, ele au apărut aproape simultan. La sfârșitul anilor 40 ai secolului XX, unul dintre fondatorii ciberneticii, matematicianul american Claude Shannon a dezvoltat abordare probabilistică la măsurarea cantității de informații, și munca la crearea de computere a condus la Abordare volumetrică.

Abordare probabilistică

Această abordare constă în faptul că conceptul de „cantitate de informație” se bazează pe faptul că informația conținută într-un mesaj poate fi interpretată vag în sensul noutății sale sau, în caz contrar, o scădere. incertitudini cunoștințele noastre despre obiect.

Mai mult, conceptul „ informație"Contacte probabilitate implementarea cutare sau cutare eveniment.

Inginerul american R. Hartley (1928) a considerat procesul de obținere a informațiilor drept alegerea unui mesaj dintr-un set finit predeterminat de echiprobabil mesajele, iar cantitatea de informații conținute în mesajul selectat a fost determinată ca un logaritm binar.

Formula lui Hartley:

Aceeași formulă poate fi prezentată diferit:

Să presupunem că trebuie să ghiciți un număr dintr-un set de numere întregi naturale de la unu la o sută. Folosind formula Hartley, puteți calcula câte informații sunt necesare pentru aceasta:. Adică, mesajul despre numărul ghicit corect conține cantitatea de informații aproximativ egală cu.

Iată exemple de mesaje la fel de probabile: când se aruncă o monedă: „cădeau cozile”, „cădeau capete”; pe pagina cărții: „numărul de litere este par”, „numărul de litere este impar”.

Să stabilim acum dacă mesajele „femeia va fi prima care va părăsi clădirea” și „bărbatul va fi primul care va părăsi clădirea” sunt la fel de probabile. Este imposibil să răspundem fără echivoc la această întrebare. Totul depinde de ce fel de clădire vorbim. Dacă aceasta este, de exemplu, o stație de metrou, atunci probabilitatea de a ieși mai întâi pe ușă este aceeași pentru un bărbat și o femeie, iar dacă este o cazarmă militară, atunci pentru un bărbat această probabilitate este mult mai mare decât pentru o femeie.

Pentru probleme de acest gen, savantul american Claude Shannon a propus în 1948. o altă formulă pentru determinarea cantității de informații, ținând cont de posibila probabilitate inegală a mesajelor din set.

Formula lui Shannon:

Dacă probabilităţile sunt egale, atunci fiecare dintre ele este egală , iar formula lui Shannon devine formula lui Hartley.

Analiza formulei arată că cu cât probabilitatea unui eveniment este mai mare, cu atât mai puține informații apar după implementarea acestuia și invers.

Dacă probabilitatea este (adică evenimentul este valid), cantitatea de informații este ... Dacă probabilitatea apariției sau neîndeplinirii unui eveniment este aceeași, i.e. este egal cu , cantitatea de informații pe care acest eveniment o poartă cu el este egală .

Este o unitate de măsură pentru informații. Ea a primit numele pic.

Dacă evenimentul are rezultate la fel de probabile, ca într-un joc de aruncare cu monede sau zaruri, atunci probabilitatea unui anumit rezultat este , iar formula lui Shannon ia forma: .

De exemplu, să determinăm cantitatea de informații asociată cu aspectul fiecărui caracter în mesajele scrise în limba rusă. Vom presupune că alfabetul rus este format din litere și un caracter spațiu pentru a separa cuvintele. Conform formulei Hartley:

;

(1.4)

Cu toate acestea, în cuvintele limbii ruse (precum și în cuvintele altor limbi), diferite litere se găsesc inegal. Mai jos este un tabel probabilitățile frecvenței utilizării diferitelor caractere ale alfabetului rus, obținute pe baza unei analize a textelor foarte mari.

Să obișnuim să numărăm formula lui Shannon; pic. Valoarea rezultată , așa cum era de așteptat, este mai mică decât cea calculată mai devreme. Magnitudinea , calculat prin formula Hartley, este cantitatea maximă de informații care ar putea fi pe caracter.

masa ... Frecvența literelor din limba rusă

Amintiți-vă de combinația celor mai repetate litere ale alfabetului rus SENOVALITR. Această cunoaștere a fost folosită de către spărgătoare de coduri la deschiderea corespondenței secrete în diferite perioade istorice.

Calcule similare pot fi făcute pentru alte limbi, de exemplu, folosind alfabet latin- engleză, germană, franceză etc. (diverse litere și „spațiu”).

Luați în considerare un alfabet format din două caractere și ... Dacă presupunem că cu semnele şi v alfabet binar există probabilități egale de apariție a acestora , apoi cantitatea de informații pe caracter la codificare binară va fi egal cu:

;

(1.5)

Astfel, un bit poate fi definit și ca cantitatea de informații care conține un bit dintr-un număr binar (de unde și numele „bit”: b sapă inară aceasta- Cifră binară). Cu alte cuvinte, cantitatea de informații (în biți) conținută în cuvânt binar, este egal cu numărul de caractere binare din acesta.

Un pic - este cantitatea de informații pe care o poartă un caracter al sursei de mesaje discrete în cazul în care alfabetul sursei este format din două caractere la fel de probabile.

Cantitatea de informații egală cu biți numit octet.

În opt cifre, puteți scrie întreg diferit numere binare din inainte de ... Acest lucru este suficient pentru a reprezenta în formă binară informații despre alfabetul rus și latin, toate semnele de punctuație, numerele din inainte de , operații aritmetice și algebrice, precum și caractere speciale(de exemplu, § @ $).

Rețineți că creatorii computerelor dau preferință sistemului de numere binar deoarece în dispozitiv tehnic cel mai simplu este să realizezi două stări fizice opuse: un element fizic având două stări diferite: magnetizarea în două directii opuse; un dispozitiv care trece sau nu electricitate; condensator, încărcat sau neîncărcat etc.

Problema relației dintre entropie și informație a fost discutată de mult timp, de fapt, de pe vremea când a fost formulat paradoxul cu „demonul lui Maxwell”. Pentru o vreme, problema părea abstractă. Acum, însă, devine relevantă, deoarece se dovedește a fi asociat cu un complet probleme specifice: care este plata entropiei (și energiei) pentru informații, care sunt dimensiunile minime ale unei celule de informații etc.

Aceste întrebări devin deosebit de acute în legătură cu specificul biologic. În primul rând, sistemele informaționale din natura vie sunt de dimensiuni mici (microscopice). În al doilea rând, ele funcționează când temperatura normala, adică în condiții în care fluctuațiile termice nu sunt neglijabile. În al treilea rând, în biologie, memorarea și stocarea informațiilor este de o importanță deosebită. Rețineți că în tehnologie, problemele transmiterii informațiilor sunt mai relevante; pe exemplul optimizării transmisiei au fost elaborate principalele prevederi ale teoriei informaţiei. S-a acordat mai puțină atenție problemelor de recepție și stocare a informațiilor. În biologie, dimpotrivă, aceste întrebări devin primordiale.

Fără a pretinde la o definiție strictă a conceptului de „informație”, subliniem două dintre atributele sale necesare: 1) informația presupune alegerea uneia (sau mai multor) opțiuni dintre multe posibile, 2) alegerea făcută trebuie reținută. Să subliniem: a doua condiție – memorarea informațiilor – este foarte importantă. Pentru prima dată, Kastler a atras atenția asupra acestui [P26] în 1960. În procesele de transfer de informații, „memorizarea” joacă un rol mai mic decât în ​​recepția, procesarea și stocarea informațiilor. Într-adevăr, sistemul de transmitere este obligat să rețină informațiile doar pentru timpul de transmisie, care în principiu poate fi scurt. În biologie, condiția memorării pe termen lung dimpotrivă, joacă un rol important.

Cantitatea de informații se numește cantitate

unde numărul total opțiuni posibile, numărul de opțiuni selectate. Cantitatea de informații este diferită de zero dacă se știe că, din anumite motive, una dintre opțiunile a priori a fost implementată (dar nu se știe care dintre ele). Acest număr este maxim dacă este, se știe că unul a fost realizat (ales) o anumită opțiune... Cantitatea dacă

Nu se știe nimic. Baza logaritmului (adică sistem binar) selectat pentru comoditate; unitatea de informare din acest sistem este un bit; corespunde alegerii unei variante din două posibile.

Expresia (12.8) se generalizează cu ușurință în cazul în care a priori N variante pot fi realizate cu probabilități și sunt realizate a posteriori cu probabilități atunci

Alegerea sau implementarea opțiunilor a posteriori se poate face în două moduri. căi diferite; fie ca urmare a acțiunii forțelor externe - în acest caz, se vorbește despre recepția de informații dintr-un alt sistem (extern), fie în mod spontan, ca urmare a comportamentului instabil al sistemului însuși - în acest caz există o naștere (apariție) informație nouă.

Un sistem informatic ar trebui să fie capabil: a) să primească informații, b) să stocheze sau, la fel, să memoreze informații, c) să emită informații atunci când interacționează cu altul, acceptor în raport cu sistemul în cauză. De aici rezultă că sistemul informaţional trebuie să fie multistaţionar.

Numărul stărilor staţionare stabile determină capacitatea informaţională, adică. suma maxima informatii pe care sistemul le poate primi:

Sistemul trebuie să fie disipator. Aceasta înseamnă că părțile reale ale tuturor numerelor caracteristice de stări staționare sunt negative; aceasta este conditie necesara memorarea informațiilor. Un exemplu de astfel de sistem este biliardul chinezesc. Este o minge pe o placă cu laturi, găuri și știfturi. Apartenența unei mingi la o anumită gaură reprezintă informații despre starea sistemului.

La nivel microscopic (molecular), problema proiectării sistemului informațional devine nebanală. În primul rând, într-un sistem multistaționar, fiecare dintre traiectorii de fază este situată numai într-o anumită parte a spațiului de fază (în regiunea de atracție această stare). Întregul volum al fazei nu este disponibil pentru fiecare dintre traiectorii. Aceasta înseamnă că sistemul informațional nu este complet ergodic și echilibrat termodinamic. Ar trebui să existe grade de libertate dedicate care să-și păstreze valorile pentru o lungă perioadă de timp și să nu repetă peste toate cele posibile.

Să explicăm acest lucru cu exemplul biliardului chinezesc. Gradele de libertate evidențiate aici sunt coordonatele mingii. Modificarea în x și y este limitată la marginile găurilor; mingea nu se poate muta într-o altă gaură fără interferențe exterioare. în care

alte grade de libertate asociate cu vibrațiile atomilor atât ai mingii, cât și ai tablei pot (și ar trebui să continue să fie) ergodice.

În al doilea rând, condiția de disipare, așa cum am văzut, este asociată cu instabilitatea (și, prin urmare, haosul) mișcărilor microscopice. Aceasta înseamnă că gradele de libertate corespunzătoare trebuie să fie ergodice. Astfel, spațiul de fază al sistemului informațional ar trebui să fie stratificat în subsisteme ergodice și dinamice. Cu toate acestea, o astfel de stratificare nu poate fi efectuată în mod absolut strict; diferite grade de libertate sunt întotdeauna conectate între ele. Acest lucru se manifestă prin faptul că gradele dinamice (informaționale) de libertate fluctuează și există o anumită probabilitate de schimbare radicală a acestora (de exemplu, aruncarea unei mingi într-o altă gaură) sub influența unui subsistem ergodic (adică, fluctuații termice) .

În sistemele informatice macroscopice, această probabilitate este neglijabilă, dar în sistemele microscopice trebuie luată în considerare. Astfel, condițiile de multistaționaritate și disipativitate nu pot fi îndeplinite simultan în mod absolut strict; sunt optionale. Aceasta înseamnă că condiția „memorării” nu poate fi absolută; se poate vorbi doar de memorare cu o anumită probabilitate pentru un anumit timp (nu infinit de lungă). Cu alte cuvinte, un sistem informatic nu poate să-și amintească pentru totdeauna. În sistemele informaţionale reale, timpul caracteristic de memorare depinde de proiectarea acestora, de temperatură şi energie gratis.

În lumina celor de mai sus, problema relației dintre entropie și informație se dovedește a nu fi banală. Entropia fizică este logaritmul volumului de fază disponibil pentru sistem (ținând cont de convenționalitatea acestui concept - vezi mai sus), măsurat în unități în care numărul de grade de libertate și dimensiunea celulei minime (cuantice) a fazei spaţiu. Formal, entropia poate fi reprezentată ca

Mărimea este entropia, măsurată în biți; numărul de celule din spațiul fazelor. Pe de altă parte, capacitatea de informare poate fi scrisă în formular

unde este dimensiunea spațiului de fază al unei celule de informații. Compararea formulelor (12.11) și (12.12) arată că entropia și informația diferă atât în ​​​​coeficient, cât și în dimensiunea celulei.

Coincidența dintre (12.11) și (12.12) în formă a servit drept bază pentru afirmația despre identitatea conceptelor de informație și entropie. Mai precis, se argumentează că entropia lipsește informații despre starea sistemului și (sau) informațiile lipsesc entropia, adică diferența dintre entropia maximă, care

ar avea un sistem fără informații, iar entropia reală pe care o are sistemul, deținând informațiile primite. În acest sens, se folosește termenul de neo-entropie, care este considerat identic cu informația.

Mulți, însă, nu sunt mulțumiți de aceste afirmații, iar întrebarea relației dintre informație și entropie rămâne controversată.

Să discutăm problema mai detaliat.

În primul rând, este izbitoare diferența cantitativă mare dintre informațiile conținute în sistem și entropia acestuia.

Blumenfeld (vezi [P61) pe o serie de exemple biologice (celulă, organism etc.) a arătat că entropia conținută într-un obiect este de multe ori (de câteva ordine de mărime) mai mare decât informațiile disponibile pentru acesta. Diferența este și mai mare în sistemele informaționale moderne nevii (de exemplu, într-un text tipărit, entropia depășește informația de aproximativ 1010 ori).

O diferență cantitativă atât de mare nu este întâmplătoare. Este legat de faptul că volumul spațiului de fază al celulei informaționale este mare în comparație cu valoarea acesteia din urmă, datorită faptului că celula informațională trebuie să conțină un subsistem ergodic și, prin urmare, să ocupe un spațiu mare (în comparație). cu celula unitară) volum.

Astfel, diferența dintre scările de entropie și informație nu este întâmplătoare, ci este asociată cu diferența lor fundamentală. Entropia este o măsură a setului acelor stări ale sistemului în care sistemul ar trebui să uite de a se afla; informația este o măsură a setului acelor stări în care sistemul trebuie să-și amintească să fie.

Să vedem cum sunt legate schimbările de entropie și informații folosind exemplul biliardului chinezesc. Să ne limităm considerația la durata de viață a sistemului. Cert este că orice sistem informațional, fiind neechilibrat, se relaxează și se prăbușește în funcție de gradele structurale de libertate, adică încetează să mai fie informațional.

Timpul de relaxare structurală este mai mare decât (sau egal cu) timpul de memorare. În exemplul nostru, vorbim despre distrugerea spontană a barierelor dintre găuri; timpul caracteristic acestui proces este suficient de lung. În acest timp, gradele structurale de libertate nu se modifică, prin urmare, ele nu contribuie la entropie. (O parte din spațiul de fază asociat cu aceste grade de libertate este inaccesibilă în acest moment.) În acest caz, entropia este asociată doar cu gradele de libertate, care se relaxează rapid. Comportamentul lor nu depinde de care dintre găurile se află mingea și dacă este plasată în vreo gaură sau se află lângă ea. Entropia fizică a sistemului este aceeași în toate cazurile, dar cantitatea de informații este diferită: este egală cu zero dacă mingea nu este plasată în gaură și egală dacă se află într-o anumită gaură.

Procesul de primire a informațiilor (în cazul nostru, plasarea unei mingi într-o anumită gaură) necesită cheltuieli de muncă care se transformă în căldură (altfel recepția nu ar fi ireversibilă). În consecință, la recepție, entropia fizică a sistemului crește (cu cantitate și în același timp

informația crește (cu cantitatea De obicei, dar în rest nu sunt conectate în niciun fel. Astfel, la primirea informațiilor, raportul nu este respectat.

Situația este ceva mai complicată în cazul apariției unor noi informații. Un sistem capabil să genereze informație trebuie să aibă toate proprietățile informației și, în plus, să satisfacă condiția: un anumit strat al spațiului său de fază trebuie să fie zgodic, inclusiv gradele de libertate (informaționale) selectate. În acest caz se pun condițiile inițiale pentru generarea spontană a informațiilor.

Un exemplu este același biliard chinezesc cu ace. Dacă la început energia cinetică a mingii este suficient de mare (mai multe bariere între găuri), atunci mingea se mișcă peste bord fără să se blocheze în găuri. Datorită instabilității reflexiei din ac de păr (au rolul de suprafețe concave la biliardul Sinai, Fig. 12.2), mișcarea mingii este stocastică și condițiile inițiale sunt repede uitate. Cu o scădere a energiei cinetice (datorită disipabilității sistemului, în în acest caz din cauza frecării și ciocnirilor) până la o valoare de ordinul înălțimii barierei, bila cade în regiunea de atracție a uneia dintre găuri și rămâne în ea. Astfel, starea selectată este „rememorată”, adică nașterea informației. Același principiu este folosit în ruletă și alte mașini de jocuri.

În toate aceste cazuri, criteriul de separare a stratului ergodic condiții inițiale din stratul informațional este valoarea energiei libere inițiale (la biliard, aceasta este energia cinetică a mingii). De asemenea, determină creșterea entropiei sistemului în procesul de generare a informațiilor. Să estimăm valoarea Dacă capacitatea de informare a sistemului este mică: atunci principala constrângere de jos este condiția în care se află bariera dintre găuri. Barierele determină timpul de „memorizare” în funcție de raport

Pentru o valoare (macroscopică) suficient de mare a lui c, bariera este

Astfel, în acest caz, creșterea entropiei pe un bit de informație este egală cu

sau în unități de informare:

În cazul în care capacitatea de informare este mare (adică trebuie luată în considerare o altă condiție: înainte ca o anumită stare să fie „selectată”, sistemul trebuie să viziteze cel puțin o dată în zona de influență a fiecăreia dintre stările posibile. .

Lăsați energia să se disipeze în timpul trecerii fiecăreia dintre stări. Valoarea minimă este de ordinul energiei fluctuațiilor termice: În acest caz, este limitată de jos de condiția

În acest caz, creșterea entropiei pe bit de informație este egală cu

Astfel, în cazul în care apare o informație, este necesar să se „plătească” pentru aceasta cu o creștere a entropiei, astfel încât, totuși, relații de tipul „o creștere a informației este egală cu o scădere a entropiei” să nu aibă loc. fie in acest caz.

Să discutăm despre situația care apare dacă renunțăm la condiția stocării informațiilor. În acest caz, putem vorbi despre informații despre valori instantanee coordonatele și momentele tuturor atomilor sistemului. Pentru a distinge această „informație” de cea reală (memorată), Lizer a propus termenul de microinformație, informația memorată fiind denumită macroinformație.

Dacă se știe că în acest moment sistemul se află într-una (dintre posibilele) celulă definită a spațiului de fază, atunci cantitatea de microinformații este maximă și este egală cu

În acest caz, entropia sistemului este egală cu zero, deoarece toate celelalte celule în acest moment pot fi considerate „inaccesibile”.

Dacă se știe că sistemul se află în prezent în oricare dintre celule posibile, dar nu se știe în ce, atunci microinformația este egală cu zero, iar entropia este maximă și este egală cu

Dacă se știe că în acest moment sistemul se află într-una (oricare) celule, atunci

și există o relație simplă între microinformație și entropie:

Microinformațiile, în principiu, pot fi convertite în macroinformații prin primirea alteia Sistem informatic... De exemplu, prin fotografiarea unui model de mișcare browniană, coordonatele instantanee ale particulelor pot fi capturate (memorizate) pe film fotografic. Aceste informații pot fi apoi utilizate pentru orice (chiar și fără legătură cu mișcarea particulelor)

obiective. Este important ca în acest caz, în procesul de recepție (transformarea microinformației în macro-, munca trebuie cheltuită și entropia întregului sistem trebuie crescută cu o cantitate care depășește în mod evident cantitatea de informații stocate.

Acest proces - transformarea microinformației în macroinformații și utilizarea acesteia pentru control - este cel care stă la baza paradoxului cu „demonul lui Maxwell”. Rezoluția sa este că procesul de primire a microinformației și de utilizare a acesteia pentru control este însoțit de o creștere a entropiei întregului sistem / depășirea informațiilor.

În legătură cu astfel diferenta semnificativaîntre micro- și macroinformații se folosesc și două concepte de entropie. Alături de entropia fizică, se folosește entropia informațională, care este definită ca

unde este numărul de macrostări staționare stabile, despre care se știe că sistemul se află într-una dintre ele (dar nu se știe în care).

Conform definiției, entropia informației este legată de informație prin raport

O creștere a informației (în timp ce menținerea acesteia este întotdeauna însoțită de o scădere egală a entropiei informaționale. Entropia informațională este convenabil de utilizat când vine vorba de apariţia informaţiilor şi de ordonarea sistemului. În acest sens este folosit în cap. 2. Subliniem că această cantitate, în general, nu este legată de entropia fizică.

Deci, baza diferenței dintre entropia fizică și informație (atât calitativ, cât și cantitativ) este condiția de memorare și volumul mare de spațiu de fază rezultat al celulei informaționale în comparație cu cel elementar.

Este interesant să se estimeze dimensiunea „stocului”. Este dificil să faci asta în termeni generali acum. Se poate crede însă că în natura vie dimensiune optimă(adică minim, dar satisfăcător). Poate fi estimat folosind date reale.

Într-o moleculă de ADN, o celulă care conține doi biți de informație este o pereche de nucleotide complementare. Conține aproximativ atomi. Entropia asociată cu gradele de libertate vibraționale este un bit, sau entropia per bit de informație este de aproximativ 60 de biți. Prin urmare, volumul spațiului de fază pe bit este egal cu

Adnotare: Se introduce conceptul de entropie. Mai multe exemple arată cum se calculează entropia unei variabile aleatoare discrete. Este introdus conceptul de codificare a prefixelor. Sarcini pentru muncă independentăîmbunătățirea percepției materialului. De asemenea, multe studii matematice diferite

Entropie d.s.c. este minimul numărului mediu de biți care trebuie transmiși pe canalul de comunicație despre valoarea curentă a unui anumit d.s.v.

Luați în considerare un exemplu (curse de cai). Cursa implică 4 cai cu șanse egale de câștig, adică. probabilitatea ca fiecare cal să câștige este de 1/4. Să vă prezentăm d.s.v. egal cu numărul calului câștigător. Aici . După fiecare cursă, va fi suficient să transmiteți două biți de informații despre numărul calului câștigător prin canale de comunicare. Codăm numărul calului astfel: 1-00, 2-01, 3-10, 4-11. Dacă introducem o funcție care returnează lungimea codificării mesajului valoarea stabilită, apoi m. este lungimea medie a mesajului de codificare. Poate fi definit formal prin două funcții, în care fiecare valoare este asociată cu un cod de biți, în plus, unu-la-unu și returnează lungimea în biți pentru orice cod specific. În acest exemplu .

Acum lăsați d.s.v. are următoarea distribuție

Acestea. calul numărul 1 este favorit. Atunci

Să codificăm numerele de cai: 1-0, 2-10, 3-110, 4-111, adică. astfel încât fiecare cod să nu fie un prefix al altui cod (o astfel de codificare se numește codificare prefix). În medie, în 16 serii, primul cal trebuie să câștige 12 dintre ele, al 2-lea în 2, al 3-lea în 1 și al 4-lea în 1. Astfel, lungimea medie a mesajului câștigător este egală cu biți/sim sau m. Despre. ... Într-adevăr, acum este dat de următoarea distribuție de probabilitate:,,. Prin urmare,

Asa de, .

Se poate dovedi că nu există o codificare mai eficientă pentru cele două cazuri luate în considerare.

Ce Entropia Shannon corespunde ideii intuitive de măsurare a informațiilor, poate fi demonstrată în experiment pentru a determina timpul mediu al reacțiilor mentale. Experimentul constă în faptul că una dintre lămpi este aprinsă în fața persoanei testate, lucru pe care acesta trebuie să-l indice. Se efectuează o serie mare de teste în care fiecare bec este aprins cu o anumită probabilitate. , unde este numărul becului. Se pare că timpul mediu necesar pentru răspunsul corect al subiectului este proporțional cu valoarea entropiei , și nu numărul de becuri, așa cum s-ar putea crede. În acest experiment, se presupune că, cu cât o persoană primește mai multe informații, cu atât va fi mai lung timpul de procesare și, în consecință, reacția la aceasta.

Exercițiul #13 Aflați entropia d.s.v. și lungimea medie a fiecăruia dintre codurile date pentru acest d.s.v.

Exercițiul #14 d.s.c. este egal cu numărul de „steme” aruncate pe două monede perfecte. Găsiți entropia. Veniți cu un cod minim pentru, calculați lungimea medie a acestuia și justificați-i minimalitatea.

Exercițiul 15 d.s.c. dat de distribuție, Găsiți entropia acestui d.s.v. Veniți cu un cod minim pentru, calculați lungimea medie a acestuia și justificați-i minimalitatea.

Exercițiul #16 Despre d.s.v. se ştie că semnificaţiile sale sunt litere chirilice. Au fost efectuate o serie de măsurători succesive, al căror rezultat este „TEORIA INFORMAȚIILOR”. Pe baza acestui rezultat, întocmește o lege aproximativă a distribuției de probabilitate a acestui d.s.v. și estimați lungimea medie minimă a codurilor pentru.

Informații semantice

În anii 50 ai secolului XX au apărut primele încercări de a determina conținutul informațional absolut al propozițiilor în limbaj natural. Este de remarcat faptul că Shannon însuși a remarcat odată că sensul mesajelor nu are nimic de-a face cu teoria sa informațională, care este construită în întregime pe prevederile teoriei probabilității. Dar metoda sa de a măsura cu acuratețe a informațiilor a sugerat posibilitatea existenței unor modalități de a măsura cu acuratețe mai mult informațiile. vedere generala, de exemplu, informații din propoziții în limbaj natural. Un exemplu de una dintre astfel de măsuri este o funcție, unde este o propoziție, al cărei conținut semantic este măsurat, -

INTERCONECTAREA ENTROPIEI ȘI INFORMAȚIILOR. Prima definiție strictă a informațiilor a fost dată de omul de știință american K. Shannon în 1948. El a definit-o ca o măsură de reducere a incertitudinii, i.e. selecţie elementele necesare din unele din totalitatea lor. Aceasta însemna atât incertitudinea cunoștințelor despre obiecte, cât și incertitudinea obiectului însuși. Cu alte cuvinte, în această înțelegere, informația este informație care înlătură incertitudinea care exista înainte de a fi primită. Alături de abordarea probabilistic-statistică se poate da o altă definiţie a informaţiei bazată pe combinatorie. Cu această abordare, propusă în 1956 de neurofiziologul englez W. Ashby, informația este definită nu ca eliminarea incertitudinii, ci ca eliminarea uniformității, a identității. Măsura cantității de informații în acest caz este gradul de diversitate a elementelor sistemului sau a informațiilor despre acesta. Unitatea de măsură a cantității de informații este un bit, care corespunde alegerii uneia dintre două stări egal posibile sau a două probabilități egal posibile. Informația are proprietatea aditivității: cantitatea totală de informații necesare pentru a rezolva două probleme este egală cu suma informațiilor separate. Prin urmare, dacă este dat numărul de rezultate la fel de probabile ale problemei, atunci informația este proporțională cu logaritmul natural al acestui număr.

Din termodinamică se știe că măsura lipsei de informații despre unii sistem fizic este entropia. Paralelismul evident al definițiilor informației și entropiei i-a permis lui L. Brillouin să stabilească o legătură între informație și scăderea corespunzătoare a entropiei. Pentru a elimina semnul minus din formula care afișează această relație, a introdus Brillouin termen nou- negentropie, sau entropie negativă. Astfel, a fost formulat principiul negentropiei informației, care poate fi considerat ca o generalizare a principiului Carnot - a doua lege a termodinamicii: în orice proces real, informația se degradează, iar negentropia scade.

De remarcat, însă, că analiza legătura matematicăîntre entropie și informație a fost efectuată de Brillouin doar pentru cazul microinformației, care se referă la procese la nivel molecular. Nu există niciun motiv pentru a extinde formula sa la cazul macroinformațiilor. Greșeala a crescut ulterior la nivelul generalizărilor filozofice.

În ceea ce privește definiția macroinformației, este convenabil să folosim definiția propusă de G. Kastler: informația este o alegere aleatorie memorată a opțiunilor dintre cele posibile și la fel de probabile. Această definiție depășește în esență cadrul raționalității clasice: din punctul de vedere al abordării mecaniciste, mișcarea nu poate fi realizată în opțiuni alternative, nu există libertate de a alege între ele.

Cerința de memorare a informațiilor inclusă în definiția lui Kastler înseamnă că vorbim despre un sistem de neechilibru, deoarece un sistem de echilibru are o singură stare și nu își poate aminti nimic. Dimpotrivă, un sistem de neechilibru capabil să formeze structuri disipative descrise de sinergetice posedă această capacitate.

Definiția informației, conform lui Kastler, nu epuizează bogăția semantică a acestui concept. Datorită naturii multiple a acestui concept, definiția sa științifică generală este încă absentă. Potrivit lui N.N. Moiseev, o astfel de definiție este cu greu posibilă.

Unul dintre aspectele importante ale informației este bogăția informațională a semnalelor. Fluxurile de energie și substanțe mențin starea sistemului, iar fluxurile de informații purtate de semnale îl controlează și organizează funcționarea acestuia. Semnalele pot îndeplini această funcție dacă conțin text bogat în informații care poate fi decodat la sistemul de recepție. Entropia termodinamică în procesele de transfer de informații crește în mod natural.

Luând în considerare problemele lui V.E. si si. Din cauza acestor dificultăţi, se întâlnesc adesea afirmaţii filozofice şi metodologice eronate: a) informaţia este una dintre proprietăţile materiei, este omniprezentă şi este cuprinsă în fiecare obiect material; b) sunt două reciproc caracteristici suplimentare fenomene reale - negentropia, sau informația, ca măsură a ordinii și entropia ca măsură a dezordinei.

Prima afirmație contrazice înțelegerea informației ca proces, iar a doua este o consecință a încercărilor de a extinde principiul negentropiei Brillouin la cazul macroinformației.

Desigur, orice proces de obținere a macroinformațiilor este asociat cu o schimbare a entropiei. Cu toate acestea, relația dintre ele este cel mai adesea vagă și, în multe cazuri, de asemenea, neliniară. Nu există niciun motiv să vorbim despre existența unei anumite relații cantitative între informațiile referitoare la un anumit sistem și o modificare a entropiei acestui sistem.

Literatură:

I. V. Melik-Gaikazyan Procesele informaționale si realitate. M., 1957.

Dicţionar de termeni filosofici. Ediție științifică Profesorul V.G. Kuznetsova. M., INFRA-M, 2007, p. 80.

Cum putem măsura informațiile într-un eveniment? Câte informații ne oferă evenimentul? Să răspundem la aceste întrebări cu exemple.

Exemplul F.1

Imaginează-ți o persoană care stă într-o cameră. Privind pe fereastră, poate vedea clar că soarele strălucește. Dacă în acest moment primește un mesaj (eveniment) de la un vecin care îi spune „Bună ziua”, acest mesaj conține vreo informație? Desigur că nu! Persoana este deja sigură că aceasta este ziua și că vremea este bună. Comunicarea nu diminuează incertitudinea cunoștințelor sale.

Exemplul F.2

Imaginați-vă că o persoană a cumpărat un bilet de loterie. Dacă un prieten sună pentru a spune că a câștigat premiul I, acest mesaj (eveniment) conține informații? Desigur ca da! Mesajul conține multe informații deoarece probabilitatea de a câștiga premiul I este foarte mică. Destinatorul mesajului este șocat.

Cele două exemple de mai sus arată că există o relație între utilitatea unui eveniment și așteptările receptorului. Dacă receptorul este scos din scenă atunci când are loc evenimentul, mesajul conține o mulțime de informații; altfel nu este. Cu alte cuvinte, continutul informativ mesajele sunt invers legate de probabilitatea ca mesajul să apară. Dacă evenimentul este foarte probabil, acesta nu conține nicio informație (Exemplu F.1); dacă este puțin probabil, conține o mulțime de informații (Exemplu F.2).

F.2. Entropie

Să presupunem că S este distribuția de probabilitate a unui număr finit de evenimente (vezi Anexa D). Entropia sau incertitudinea în S poate fi definită ca:

unde este rezultatul posibil al unui test. Vă rugăm să rețineți că dacă. P (s) = 0, atunci vom presupune că P (S) x este egal cu 0 pentru a evita împărțirea cu 0.

Exemplul F.3

Să presupunem că aruncăm moneda corectă. Rezultatele sunt cap și coadă, fiecare cu probabilitate 1/2, adică

H (S) = P (capete) x + P (cozi) x H (S) = (1/2) x = 1 bit

Acest exemplu arată că rezultatul aruncării monedei corecte ne oferă 1 bit de informație (incertitudine). De fiecare dată când aruncăm, nu știm care va fi rezultatul, deoarece cele două posibilități sunt la fel de probabile.

Exemplul F.4

Să presupunem că aruncăm moneda greșită (deteriorată). Rezultatele căderii „capetelor” și „cozilor” sunt următoarele: P („capete”) = 3/4 și P („cozi”) = 1/4. Înseamnă că

H (S) = (3/4) x + (1/4) x = 0,8 biți

Acest exemplu arată că rezultatul aruncării unei monede greșite ne oferă doar 0,8 biți de informații (incertitudine). Cantitatea de informații aici mai putin de cantitatea de informațiiîn Exemplul F.3, deoarece ne așteptăm să obținem capete Mai mult ori decât „cozi”.

Exemplul F.5

Acum să presupunem că aruncăm o monedă complet greșită în care rezultatul este întotdeauna „capete”, P („capete”) = 1 și P („cozi”) = 0. Entropia în acest caz

H (S) = (1) x + (0) x = (1) x (0) + (0) = 0

Nu există informații (incertitudine) în acest experiment. Știm că rezultatul va fi întotdeauna „capete”; entropie - 0.

Entropia maximă

Se poate arăta că pentru o distribuție de probabilitate cu n rezultate posibile, entropia maximă poate fi atinsă numai dacă toate probabilitățile sunt egale (toate rezultatele sunt la fel de probabile). În acest caz, entropia maximă

H max = log 2 n biți

Cu alte cuvinte, entropia oricărui set de probabilități are o limită superioară, care este determinată de această formulă.

Exemplul F.6

Să presupunem că arunci un zar hexagonal. Entropia testului este

Entropia minimă

Se poate arăta că pentru o distribuție de probabilitate cu n rezultate posibile, entropia minimă se obține dacă și numai dacă unul dintre rezultate este obținut tot timpul. În acest caz, entropia minimă

H min (S) = 0 biți

Cu alte cuvinte, această formulă definește limita inferioară a entropiei pentru orice set de probabilități.

Entropia oricărui set de probabilități este între 0 bit și log 2 n cam unde n - numărul de rezultate posibile.

Interpretarea entropiei

Entropia poate fi considerată ca fiind numărul de biți care pot reprezenta fiecare rezultat dintr-un set de probabilități, atunci când rezultatele sunt la fel de probabile. De exemplu, atunci când este posibil distribuție aleatorie are opt rezultate posibile, fiecare rezultat poate fi reprezentat ca trei biți (de la 000 la 111). Când obținem rezultatul experimentului, putem spune că am obținut 3 biți de informații. Entropia acestui set de probabilități este de asemenea de 3 biți (ln 2 8 = 3).

Entropia comună

Când avem două seturi de distribuții de probabilitate, S 1 și S 2, putem defini entropia comună H (S 1, S 2) ca

Entropia condiționată

De multe ori trebuie să cunoaștem incertitudinea distribuției de probabilitate S 1, cu condiția să se obțină un rezultat, care este determinat de incertitudinea distribuției de probabilitate S 2. Se numește entropia condiționată H (S 1 | S 2). Se poate dovedi că

H (S 1 | S 2) = H (S 1, S 2) - H (S 2) bit

Alte rapoarte

Aici, fără dovezi, prezentăm câteva alte relații pentru entropie:

1. H (S 1, S 2) = H (S2 | S 1) + H (S 1) = H (S 1 | S 2) + H (S2)
2. H (S 1, S 2)<= H (S 1) + H (S2)
3. H (S 1 | S 2)<= H (S 1)
4. H (S 1, S2, S3) = H (S 1 | S2, S3) + H (S 1, S3)

A doua și a treia relație sunt valabile dacă S 1 și S 2 sunt independente statistic.

Exemplul F.7

În criptografie, dacă P este distribuția de probabilitate a textului original, C este distribuția de probabilitate a textului cifrat și K este distribuția de probabilitate a cheilor, atunci H (K | C) poate fi interpretată ca complexitatea atacului textului cifrat. , în care cunoașterea lui C poate duce la cunoașterea lui K.

Exemplul F.8

În criptografie, având în vedere textul original și cheia, un algoritm de criptare determinist creează un text cifrat unic, ceea ce înseamnă H (C | K, P) = 0. De asemenea, având în vedere textul cifrat și algoritmul de decriptare a cheii, este generat un text original unic, ceea ce înseamnă H (P | K, C) = 0. Dacă sunt date textul cifrat și textul original, cheia este, de asemenea, determinată în mod unic: H (K | P, C) = 0.

Secret perfect

În criptografie, dacă P, K și C sunt spațiile de eșantionare probabilă ale textului original, textului cifrat și, respectiv, cheii, atunci avem H (P | C)<=H (P) . Это может быть интерпретировано так: неопределенность P данного C меньше или равна неопределенности P . В большинстве криптографических систем, справедливо отношение H (P|C)< H (P) , что означает, что перехват зашифрованного текста уменьшает знание, которое требуется для того, чтобы найти исходный текст. Криптографическая система обеспечивает secretul perfect dacă se respectă relația H (P | C) = H (P), aceasta înseamnă că incertitudinea textului sursă și a textului cifrat dat este aceeași incertitudine a textului sursă. Cu alte cuvinte, Eva nu primește nicio informație prin interceptarea textului cifrat; ea mai trebuie să exploreze toate opțiunile posibile.

Sistemul criptografic asigură un secret perfect dacă H (P | C) = H (P).

Exemplul F.9

În prelegerile anterioare am argumentat că de unică folosință cifru blocnotes oferă intimitate perfectă. Să demonstrăm acest fapt folosind relațiile de entropie anterioare. Să presupunem că alfabetul este doar 0 și 1. Dacă lungimea mesajului este L, se poate dovedi că cheia și textul cifrat constau din 2 L caractere, în care fiecare caracter este la fel de probabil. Prin urmare, H (K) = H (C) = log 2 2 L = L. Folosind relațiile obținute în Exemplul F.8 și faptul că H (P, K) = H (P) + H (K) deoarece P și K sunt independente, avem

H (P, K, C) = H (C | P, K) + H (P, K) = H (P, K) = H (P) + H (K) H (P, K, C) = H (K | P, C) + H (P, C) = H (P, C) = H (P | C) + H (C)

Aceasta înseamnă că H (P | C) = H (P)

Exemplul F.10

Shannon a arătat că într-un sistem criptografic, dacă (1) cheile apar cu probabilitate egală și (2) există o cheie unică pentru fiecare text sursă și fiecare text cifrat, atunci sistemul criptografic asigură secretul perfect. Dovada folosește faptul că, în acest caz, distribuțiile de probabilitate ale cheilor, textul original și textul cifrat sunt de aceeași dimensiune.

F.3. Entropia limbajului

Este interesant să relaționăm conceptul de entropie cu limbile naturale, cum ar fi engleza. În această secțiune, atingem câteva puncte legate de entropia limbajului.

Entropia unui limbaj arbitrar

Să presupunem că o limbă folosește N litere și toate literele au o probabilitate egală de apariție. Putem spune că entropia acestui limbaj este H L = log 2 N. De exemplu, dacă folosim douăzeci și șase de litere mari (de la A la Z) pentru a transmite mesajul nostru, atunci