Mijloace electronice de colectare, prelucrare și afișare a informațiilor. Măsură logaritmică binară

Trimiteți-vă munca bună în baza de cunoștințe este simplu. Utilizați formularul de mai jos

Studenții, studenții absolvenți, tinerii oameni de știință care folosesc baza de cunoștințe în studiile și munca lor vă vor fi foarte recunoscători.

Despre justificarea măsurii logaritmice a informaţiei

Teoria informației a depășit acum cadrul îngust al sistemelor de comunicație, unde a fost aplicată inițial, și a început să fie utilizată pe scară largă în domenii netradiționale precum fizica, teoria sistemelor, teoria controlului, biologia, matematica. A găsit o aplicare deosebit de largă în domenii relativ noi ale științei, cum ar fi informatica, teoria automatelor și protecția datelor.

Prin urmare, este necesară o analiză suplimentară a fundamentelor teoriei informației pentru a pătrunde în esența acesteia, care astăzi rămâne în mare parte misterioasă, și pentru a identifica noi posibilități de aplicare a acesteia pentru rezolvarea problemelor practice.

Cea mai importantă problemă pe baza căreia se construiește cutare sau cutare teorie a informațiilor este alegerea măsurii informaționale.

Este determinată în mare măsură de acele obiecte, a căror analiză vizează teoria dezvoltată.

În prezent, măsurile Hartley și Shannon sunt cele mai utilizate pe scară largă în teoria informației, iar într-un număr de cazuri măsura Hartley este prezentată ca un caz special al măsurii Shannon.

Totuși, conform scopului său, măsura Hartley are o diferență semnificativă față de măsura Shannon, întrucât prima are ca scop studierea proceselor deterministe (improbabile) de lungime finită, iar a doua este analiza proceselor probabilistice de orice durată, pentru analiză. din care se folosesc metode statistice.

În consecință, teoria informațiilor care utilizează una sau alta dintre aceste măsuri se numește teoria informațiilor structurale sau statistice.

Finitudinea lungimilor seturilor de date analizate conduce, respectiv, la posibilitatea numărării numărului acestora prin simplă enumerare sau folosirea oricăror metode matematice, precum și la utilizarea unor metode de improbabilitate cunoscute pentru analiza informațiilor, de exemplu, teoria predicate finite sau teoria grupurilor. Ca urmare, în teoria informației structurale de astăzi s-au obținut metode de codificare care nu pot fi dezvoltate pe baza teoriei informațiilor statistice.

În același timp, teoria statistică permite obținerea de teoreme limită și efectuarea analizei informațiilor mesajelor pe baza unui set de date statistice, mai degrabă decât analiza fiecărui mesaj separat, așa cum este cazul în teoria informațiilor structurale.

Măsura logaritmică care stă la baza teoriei structurale a informației, unde și sunt numere pozitive de lungime finită, care nu sunt egale cu 0 și, de asemenea, nu sunt egale cu 1, propusă de Hartley în 1928, nu a fost fundamentată logic de acesta, ci a fost introdusă pe baza unor considerente intuitive. Mai mult, ceea ce este important, în această formă, poate lua atât valori pozitive, at, cât și negative, at.

În prezent, se justifică prin proprietatea aditivității sale, care se manifestă prin faptul că informațiile generale generate în comun de două surse de informații și sunt egale cu suma informațiilor separate și din fiecare dintre ele, așa cum se arată, de exemplu, , în.

Într-adevăr, dacă fiecare dintre cele două surse generează și mesaje, respectiv, atunci numărul lor total

Luând logaritmul expresiei (1), obținem egalitatea

ceea ce demonstrează proprietatea de aditivitate a măsurii informaţionale Hartley.

Să luăm în considerare o altă justificare a măsurii Hartley aplicată problemelor de căutare (continue și discrete).

O caracteristică a problemelor de căutare discretă este caracterul finit al setului inițial de obiecte, reprezentând cu probabilitate egală soluții posibile la problema de căutare discretă, printre care se presupune că există una dorită. Căutarea sa se realizează în procesul de rezolvare a unei probleme discrete, așa cum se întâmplă, de exemplu, în binecunoscuta problemă a vânzătorului ambulant.

În această problemă, obiectul dorit este o rută de lungime minimă, aleasă dintr-un număr finit inițial de rute posibile.

Rezolvarea acestor probleme, într-un fel sau altul, este în proces de partiții secvențiale ale setului inițial de obiecte posibile - soluții în clase de echivalență și testarea fiecăreia dintre ele pentru prezența obiectului dorit în el. În procesul de testare, incertitudinea cu privire la prezența obiectului dorit este eliminată, însoțită de generarea unei cantități adecvate de informații.

Un caz special de împărțire va fi atunci când obiectele posibile inițiale sunt împărțite în clase de echivalență, astfel încât să conțină un număr strict egal de obiecte întregi.

Evident, astfel de partiții sunt posibile numai dacă

unde este numărul maxim de partiții înainte de apariția unei clase cu un singur obiect.

Dacă luăm ca măsură a informației în acest caz, atunci aceasta coincide exact cu măsura Hartley logaritmică, luată de bază:

Astfel, numărul de partiții într-o căutare discretă echiprobabilă a unui obiect dintre posibile este o măsură logaritmică a informațiilor Hartley și, invers, măsura Hartley reprezintă, pentru cazul în cauză, numărul de partiții uniforme ale unui set de obiecte în clase de echivalență până când apare una dorită.

În cazul general, la împărțirea setului original format din obiecte în clase de echivalență, fiecare dintre ele poate conține obiecte și, în consecință, probabilitatea de a găsi obiectul dorit într-una sau alta clasă este egală cu

în care.

Formula lui Shannon pentru entropie, care determină măsura incertitudinii de a găsi obiectul dorit într-o anumită clasă de echivalență înainte de testare, în timpul primei partiții

unde afirmă că valoarea entropiei atinge un maxim pentru prima partiție

când obiectul dorit se găsește în clase de echivalență cu probabilități egale

În acest caz.

În consecință, cantitatea maximă de informații generate de test în procesul de eliminare a entropiei va fi, de asemenea, egală cu această valoare.

În mod similar, pe partițiile rămase, dacă probabilitățile de găsire a obiectului dorit în noile clase de echivalență sunt egale, se va obține cantitatea maximă de informații, egală cu 1.

Rezultă de aici că pentru a obține maximum de informații generate de test, este necesară împărțirea acestora în clase de echivalență cu un număr egal de obiecte în fiecare dintre ele în procesul de scindare a unui set de obiecte.

Deoarece măsura Hartley în legătură cu problema luată în considerare utilizează doar astfel de partiții, aceasta înseamnă că determină cantitatea maximă posibilă de informații obținute în procesul de căutare a unui obiect discret și, dacă este așa, atunci numărul de partiții și , în consecință, timpul de căutare ar trebui să fie minim în comparație cu orice alte partiții posibile. Aceasta este tocmai caracteristica fundamentală a măsurării informaționale Hartley.

În fig. 1 prezintă un arbore cu 3 partiții uniforme în 2 clase de echivalență a obiectelor originale. Vârfurile sale conțin numărul de obiecte conținute în clasele de echivalență obținute. În acest caz, cantitatea maximă de informații este generată la fiecare vârf.

suma tuturor partițiilor este un bit constitutiv.

Figura 1 - Arborele partițiilor uniforme cu,

Evident, numărul de partiții uniforme pentru acest caz este minim.

Un alt arbore de partiție din fig. 2 pentru partițiile neuniforme ale obiectelor în 2 clase de echivalență are numărul mediu de partiții de-a lungul tuturor căilor posibile ale partițiilor

care este mai mare decât numărul mediu de partiții, egal cu cel obținut în exemplul anterior.

Acest lucru se datorează faptului că cantitatea de informații generată la fiecare partiție în conformitate cu formula lui Shannon (6) este mai mică de 1 bit, adică timpul de căutare pentru obiectul dorit nu este minim.

În acest caz, trebuie îndeplinită regula de bază a regăsirii informațiilor, pe care o vom formula după cum urmează.

Cantitatea de informații necesare pentru a căuta un întreg obiect dorit nu depinde de metoda de împărțire a setului original de obiecte în clase de echivalență și rămâne constantă și egală.

Aceasta înseamnă că indiferent de arborele de partiționare al setului inițial de obiecte, cantitatea necesară de informații pentru a găsi unul dintre ele va fi întotdeauna aceeași -.

Figura 2 - Arborele partițiilor neuniforme pentru și

Partițiile în clase de echivalență sunt larg răspândite în practică. Astfel, codificarea pozițională a cuvintelor și numerelor se bazează pe acestea, ceea ce are loc în procesul de împărțire secvențială a mulțimilor lor originale în clase de echivalență folosind litere și numere care reprezintă caracteristicile acestor clase. Împreună, aceste litere și numere formează alfabete, iar numărul în care sunt împărțite seturile originale de cuvinte și numere reprezintă cardinalitățile acestor alfabete. Numărul de partiții determină lungimea cuvintelor și a numerelor.

În consecință, fiecare literă sau cifră a unui cuvânt sau număr indică clasa de echivalență căreia îi aparțin în această sau acea partiție.

Principala expresie pentru teoria informației propusă de Shannon este

Ea afirmă în legătură cu problema de căutare că cantitatea de informație produsă în procesul său este egală cu diferența dintre entropia inițială.

obiectul dorit și rezidual

unde este numărul rezidual de obiecte, printre care se numără și cel dorit.

Evident, în procesul de partiții și testare, numărul scade și, în cele din urmă, cu

Ultima expresie reprezintă o condiție importantă, care se formulează ca principiu al unitarității.

Esența sa se rezumă la faptul că informații complete despre un obiect vor fi obținute dacă și numai dacă un întreg obiect este găsit în procesul de căutare.

Dacă, atunci aceasta indică faptul că informațiile despre obiect sunt transmise parțial către receptor.

Un caz special va fi pentru care. Căci are o valoare negativă - și, în consecință

Aceasta înseamnă că în cazul luat în considerare, când, în timpul testării, sunt generate informații suplimentare despre detaliile obiectului aparținând claselor de echivalență acum noi, neexplorate anterior. Această procedură de detaliere a unui obiect poate dura o perioadă nedefinită de mult. De exemplu, în arborele partițiilor din Fig. 1 după un vârf (clasa de echivalență) care conține un obiect după a treia partiție, pot exista vârfuri care conțin 0,5 obiecte (a patra partiție), apoi 0,25 etc. De fiecare dată cantitatea de informații despre obiect crește cu 1 bit și poate atinge orice valoare.

Această procedură confirmă faptul binecunoscut în știință că orice obiect poate fi infinit cognoscibil, cu toate acestea, principiul unitarității va fi încălcat în acest caz, deoarece și în consecință, i.e. obiectul analizat nu poate fi identificat ca sistem integral.

Toate raționamentele de mai sus se aplică și problemelor de căutare cu un număr de obiecte, cu condiția ca în clasele de echivalență obținute în procesul de partiții să fie admise numere non-întregi de obiecte.

Din inegalitate rezultă că

și în mod corespunzător

unde este entropia la;

Entropia la.

Teorema 1. Dacă a treia partiție a numărului de obiecte conține clase de echivalență cu un număr egal de obiecte, atunci are loc inegalitatea

Dovada.

Din condiție și, în consecință, rezultă că.

Teorema este demonstrată.

Corolarul 1. Entropia celei de-a i-a partiții este mărginită de inegalitate

Teorema 2. Dacă a-a partiție a numărului de obiecte la conține clase de echivalență cu numărul de obiecte, atunci inegalitatea

Dovada. Deoarece, atunci, unde este numărul de obiecte plasate conform claselor de echivalență ale partiției --a.

Din condiție și, în consecință, rezultă imediat că.

Teorema este demonstrată.

Corolarul 1 Entropia reziduală este mărginită de inegalitate

În fig. 3, ca exemplu pentru teoremele 1, 2, un arbore este dat pentru trei partiții cu numărul inițial de obiecte. Din aceasta se poate observa că clasele celei de-a doua partiții conțin câte 1,5 obiecte fiecare, iar clasele celei de-a treia partiții conțin fiecare 0,75 obiecte. De-a lungul axei verticale a coordonatelor din figură se află numerele obiectelor originale, iar pe orizontală valoarea informațiilor totale obținute după următoarea diviziune 1, 2, 3 și valoarea informațiilor reziduale. Cantitatea de informații generată la fiecare pas rămâne constantă și maximă:

Teorema 3.

Dovada. De când, atunci unde. Luând logaritmul ultimei expresii, obținem asta

Teorema este demonstrată.

Figura 3 - Arborele de partiții pentru.

Teorema 4

Dovada. De când, atunci unde. Luând logaritmul ultimei expresii, obținem asta.

Teorema este demonstrată.

Corolarul 1

Deoarece în timpul partițiilor numărul din clasele obținute în timpul partiției -a conține mai mult, iar în clasele partiției -a este mai mic de 1 obiect, aceasta înseamnă că cantitatea de informații despre obiect după cea de-a --a partiție

mai mică decât cantitatea necesară necesară pentru a identifica obiectul dorit și, prin urmare, nu poate fi determinat pe deplin, iar după a treia partiție, cantitatea de informații

vine din abundență și, ca urmare, nu se determină doar obiectul în sine, ci și unele detalii ale acestuia, ceea ce este de prisos pentru rezolvarea problemei de căutare.

Mai mult decât atât, doar în primul caz are loc o încălcare a principiului unitarității, iar în al doilea acest principiu este păstrat și chiar asigurat cu o mai mare fiabilitate. Prin urmare, în realitate, în practică, dacă setul de obiecte analizat, acesta este înlocuit cu cel mai apropiat set care conține obiecte, iar căutarea obiectului dorit se realizează deja printre obiectele acestui set.

Prin urmare, putem vorbi despre o măsură discretă (întreg) a informației, care este un fel de măsură Hartley logaritmică, care este numărul mediu de partiții în clase de echivalență care conțin același număr de obiecte cu probabilitate egală până la obținerea celui dorit. . Această măsură poate fi utilizată eficient în probleme de matematică discretă și combinatorică, unde soluțiile sunt obiecte întregi.

Cu toate acestea, partițiile pot fi făcute și într-un număr non-întreg de clase de echivalență. În acest caz, este posibil să se realizeze îndeplinirea principiului unitarității pentru orice valoare reală prin rezolvarea ecuației

relativ.

De exemplu, când valoarea ar trebui să fie selectată aproximativ egală. Atunci.

Aceasta înseamnă că și, în consecință, cantitatea de informații obținute în 3 partiții va fi egală cu

În lucrările teoretice, este adesea ales egal și, în practică, cel mai des se folosește valoarea bazei logaritmului, pe baza căreia se obține o măsură atât de modernă a informațiilor ca un bit, adică mulțimea inițială de obiecte pentru această măsură constă din, iar obiectul dorit este situat într-o singură împărțire în 2 clase de echivalență, fiecare dintre ele conținând 1 obiect. Entropia reziduală în acest caz este egală cu 0 și, în consecință, principiul unitarității este respectat pentru bit.

Valoarea obținută mai sus pentru numărul întreg de partiții pentru setul inițial de obiecte poate fi obținută și pe baza următoarelor considerații.

Baza logaritmului la care

unde este un număr întreg de partiții care pot fi găsite din expresie

Respectiv

Din (25) rezultă că

De exemplu, pentru,

Aceasta înseamnă că dacă partițiile setului inițial de obiecte înainte de obținerea unui număr întreg sunt făcute în clase de echivalență, atunci obiectul dorit va fi găsit pentru partițiile întregi care reprezintă numărul lor minim posibil. În acest caz, în timpul fiecărei partiții, se produce cantitatea maximă de informații - una, iar pentru partiții - una.

Să definim raportul (25) ca densitatea inițială a informațiilor înainte de prima partiție:

Evident, densitatea informațiilor se modifică de la 1 la în intervalul de la 0 la 1.

Deci pentru, densitatea inițială a informațiilor

După fiecare partiție, densitatea informației va fi determinată în conformitate cu expresia

Deci, pentru exemplul considerat mai sus, după prima împărțire în două clase de echivalență

iar după al doilea

Din expresia (28) rezultă că în cazul după fiecare partiție, densitatea informației scade și numai atunci când rămâne constantă pentru toate partițiile și egală cu maximul - 1.

Din (26) rezultă că

și, în consecință, pentru

Prin urmare, știind, este posibil să se determine numărul necesar de clase de echivalență în care este necesar să se împartă succesiv numărul inițial de obiecte pentru a obține un număr întreg de partiții. Deoarece aceasta va genera cantitatea maximă posibilă de informații, acesta va fi numărul minim de partiții în condițiile date.

Corolarul 1 al teoremei 4 arată că cantitatea de informație generată pe ultima partiție

În plus, în conformitate cu (16), acesta nu este egal cu 0.

Pentru a obține informații complete despre obiect, este suficient să. Atunci expresia (31) ia forma

Întrucât din (17) rezultă că

atunci egalitatea (32) se poate realiza pe baza expresiei

care, pentru un dat, este satisfăcut cu o distribuție de probabilitate adecvată.

Deci, de exemplu, pentru

și în mod corespunzător

Pentru a realiza ultima egalitate, rezultă că probabilitățile și sunt egale, respectiv, cu 0,15; 0,85 sau 0,85; 0,15.

Aceasta înseamnă că numărul obținut în a 2-a diviziune în dimensiunea obiectului este împărțit în timpul celei de-a 3-a diviziuni în două probabilități proporționale și părți (0,225 și 1,275), care sunt apoi analizate printr-un test pentru relația dintre una dintre ele și cel dorit. Probabilitatea de a le găsi este egală cu sau, sau în funcție de mărimea lor.

Ca urmare, se vor obține informații complete despre unul dintre obiecte, totuși, pe lângă partițiile uniforme, a fost folosită și una neuniformă.

În cazul unei măsuri pur logaritmice a informațiilor cu numărul de obiecte inițiale de obținut, valoarea ar trebui să fie informația obținută atunci când obiectele sunt incomplet împărțite în două părți egale, astfel încât fiecare dintre ele să conțină elemente a două obiecte. În acest caz, entropia va fi egală cu 0 deoarece informațiile obținute în procesul ultimului întreg --lea partiție vor merge parțial către eliminarea interferenței în timpul testării create de elementele altui obiect.

Din ceea ce s-a considerat mai sus, rezultă că informația este măsurată prin numărul de partiții ale unui set de obiecte posibile până la obținerea unui număr întreg. Sursa de informații în acest caz este testul, care indică clasa de echivalență în care se află obiectul căutat. În același timp, informațiile ca entitate independentă în timpul partițiilor nu se manifestă direct în niciun fel, rămânând în afara cadrului procedurii de măsurare (numărarea numărului de partiții). În test, se manifestă prin indicarea rezultatelor comparației, care se manifestă prin coincidența sau necoincidența trăsăturilor claselor de echivalență cu caracteristicile corespunzătoare testului. Aceasta înseamnă că testul trebuie să aibă în prealabil informații despre caracteristicile claselor de echivalență analizate. Funcția sa finală este decodificarea caracteristicilor acestor clase și dezvoltarea acțiunilor de control care indică ce clasă a celor analizate ar trebui să fie subdivizată în subclase la următorul pas al partițiilor, sau că obiectul a fost găsit și procedura de căutare ar trebui să fie terminat.

Esențial pentru căutarea unui obiect este că acesta poate fi determinat fără ambiguitate numai după primirea tuturor informațiilor despre acesta, ceea ce se întâmplă numai atunci când există entropie reziduală. Acest lucru este posibil numai dacă în procesul de partiții se va obține o clasă de echivalență care conține un obiect. În acest caz, entropia și deci principiul unitarității este satisfăcută.

Un astfel de caz va fi atunci când numărul inițial de obiecte. Dacă, atunci cu o partiție uniformă, ultima clasă de echivalență va conține mai puțin de un obiect și, ca urmare, se vor obține informații suplimentare care detaliază obiectul și nu sunt folosite în căutarea acestuia.

În practică, în problemele de codificare, înlocuirea numărului inițial de obiecte cu un număr este utilizată pe scară largă, ceea ce, pe de o parte, duce la satisfacerea principiului unitarității și, pe de altă parte, la o creștere a cantitatea de informații redundante generate de test.

Documente similare

Conceptul și obiectivele metodei obiectelor focale este căutarea de noi idei prin atașarea proprietăților sau atributelor obiectelor aleatorii la obiectul original. Activarea gândirii asociative ca una dintre metodele cercetării euristice în teoria deciziei.

test, adaugat 24.12.2012


Fundamentele teoretice ale prelucrării primare a informațiilor statistice. Particularități ale determinării numărului minim de obiecte de observație la evaluarea indicatorilor de fiabilitate. Analiza lucrării probabilistice a legilor distribuției normale și ale distribuției Weibull.

lucrare de termen, adăugată 22.03.2010


Concepte și metode de bază de codificare a informațiilor. Caracteristici ale procesului de decriptare a codurilor de bare. Tehnologie și echipamente de codare de bare. Utilizarea tehnologiei automate de identificare a codurilor de bare în sistemele logistice.

lucrare de termen adăugată 05.09.2013


Conceptul de entropie. Entropia ca măsură a gradului de incertitudine. Conceptul de informare. Măsurarea informațiilor. Teorema lui Shannon de codificare a zgomotului. Un exemplu de utilizare a entropiei în prognoză și semnificația acesteia pentru prognoză.

rezumat, adăugat 14.12.2008


Dezvoltarea unui model economic și matematic și rezolvarea unei probleme de programare liniară folosind metode matematice. Problema transportului în formularea matricei și proprietățile acesteia. Construirea unui plan inițial fezabil. Criteriul de optimizare.

lucrare de termen, adăugată 16.01.2011


Fundamentele modelării matematice a obiectelor deterministe și stocastice. Identificarea obiectelor de control prin răspuns tranzitoriu. Obținerea unui model prin metoda regresiei liniare multiplă și verificarea adecvării acestuia după criteriul lui Fisher.

lucrare de termen adăugată 14.10.2014


Cei mai simpli algoritmi pentru căutarea aleatorie direcționată. Algoritmul cel mai bun eșantion cu Hiper-pătrat de ghidare. Optimizator statistic multicanal cu căutare aleatorie. Metoda gradientului statistic. Cel mai bun exemplu de căutare locală aleatorie.

lucrare de termen, adăugată 02.08.2015


Concepte și definiții ale teoriei algoritmilor genetici. Bazele matematice ale fizicii inventive. Algoritm genetic pentru o problemă inventiva. Descrierea operatorilor algoritmilor genetici. Sistemul de căutare și urmărire mentală în mintea inventatorului.

lucrare de termen, adăugată 22.05.2012


Construirea unui model matematic al unei probleme duale (un sistem de restricții asupra profitului unitar și o funcție obiectivă a costurilor totale pentru materiile prime. Determinarea setului optim de prețuri pentru materiile prime, oferind un minim de costuri totale pentru materiile prime. Analiză. a variabilelor.

test, adaugat 18.05.2015


Planificarea experimentelor ca disciplină matematică și statistică. Căutați condiții și reguli optime pentru efectuarea experimentelor pentru a obține informații despre un obiect cu cel mai mic cost al forței de muncă. Teoria cercetării corelației, măsuri ale corelației.

Măsura combinatorie

Pentru o mai bună înțelegere, luați în considerare câteva exemple simple.

Exemplul 1... Să facem experimentul. Să luăm un zar. Are șase laturi, fiecare cu numere de la unu la șase.

Să-l aruncăm. Când zarul este aruncat, unul dintre numerele de pe părțile laterale ale zarului iese. Numărul rezultat este rezultatul experienței noastre.

Aruncând zarurile de orice număr de ori, putem obține doar șase numere posibile. Să notăm acest lucru ca N = 6.

Acest exemplu vă permite să treceți la conceptul de măsură combinatorie a informațiilor și să dați următoarea definiție:

Măsura combinatorie a informației N este o modalitate de măsurare a cantității de informații prin estimarea numărului de combinații posibile de elemente de informație.

Deoarece în exemplul cu zar sunt posibile doar șase variante ale rezultatului experimentului, cu alte cuvinte, șase combinații, atunci cantitatea de informații în conformitate cu măsura combinatorie este N = 6 combinații.

Luați în considerare următorul exemplu.

Exemplul 2. Să fie dată una dintre cifrele zecimale, de exemplu, cifra 8 și una dintre cifrele hexazecimale - de exemplu, cifra 6 (puteți lua orice alt hexazecimal - 8, B, F etc.). Acum, în conformitate cu definiția unei măsuri combinatorii, să determinăm cantitatea de informații conținute în fiecare dintre aceste numere. Deoarece cifra 8 este zecimală, ceea ce înseamnă că reprezintă un caracter din zece, N 8 = 10 combinații. La fel, numărul 6 reprezintă unul dintre cele șaisprezece caractere și, prin urmare, N 6 = 16 combinații. Prin urmare, o cifră hexazecimală conține mai multe informații decât una zecimală.

Din exemplul luat în considerare, putem concluziona că cu cât se află mai puține numere la baza sistemului numeric, cu atât mai puține informații transportă unul dintre elementele sale.

Inginerul englez R. Hartley a propus să măsoare cantitatea de informații cu o măsură logaritmică binară:

unde N este numărul de combinații diferite de elemente de informații. Unitatea de măsură a informațiilor din această măsură este bitul.

Deoarece formula derivată de R. Hartley ia în considerare numărul de combinații posibile N, este interesant de știut ce estimare a cantității de informații este dată de măsura logaritmică binară pentru exemplele considerate mai sus.

Numărarea dă următoarele rezultate:

în exemplul de cub I = log 2 6 = 2,585 biți;

în exemplul cu sistemul numeric zecimal, I = log 2 10 = 3,322 biți;

în exemplul cu notație hexazecimală I = log 2 16 = 4 biți;

în exemplul cu sistemul binar, I = log 2 2 = 1 bit.

Ultima cifră indică faptul că fiecare cifră a sistemului de numere binar conține un bit de informații. În general, în sistemele tehnice, sistemul de numere binare este folosit pentru a codifica două stări posibile, de exemplu, 1 înseamnă prezența curentului electric în rețea, 0 înseamnă absența acestuia.

În toate exemplele considerate mai sus, rezultatele experimentelor au fost la fel de probabile și independente reciproc. Aceasta înseamnă că atunci când zarurile sunt aruncate, fiecare dintre cele șase fețe are aceeași probabilitate de a avea succes. Și, de asemenea, că rezultatul următoarei aruncări nu depinde în niciun fel de rezultatul celui precedent.

Evenimentele la fel de probabile și independente reciproc din viața reală sunt destul de rare. Dacă acordați atenție limbilor vorbite, de exemplu rusă, atunci puteți trage concluzii interesante. Pentru a simplifica cercetările teoretice în informatică, se acceptă în general că alfabetul rus este format din 32 de caractere (e și e, precum și b și b nu diferă unul de celălalt, dar se adaugă un spațiu între cuvinte). Dacă presupunem că fiecare literă a limbii ruse din mesaj apare la fel de des și după fiecare literă poate exista orice alt simbol, atunci putem determina cantitatea de informații din fiecare simbol al limbii ruse ca:

I = log 2 32 = 5.

Cu toate acestea, de fapt, lucrurile nu stau chiar așa. În toate limbile vorbite, unele litere se găsesc mai des, altele mult mai rar. Studiile spun că există următoarele repetări la 1000 de litere:

În plus, probabilitatea de apariție a literelor individuale depinde de literele care le preced. Deci, în rusă, un semn moale nu poate urma o vocală, patru vocale nu pot sta pe rând și așa mai departe. Orice limbă vorbită are propriile sale caracteristici și modele. Prin urmare, cantitatea de informații din mesajele construite din simboluri ale oricărei limbi vorbite nu poate fi estimată nici cu măsuri logaritmice combinatorii, nici binare.

1

Lucrarea prezintă un model pentru determinarea măsurii logaritmice a informației. Un obiect este separat din structura sistemului tehnic și sunt luate în considerare stările probabilistice de defecțiune și funcționare. Când stările sunt la fel de probabile, se propune să se folosească măsura Hartley, iar pentru stările neechiprobabile, măsura Shannon pentru unul sau mai multe obiecte, dacă acestea sunt independente reciproc. Modelul ține cont de posibilitatea de a determina măsura informației pentru un singur obiect. Toate stările obiectelor sunt împărțite în două clase. Fiecare dintre clasele selectate este formată pe baza datelor privind fluxul de evenimente neuniforme. Pentru fiecare clasă de stări ale obiectului, se determină probabilitățile totale și generalizate de operabilitate și defecțiune. Aceste probabilități și-au găsit aplicație în expresiile matematice obținute pentru a determina măsura incertitudinii informaționale. Se arată că formulele obţinute sunt identice şi sunt aplicabile atât la utilizarea probabilităţii totale, cât şi a probabilităţii generalizate.

MĂSURĂ LOGARITMMICĂ A INFORMAȚIILOR A STĂRII OBIECTULUI TEHNIC

Dulesov A.S. 1 Kabaeva E.V. unu

1 Universitatea de Stat Khakass n.a. N.F. Katanov

Abstract:

Articolul prezintă modificatorul măsurării logaritmice a modelului informațional. Un obiect este ales din sistemul tehnic și sunt analizate stările probabilistice de defecțiune și lucru. Când stările sunt echiprobabile, se recomandă utilizarea măsurării lui Hartley, iar când nu sunt echiprobabile măsura lui Shanon este de preferat pentru unul sau mai multe obiecte interindependente. Modelul ia în considerare capacitatea de a modifica măsura informației doar pentru un singur obiect. Toate stările obiectului sunt împărțite în două clase. Fiecare clasă se bazează pe date despre fluxul evenimentelor inechipabile. Probabilitățile totale și generalizate de eficiență și eșec sunt determinate pentru stările obiectului din fiecare clasă. Probabilitățile studiate sunt utilizate în formulele matematice de modificare a măsurii incertitudinii informației. Se arată că formulele sunt identice și pot fi aplicate atât pentru probabilitatea totală, cât și pentru probabilitatea generalizată.

Cuvinte cheie:

Referință bibliografică

Dulesov A.S., Kabaeva E.V. MĂSURĂ LOGARITMMICĂ A INFORMAȚIILOR A STARE A UNUI OBIECT TEHNIC // Revista științifică. Știința tehnică. - 2014. - Nr. 1. - P. 146-146;
URL: http://science-engineering.ru/ru/article/view?id=204 (data accesării: 04/06/2019). Vă aducem în atenție revistele publicate de „Academia de Științe Naturale”

Această măsură determină utilitatea informației (valorii) pentru ca utilizatorul să atingă scopul stabilit.

Întreaga teorie a informaţiei se bazează pe descoperirea făcută de R. Hartley în 1928, iar acea informaţie poate fi cuantificată.

Abordarea lui Hartley se bazează pe fundamente teoretice fundamentale, în esență combinatorii, precum și pe câteva presupuneri intuitiv clare și destul de evidente.

Dacă există multe elemente și unul dintre ele este selectat, atunci o anumită cantitate de informații este comunicată sau generată prin aceasta. Această informație constă în faptul că dacă înainte de selecție nu se știa ce element va fi selectat, atunci după selecție devine cunoscut. Este necesar să se găsească genul de funcție care leagă cantitatea de informații obținute la alegerea unui anumit element din mulțime, cu numărul de elemente din această mulțime, adică cu cardinalitatea acestuia. octet pragmatic algoritmic de măsurare

Dacă setul de elemente din care se face alegerea constă dintr-un singur element, atunci este clar că alegerea sa este predeterminată, adică nu există nicio incertitudine de alegere - există o cantitate zero de informații.

Dacă setul este format din două elemente, atunci incertitudinea alegerii este minimă. În acest caz, cantitatea de informații este, de asemenea, minimă.

Cu cât sunt mai multe elemente în set, cu atât este mai mare incertitudinea alegerii, cu atât mai multe informații.

Numărul acestor numere (elemente) din mulțime este: N = 2i

Din aceste considerații evidente, rezultă prima cerință: informația este o funcție monotonă a cardinalității mulțimii inițiale.

Alegerea unui număr ne oferă următoarea cantitate de informații: i = Log 2 (N)

Astfel, cantitatea de informații conținute într-un număr binar este egală cu numărul de cifre binare din acest număr.

Această expresie este formula lui Hartley pentru cantitatea de informații.

Când lungimea unui număr se dublează, și cantitatea de informații din acesta ar trebui să se dubleze, în ciuda faptului că numărul de numere din mulțime crește exponențial (la pătrat, dacă numerele sunt binare), adică dacă N2 = ( N1) 2, atunci I2 = 2 * I1,

F (N1 * N1) = F (N1) + F (N1).

Acest lucru este imposibil dacă cantitatea de informații este exprimată ca o funcție liniară a numărului de elemente din mulțime. Dar există o funcție cunoscută care are doar o astfel de proprietate: este Log:

Log 2 (N2) = Log 2 (N1) 2 = 2 * Log 2 (N1)

Această a doua cerință se numește cerință de aditivitate.

Astfel, măsura logaritmică a informaţiei propusă de Hartley satisface simultan condiţiile de monotonitate şi aditivitate. Hartley însuși a ajuns la măsura sa pe baza unor considerații euristice asemănătoare celor prezentate tocmai acum, dar acum s-a dovedit riguros că măsura logaritmică a cantității de informații decurge fără ambiguitate din aceste două condiții pe care le-a postulat.

Exemplu. Sunt 192 de monede. Se știe că unul dintre ele este fals, de exemplu, mai ușor. Stabiliți câte cântăriri trebuie făcute pentru a-l identifica. Dacă punem un număr diferit de monede pe cântar, obținem trei posibilități independente: a) cupa din stânga este mai jos; b) cupa dreapta este mai jos; c) cupele sunt echilibrate. Astfel, fiecare cântărire dă cantitatea de informație I = log23, prin urmare, pentru a determina o monedă falsă, trebuie făcute cel puțin k cântăriri, unde cel mai mic k satisface condiția log23k log2192. Prin urmare, k 5 sau k = 4 (sau k = 5 - dacă socotim ca una de cântărire și ultima, ceea ce este evident pentru determinarea monedei). Deci, este necesar să faceți cel puțin cinci cântăriri (5 sunt suficiente).

Indicații pentru evaluarea cantității de informații

Există trei direcții principale în teoria informației: structurală, statistică și semantică.

Structural- are în vedere structura discretă a matricelor informaţionale şi măsurarea acestora prin simpla numărare a elementelor informaţionale. (Cea mai simplă codificare a matricelor este o metodă combinatorie.)

Statistic direcția operează cu conceptul de entropie ca măsură a incertitudinii, adică aici se ia în considerare probabilitatea apariției anumitor mesaje.

Semantic direcția ia în considerare caracterul adecvat, valoarea sau materialitatea informațiilor.

Aceste trei domenii au propriile lor domenii specifice de aplicare. Structural este utilizat pentru evaluarea capacităților mijloacelor tehnice ale diferitelor sisteme de prelucrare a informațiilor, indiferent de condițiile specifice de utilizare a acestora. Statistic estimările sunt utilizate atunci când se iau în considerare problemele de transmisie a datelor, determinând lățimea de bandă a canalelor de comunicație. Semantic sunt utilizate în rezolvarea problemelor de construcție a sistemelor de transmisie a informațiilor pentru dezvoltarea dispozitivelor de codare și în evaluarea eficacității diverselor dispozitive.

Măsuri structurale ale informaţiei

Măsurile structurale țin cont doar de structura discretă a informațiilor. Elementele complexului informaţional sunt cuante - părţi indivizibile ale informaţiei. Distinge geometric, combinatorieși aditiv măsuri.

Definiţia information geometric metoda este o măsurare a lungimii liniei, ariei sau volumului modelului geometric al complexului de informații în numărul de cuante. Numărul maxim posibil de cuante în dimensiunile structurale date determină capacitatea informatică a sistemului... Capacitatea informațională este un număr care indică numărul de cuante din matricea completă de informații. Conform fig. 1.2, G, cantitatea de informații Mîn complex X(T, N), determinată prin metoda geometrică, este egală cu

X, T,N - intervale la care sunt prelevate probe discrete.

V combinatorie cantitatea de informații se calculează ca număr de combinații de elemente. Combinațiile posibile sau realizate sunt luate în considerare aici.

În multe cazuri, un mesaj discret poate fi privit ca un cuvânt format dintr-un număr de elemente. n, dat de alfabetul format din T elemente-litere. Să determinăm numărul de mesaje diferite care pot fi formate dintr-un anumit alfabet. Dacă mesajul este format din două elemente ( n = 2), atunci pot exista mesaje diferite în total. De exemplu, zece cifre (0, 1, 2, ..., 9) pot forma o sută de numere diferite de la 0 la 99. Dacă numărul de elemente este trei, atunci numărul de mesaje diferite este egal și așa mai departe.

Astfel, numărul de mesaje posibile este determinat de:

Unde L- numărul de mesaje; P- numărul de elemente dintr-un cuvânt; T- alfabetul.

Cu atât mai mult L, cu atât fiecare mesaj poate fi mai diferit de restul. Magnitudinea L poate fi luată ca măsură a cantității de informații. Totuși, alegerea L ca măsură a cantității de informații este asociată cu inconveniente: în primul rând, când L= 1 informație este egală cu zero, deoarece natura mesajului este cunoscută dinainte (adică există un mesaj, iar informația este egală cu zero); în al doilea rând, condiția de adăugare liniară a cantității de informații nu este îndeplinită, adică. starea de aditivitate. Dacă, de exemplu, prima sursă este caracterizată de mesaje diferite, iar a doua -, atunci numărul total de mesaje diferite pentru cele două surse este determinat de produs

L = .

Pentru k surse numărul total de mesaje diferite posibile este

Prin urmare, Hartley a introdus o măsură logaritmică (aditivă) a cantității de informații, care face posibilă estimarea cantității de informații conținute într-un mesaj prin logaritmul numărului de mesaje posibile.

eu = .

Apoi la L = 1eu = 0, adică informatiile sunt absente.

Pentru k surse de informare

acestea. eu = .

Măsuri statistice ale informațiilor

În abordarea probabilistică statică, obținerea unei cantități specifice de informații este considerată ca rezultat al unei anumite alegeri între mesaje posibile. Destinatarul informațiilor poate ști în prealabil sau poate ghici o parte din ea. Când apare un mesaj despre evenimente care apar frecvent, a căror probabilitate R tinde spre unul, atunci un astfel de mesaj nu este informativ. În medie, mesajele despre evenimente, ale căror probabilități tind spre zero, sunt la fel de neinformative, adică. evenimente aproape imposibile, deoarece astfel de evenimente sunt raportate extrem de rar.

Evenimentele pot fi privite ca posibile rezultate ale unei anumite experiențe. Toate rezultatele alcătuiesc un grup complet de evenimente sau un ansamblu.

Ansamblul se caracterizează prin faptul că suma probabilităților tuturor mesajelor din el este egală cu unu, adică

.

Luați în considerare mesajele complexe compuse din P elemente, fiecare dintre acestea fiind independentă și este aleasă din alfabetul care le conține T litere, cu probabilitățile de selectare a elementelor respectiv. Să presupunem că un mesaj include elemente ale alfabetului, elemente etc. Un astfel de mesaj este caracterizat de un tabel (Tabelul 1.1).

Tabelul 1.1

Categorie de obiect				...		...
Numărul de elemente				...		...
Probabilități de alegere elemente

Probabilitatea ca mesajul să includă elemente este egală, iar probabilitatea formării unui mesaj din ,,, ... ,, ..., elemente va fi egală

P = . (1.1)

Pentru lungimi mari P sursa va forma mesaje tipice în care frecvența relativă de apariție a elementelor individuale tinde spre probabilitatea de apariție a acestor elemente, adică

, (1.2)

și probabilitatea de apariție a mesajelor tipice R va fi același și poate fi găsit din (1.1), (1.2):

P =. (1.3)

Să definim numărul de mesaje tipice:

deoarece probabilitatea totală a tuturor mesajelor tipice tinde să se unească odată cu creșterea lungimii mesajului.

Deși numărul de mesaje posibile, sursa va genera practic doar L mesaje tipice, iar probabilitatea apariției altor mesaje tinde spre zero.

Găsiți cantitatea de informații eu cuprinse într-un singur mesaj:

eu = Buturuga L = - Buturuga . (1.5)

Această expresie (formula lui Shannon) oferă o imagine mai completă a sursei de informații decât o măsură aditivă (măsura lui Hartley). Să explicăm acest lucru cu următorul exemplu. Dacă aruncăm o monedă, primim un mesaj din două stări posibile (capete sau cozi), adică un alfabet de mesaje din două litere. Dacă aruncăm un cub, dintre care o față este albastră, iar celelalte fețe sunt colorate în roz, atunci aici avem și un alfabet din două litere (albastru sau roz). Pentru a scrie textul primit (mesajul), în ambele cazuri, câte o cifră binară pe literă ( n = 1, t = 2).

Potrivit lui Hartley aici, în ambele cazuri

Dar știm că, în primul caz, probabilitatea fiecărui rezultat al experimentului este de 0,5 (= 0,5). Și în al doilea caz și în consecință. Măsura lui Hartley ignoră acest lucru.

Cu echiprobabilitatea simbolurilor (caz special), formula lui Shannon degenerează în formula lui Hartley:

eu = - n .

Pentru cutia de monede:

eu = - 1 .

Pentru cazul zarurilor:

eu = - 1 .

Este apelată cantitatea de informații per element de mesaj conţinut informaţional specific sau entropie.

H =. (1.6)

Cantitatea de informații și entropia sunt măsuri logaritmice și sunt măsurate în aceleași unități. Baza logaritmului definește unitatea de măsură pentru cantitatea de informații și entropia. Cea binară corespunde bazei logaritmului, egală cu doi, și se numește bit. Un bit este cantitatea de informații din mesaj într-unul dintre cele două rezultate equiprobabile ale unei anumite experiențe. De asemenea, sunt utilizați logaritmi naturali (NIT) și zecimale (DIT). Unități similare sunt utilizate atunci când se evaluează cantitatea de informații folosind măsura Hartley.

Din formula lui Shannon rezultă că cantitatea de informații conținute într-un mesaj depinde de numărul de elemente ale mesajului P, alfabet Tși probabilitățile selecției articolului. Dependenta eu din P este o liniar.

Să notăm câteva proprietăți ale entropiei.

1. Entropia este o mărime reală, mărginită și nenegativă, adică H> 0. Această proprietate rezultă din expresia (1.6).

2. Entropia este minimă și egală cu zero dacă mesajul este cunoscut dinainte, adică dacă = 1 și

3. Entropia este maximă dacă toate stările elementelor mesajului sunt la fel de probabile.

H =, dacă . (1,7)

Găsim valoarea entropiei maxime folosind (1.6) și (1.7):

Fezabilitatea, utilitatea informatiei pentru rezolvarea unei probleme pot fi evaluate prin efectul pe care informatiile primite asupra solutionarii problemei. Dacă probabilitatea atingerii obiectivului crește, atunci informațiile ar trebui considerate utile.