Pošaljite svoj dobar rad u bazu znanja je jednostavno. Koristite obrazac ispod
Studenti, postdiplomci, mladi naučnici koji koriste bazu znanja u svom studiranju i radu biće vam veoma zahvalni.
O opravdanosti logaritamske mjere informacije
Teorija informacija je sada prevazišla uski okvir komunikacionih sistema, gde je prvobitno korišćena, i počela je da se široko koristi u takvim netradicionalnim oblastima kao što su fizika, teorija sistema, teorija upravljanja, biologija i matematika. Posebno je široku primenu našao u relativno novim oblastima nauke kao što su računarstvo, teorija automata i zaštita podataka.
Stoga je neophodna dalja analiza temelja teorije informacija kako bi se proniklo u njenu suštinu, koja je i danas u velikoj mjeri tajanstvena, i identificirale nove mogućnosti njene primjene u rješavanju praktičnih problema.
Najvažnije pitanje na osnovu kojeg se gradi ova ili ona teorija informacija je izbor informacijske mjere.
Ono je u velikoj mjeri determinisano objektima koje teorija koja se razvija ima za cilj da analizira.
Trenutno su u teoriji informacija najrasprostranjenije Hartleyeve i Shannon mjere, au nekim slučajevima Hartleyeva mjera je predstavljena kao poseban slučaj Shannon mjere.
Međutim, po svojoj namjeni, Hartleyeva mjera ima značajnu razliku od Shannon mjere, budući da je prva usmjerena na proučavanje determinističkih (nevjerovatnih) procesa konačne dužine, a druga na analizu probabilistički procesi bilo kojeg trajanja, za čiju analizu se koriste statističke metode.
Prema tome, teorija informacija koja koristi jednu ili drugu od ovih mjera naziva se strukturalna ili statistička teorija informacija.
Konačnost dužina analiziranih nizova podataka dovodi, shodno tome, do mogućnosti izračunavanja njihovog broja jednostavnim pretraživanjem ili upotrebom bilo kojeg matematičke metode, kao i primjena poznatih neprobabilističkih metoda za analizu informacija, na primjer, teorija konačnih predikata ili teorija grupa. Kao rezultat toga, današnja teorija strukturnih informacija razvila je metode kodiranja koje se ne mogu razviti na osnovu teorije statističkih informacija.
Istovremeno, statistička teorija omogućava dobijanje graničnih teorema i ponašanja analiza informacija poruke zasnovane na statističkom skupu podataka, umjesto da analizira svaku poruku zasebno, kao što se dešava u teoriji strukturalnih informacija.
Logaritamska mjera koja leži u osnovi strukturne teorije informacija, gdje i su bilo koje pozitivni brojevi konačne dužine, koja nije jednaka 0, a takođe nije jednaka 1, koju je predložio Hartley 1928. godine, on nije logički opravdao, već je uveden na osnovu intuitivnih razmatranja. Štaviše, ono što je značajno, u ovom obliku može poprimiti i pozitivne, at, i negativne, at, vrijednosti.
Trenutno je to opravdano svojstvom njegove aditivnosti, što se očituje u činjenici da opće informacije, generiran zajedno od dva izvora informacija i jednak je zbroju pojedinačnih informacija i iz svakog od njih, kao što je prikazano, na primjer, u.
Zaista, ako svaki od dva izvora generiše poruke, odnosno njihov ukupan broj
Uzimajući logaritam izraza (1), dobijamo jednakost
što dokazuje svojstvo aditivnosti Hartleyeve informacijske mjere.
Razmotrimo još jedno opravdanje Hartleyeve mjere u odnosu na probleme pretraživanja (kontinuirane i diskretne).
Karakteristika problema diskretnog pretraživanja je konačnost početnog skupa objekata koji predstavljaju jednaku vjerovatnoću moguća rješenja diskretni problemi pretraživanja, među kojima bi jedan trebao biti onaj koji se traži. Njegovo pretraživanje se provodi u procesu rješavanja diskretnog problema, kao što se događa, na primjer, u poznatom problemu trgovačkog putnika.
U ovom problemu, traženi objekt je ruta minimalne dužine, izabrana iz nekog početnog konačnog broja mogućih ruta.
Rješenje ovih problema je na ovaj ili onaj način u procesu uzastopnih particija originalnog skupa mogućih objekata - rješenja u klase ekvivalencije i testiranja svake od njih na prisutnost željenog objekta u njemu. Tokom procesa testiranja eliminiše se nesigurnost u vezi sa prisustvom željenog objekta, praćena generisanjem odgovarajuće količine informacija.
Poseban slučaj particioniranja bit će kada su originalni mogući objekti podijeljeni u klase ekvivalencije tako da sadrže striktno jednak broj cijelih objekata.
Očigledno, takve particije su moguće samo u slučaju kada
gdje je maksimalni broj podjela prije nego se pojavi klasa s jednim objektom.
Ako uzmemo mjeru informacije u ovom slučaju, onda se ona tačno poklapa s logaritamskom Hartleyevom mjerom koja se uzima u bazi:
Dakle, broj particija tokom jednako vjerovatnog diskretnog traženja objekta među mogućim je logaritamska mjera Hartleyeve informacije i, obrnuto, Hartleyeva mjera predstavlja za slučaj koji se razmatra broj uniformnih particija skupa objekata u ekvivalentnosti klase do pojave jednog traženog objekta.
IN opšti slučaj kada se originalni skup koji se sastoji od objekata dijeli na klase ekvivalencije, svaki od njih može sadržavati objekte i, shodno tome, vjerojatnost pronalaženja željenog objekta u jednoj ili drugoj klasi jednaka je
Gde.
Šenonova formula za entropiju, koja određuje mjeru neizvjesnosti pronalaženja željenog objekta u određenoj klasi ekvivalencije prije testiranja, tokom prve particije
gdje navodi da vrijednost entropije dostiže maksimum za prvu particiju
kada se željeni objekt nađe u klasama ekvivalencije sa jednakim vjerovatnoćama
U ovom slučaju.
Odnosno maksimalni iznos informacije koje generira test u procesu uklanjanja entropije također će biti jednake ovoj vrijednosti
Slično, na preostalim particijama, ako su vjerovatnoće pronalaska željenog objekta u novim klasama ekvivalencije jednake, dobiće se maksimalna količina informacija jednaka 1.
Iz ovoga proizilazi da je za postizanje maksimalne informacije dobijene testom potrebno, u procesu particioniranja skupa objekata, podijeliti ih u klase ekvivalencije sa jednakim brojem objekata u svakoj od njih.
Budući da Hartleyeva mera, u odnosu na problem koji se razmatra, koristi upravo takve particije, to znači da određuje maksimalnu moguću količinu informacija dobijenih u procesu traženja diskretnog objekta, a pošto je to tako, onda broj particije i, shodno tome, vrijeme pretrage treba biti minimalno u odnosu na sve druge moguće particije. Upravo je to osnovna karakteristika Hartleyeve mjere informacija.
Na sl. Slika 1 prikazuje stablo sa 3 uniformne particije u 2 klase ekvivalencije originalnih objekata. Na njegovim vrhovima je naznačen broj objekata sadržanih u rezultirajućim klasama ekvivalencije. U ovom slučaju, maksimalna količina informacija se generiše na svakom vrhu
u zbroju preko svih particija komponenta bita.
Slika 1 - Stablo uniformnih particija sa,
Očigledno, broj uniformnih particija za ovaj slučaj je minimalan.
Drugo stablo particije na sl. 2 za neujednačene particije objekata u 2 klase ekvivalencije ima prosječan broj particija u svim mogući načini particije
koji je veći od prosječnog broja particija koji je jednak onom dobivenom u prethodnom primjeru.
To je zbog činjenice da je količina informacija generiranih na svakoj particiji u skladu sa Shanonovom formulom (6) manja od 1 bita, odnosno vrijeme pretrage za željeni objekt nije minimalno.
U tom slučaju se mora poštovati osnovno pravilo pronalaženje informacija, koje formulišemo na sledeći način.
Količina informacija potrebnih za traženje jednog cijelog željenog objekta ne ovisi o metodi podjele originalnog skupa objekata u klase ekvivalencije i ostaje konstantna i jednaka.
To znači da bez obzira na stablo particija originalnog skupa objekata, potrebna količina informacija za pronalaženje jednog od njih uvijek će biti ista - .
Slika 2 - Stablo neravnih particija za, i
Particije na klase ekvivalencije su široko rasprostranjene u praksi. Stoga se zasnivaju na pozicijskom kodiranju riječi i brojeva, koje se javlja u procesu sukcesivnih particija njihovih originalnih skupova u ekvivalentne klase pomoću slova i brojeva koji predstavljaju karakteristike ovih klasa. Uzeti zajedno, ova slova i brojevi formiraju alfabete, a broj na koji su podijeljeni početni skupovi riječi i brojeva predstavlja stepene ovih abeceda. Broj podjela određuje dužinu riječi i brojeva.
Prema tome, svako slovo ili cifra riječi ili broja označava klasu ekvivalentnosti kojoj pripada u određenoj particiji.
Osnovni izraz za teoriju informacija koji je predložio Shannon je
U vezi s problemom pretraživanja navodi se da je količina informacija proizvedenih u njegovom procesu jednaka razlici između početne entropije
željeni objekt i ostatak
gdje je preostali broj objekata među kojima se nalazi željeni.
Očigledno, u procesu razdvajanja i testiranja, broj se smanjuje i na kraju kada
Poslednji izraz predstavlja važan uslov, koji je formulisan kao princip unitarnosti.
Njegova suština se svodi na to da pune informacije informacije o objektu će se dobiti ako i samo ako se tokom procesa pretraživanja pronađe jedan cijeli objekt.
Ako, onda to znači da su informacije o objektu djelimično prenesene do prijemnika.
Za to će postojati poseban slučaj. Za njega prihvata negativno značenje- i shodno tome
To znači da u slučaju koji se razmatra, kada testiranje proizvodi Dodatne informacije o detaljima objekta koji sada pripadaju novim, ranije neistraženim klasama ekvivalencije. Ova procedura za detaljiziranje objekta može trajati neograničeno. Na primjer, u stablu particija na sl. 1 iza vrha (klase ekvivalencije), koji nakon 3. particije sadrži jedan objekat, mogu postojati vrhovi koji sadrže 0,5 objekata (4. particija), zatim 0,25, itd. Svaki put se količina informacija o objektu povećava za 1 bit i može dostići bilo koju vrijednost.
Ovaj postupak potvrđuje dobro poznatu činjenicu u nauci da svaki predmet može biti neograničeno spoznatljiv, međutim, princip unitarnosti će biti narušen, jer i prema tome, tj. analizirani objekat se ne može identifikovati kao kompletan sistem.
Sva gornja razmatranja također se primjenjuju na probleme pretraživanja s određenim brojem objekata, pod uvjetom da su necijeli brojevi objekata dozvoljeni u klasama ekvivalencije dobijenim u procesu particioniranja.
Iz nejednakosti slijedi da
i shodno tome
gdje je entropija na;
Entropija na.
Teorema 1. Ako th particija broja objekata sadrži klase ekvivalencije sa jednakim brojem objekata, tada vrijedi nejednakost
Dokaz.
Iz uslova i shodno tome proizilazi da.
Teorema je dokazana.
Zaključak 1. Entropija th particije je ograničena nejednakošću
Teorema 2. Ako th particija broja objekata na sadrži klase ekvivalencije sa brojem objekata, tada vrijedi nejednakost
Dokaz. Budući da je onda gdje je broj objekata postavljenih prema klasama ekvivalencije te particije.
Iz uslova i, shodno tome, odmah proizilazi da.
Teorema je dokazana.
Zaključak 1 Preostala entropija je ograničena nejednakošću
Na sl. 3, kao primjer za teoreme 1, 2, dato je stablo za tri particije sa originalna količina objekata. Pokazuje da klase druge particije sadrže po 1,5 objekata, a klase treće particije po 0,75 objekata, . Duž vertikalne koordinatne ose na slici su brojevi originalnih objekata, a duž horizontalne ose je vrednost ukupne informacije dobijene nakon sledećeg deljenja 1, 2, 3 i vrednost preostale informacije. Količina informacija generiranih u svakom koraku ostaje konstantna i maksimalna:
Teorema 3.
Dokaz. Otkad, pa gde. Uzimajući logaritam zadnjeg izraza, dobijamo to
Teorema je dokazana.
Slika 3 - Stablo particije na.
Teorema 4
Dokaz. Otkad, pa gde. Uzimajući logaritme posljednjeg izraza, dobijamo to.
Teorema je dokazana.
Zaključak 1
Pošto tokom particija brojevi u klasama dobijenim sa i-om particijom sadrže više, a klase i-te particije sadrže manje od 1. objekta, to znači da će količina informacija o objektu nakon i-te particije
je manja od potrebne količine potrebne za identifikaciju željenog objekta, što znači da se ne može u potpunosti odrediti, a nakon th particije količina informacija
dolazi u suvišku, a kao rezultat toga ne određuje se samo sam objekt, već i neki njegovi detalji, što je nepotrebno za rješavanje problema pretraživanja.
U ovom slučaju, samo u prvom slučaju dolazi do kršenja principa unitarnosti, au drugom je taj princip očuvan, pa čak i osiguran s većom pouzdanošću. Stoga, u praksi, ako se analizira skup objekata, on se zamjenjuje najbližim skupom koji sadrži objekte, a traženje željenog objekta vrši se među objektima tog skupa.
Stoga možemo govoriti o diskretnoj (cjelobrojnoj) mjeri informacije, koja je vrsta logaritamske Hartleyeve mjere, koja predstavlja prosječan broj particija na klase ekvivalencije koje sadrže, s jednakom vjerovatnoćom, isti broj objekata, sve do željenog se dobija. Ova mjera se može efikasno koristiti u problemima diskretne matematike i kombinatorike, gdje su rješenja cjelobrojni objekti.
Međutim, particije se također mogu napraviti u necijeli broj klasa ekvivalencije. U ovom slučaju moguće je postići princip unitarnosti za bilo koji stvarna vrijednost, rješavanje jednačine
relativno.
Na primjer, kada vrijednost treba odabrati približno jednaku. Onda.
To znači da će, shodno tome, količina informacija dobijenih u 3 podjele biti jednaka
IN teorijski radovi se često bira da bude jednaka, a u praksi se najčešće koristi vrijednost baze logaritma na osnovu koje se dobija tako moderna mjera informacije kao što je bit, - , odnosno početni skup Objekti za ovu mjeru se sastoje od, a željeni objekt se nalazi u jednoj particiji u 2 klase ekvivalencije, od kojih svaka sadrži 1 objekt. Preostala entropija je u ovom slučaju jednaka 0 i, shodno tome, za bit se poštuje princip unitarnosti.
Gore dobivena vrijednost za cijeli broj particija za originalni skup objekata također se može dobiti na osnovu sljedećih razmatranja.
Osnova logaritma na kojoj
gdje je cijeli broj particija koje se mogu naći iz izraza
Odnosno
Iz (25) slijedi da
Na primjer, za,
To znači da ako se originalni skup objekata podijeli u klase ekvivalencije da bi se dobio jedan cijeli broj, tada će se željeni objekt naći u cjelobrojnim particijama koje predstavljaju njihov minimalni mogući broj. Štaviše, tokom svakog razdvajanja proizvodi se maksimalna količina informacija - jedna, a za podele - jedinice.
Definirajmo relaciju (25) kao početnu gustinu informacija prije prve particije:
Očigledno je da se gustoća informacija mijenja kada se mijenja od 1 do raspona od 0 do 1.
Dakle, početna gustoća informacija
Nakon svake particije, gustina informacija će se odrediti u skladu sa izrazom
Dakle, za gornji primjer, nakon prve particije na dvije klase ekvivalencije
a nakon drugog
Iz izraza (28) proizilazi da se nakon svake particije gustoća informacija smanjuje i samo kada ostane konstantna za sve particije i jednaka maksimumu - 1.
Iz (26) slijedi da
i shodno tome na
Stoga, znajući ovo, možemo odrediti potreban broj klasa ekvivalencije na koje se početni broj objekata mora sekvencijalno podijeliti da bi se dobio cijeli broj particija. Budući da će to generirati maksimalnu moguću količinu informacija, to će biti minimalni broj podjela pod ovim uvjetima.
Korolar 1 teoreme 4 pokazuje da je količina informacija generirana na posljednjoj particiji
Štaviše, u skladu sa (16), nije jednako 0.
Da biste dobili potpunu informaciju o objektu, dovoljno je: Tada će izraz (31) poprimiti oblik
Pošto iz (17) slijedi da
onda se jednakost (32) može postići na osnovu izraza
koja je, zadata, zadovoljena pod odgovarajućom raspodjelom vjerovatnoće.
Tako, na primjer, za
i shodno tome
Da bi se postigla posljednja jednakost, vjerovatnoće i treba da budu jednake 0,15, respektivno; 0,85 ili 0,85; 0.15.
To znači da se broj dobijen u 2. particiji u veličini objekta dijeli tokom 3. particije na dva dijela proporcionalna vjerovatnoćama (0,225 i 1,275), koji se zatim analiziraju testom kako bi se utvrdio odnos jednog od njih prema vjerovatnoći. željeni. Vjerojatnost njihovog pronalaženja jednaka je jednoj ili ovisno o njihovoj veličini.
Kao rezultat, dobit će se potpuna informacija o jednom od objekata, međutim, osim uniformnih particija, korištene su i neravne particije.
U slučaju čisto logaritamske mjere informacije, s obzirom na broj početnih objekata koje treba dobiti, vrijednost mora predstavljati informaciju dobivenu nepotpunim dijeljenjem objekata na dva jednaka dijela tako da svaki od njih sadrži elemente dva objekta. U ovom slučaju, entropija će biti jednaka 0 jer će se informacije dobijene tokom posljednje cjelobrojne particije djelomično koristiti za eliminaciju smetnji tokom testiranja koje stvaraju elementi drugog objekta.
Iz onoga što je gore diskutovano, slijedi da se informacija mjeri brojem particija skupa mogućih objekata dok se ne dobije željena cjelina. Izvor informacija u ovom slučaju je test koji ukazuje na klasu ekvivalencije u kojoj se nalazi željeni objekat. Istovremeno, informacija kao samostalna cjelina se ne manifestira direktno prilikom particija, ostajući izvan okvira postupka mjerenja (računajući broj particija). U testu se manifestuje navođenjem rezultata poređenja, što se manifestuje u podudarnosti ili nepodudarnosti karakteristika klasa ekvivalencije sa odgovarajućim karakteristikama dostupnim u testu. To znači da test mora imati unapred informacije o karakteristikama analiziranih klasa ekvivalencije. Njegova konačna funkcija je dešifriranje karakteristika ovih klasa i razvijanje kontrolnih radnji koje ukazuju na to koje od analiziranih klasa treba podijeliti u podklase na sljedeći korak particije, ili da je objekt pronađen i da se postupak pretraživanja mora prekinuti.
Bitno za traženje objekta je da se može nedvosmisleno identificirati tek nakon što se dobiju sve informacije o njemu, što se događa samo kada postoji rezidualna entropija. Ovo je moguće samo ako proces particioniranja proizvodi klasu ekvivalencije koja sadrži jedan objekt. U ovom slučaju, entropija, a time i princip unitarnosti su zadovoljeni.
Takav slučaj će se dogoditi kada je početni broj objekata. Ako će, tada s uniformnim particioniranjem, posljednja -ta klasa ekvivalencije sadržavati manje od jednog objekta, a kao rezultat će se dobiti dodatne informacije koje detaljiziraju objekt i ne koriste se pri traženju.
U praksi se u problemima kodiranja široko koristi zamjena početnog broja objekata brojem, što, s jedne strane, dovodi do zadovoljenja principa unitarnosti, as druge, do povećanja količine suvišne informacije generirane testom.
Slični dokumenti
Koncept i ciljevi metode fokalnog objekta je potraga za novim idejama pridavanjem svojstava ili karakteristika nasumičnih objekata originalnom objektu. Aktivacija asocijativnog mišljenja kao jedne od metoda heurističkog istraživanja u teoriji odlučivanja.
test, dodano 24.12.2012
Teorijska osnova primarna obrada statističke informacije. Karakteristike određivanja minimalnog broja objekata posmatranja pri procjeni pokazatelja pouzdanosti. Analiza vjerojatnosnog papira zakona normalne distribucije i Weibullove raspodjele.
kurs, dodan 22.03.2010
Osnovni koncepti i metode kodiranja informacija. Karakteristike procesa dekodiranja bar koda. Tehnologija i oprema za barkodiranje. Upotreba automatizovane tehnologije bar kod identifikacije u logističkim sistemima.
kurs, dodan 09.05.2013
Koncept entropije. Entropija kao mjera stepena neizvjesnosti. Koncept informacije. Informacija o mjerenju. Šenonova teorema o kodiranju u prisustvu šuma. Primjer upotrebe entropije u predviđanju i njen značaj za predviđanje.
sažetak, dodan 14.12.2008
Razvoj ekonomskih matematički model i rješenje problema linearno programiranje korišćenjem matematičkih metoda. Transportni zadatak u formulaciji matrice i njenim svojstvima. Izrada početnog izvodljivog plana. Kriterijum optimalnosti.
kurs, dodan 16.01.2011
Osnove matematičko modeliranje determinističkih i stohastičkih objekata. Identifikacija kontrolnih objekata prolaznim odgovorom. Dobivanje modela pomoću višestruke metode linearna regresija i provjera njegove adekvatnosti korištenjem Fisherovog kriterija.
kurs, dodan 14.10.2014
Najjednostavniji algoritmi za usmjereno nasumično pretraživanje. Najbolji probni algoritam sa vodećim hiperkvadratom. Višekanalni statistički optimizator sa slučajnim pretraživanjem. Metoda statističkog gradijenta. Lokalna nasumična pretraga koristeći najbolji uzorak.
kurs, dodato 08.02.2015
Koncepti i definicije teorije genetski algoritmi. Matematička osnova inventivne fizike. Genetski algoritam za inventivni problem. Opis operatora genetskog algoritma. Sistem mentalnog pretraživanja i praćenja u umu pronalazača.
kurs, dodan 22.05.2012
Izgradnja matematičkog modela dvojni problem(sistemi ograničenja jedinične dobiti i ciljna funkcija ukupnih troškova sirovina. Određivanje optimalnog skupa cijena sirovina, osiguravajući minimum ukupnih troškova sirovina. Analiza varijabli.
test, dodano 18.05.2015
Eksperimentalno planiranje kao matematička i statistička disciplina. Tražite optimalne uslove i pravila za izvođenje eksperimenata kako biste dobili informacije o objektu uz najmanju količinu rada. Teorija istraživanja korelacije, mjere korelacije.
Kombinatorna mjera
Za bolje razumijevanje, pogledajmo nekoliko jednostavnih primjera.
Primjer 1. Hajde da sprovedemo eksperiment. Uzmimo kocku. Ima šest strana, svaka sa brojevima od jedan do šest.
Hajde da ga ostavimo. Prilikom bacanja kockice pojavljuje se jedan od brojeva na stranama kockice. Tako dobijeni broj rezultat je našeg iskustva.
Bacanjem kockice onoliko puta koliko želimo, možemo dobiti samo šest mogućih brojeva. Označimo ovo sa N = 6.
Ovaj primjer nam omogućava da prijeđemo na koncept kombinatorne mjere informacije i damo sljedeću definiciju:
Kombinatorna informacijska mjera N je način mjerenja količine informacija procjenom broja mogućih kombinacija informacionih elemenata.
Kako je u primjeru s kockom moguće samo šest ishoda eksperimenta, odnosno šest kombinacija, onda je količina informacija u skladu sa kombinatornom mjerom N = 6 kombinacija.
Razmotrite sljedeći primjer.
Primjer 2. Neka se da jedna od decimalnih znamenki, na primjer, broj 8, a jedna od heksadecimalnih - na primjer, broj 6 (možete uzeti bilo koju drugu heksadecimalnu - 8, B, F, itd.). Sada, u skladu s definicijom kombinatorne mjere, određujemo količinu informacija sadržanih u svakom od ovih brojeva. Pošto je broj 8 decimalni, što znači da predstavlja jedan znak od deset, onda je N 8 = 10 kombinacija. Isto tako, broj 6 predstavlja jedan od šesnaest simbola, pa prema tome N 6 = 16 kombinacija. Dakle, heksadecimalna znamenka sadrži više informacija nego decimalni.
Iz razmatranog primjera možemo zaključiti da što je manje cifara u osnovi brojevnog sistema, to manje informacija nosi jedan od njegovih elemenata.
Engleski inženjer R. Hartley predložio je mjerenje količine informacija binarnom logaritamskom mjerom:
gdje je N broj razne kombinacije informacionih elemenata. Jedinica informacije u ovom mjerenju je bit.
Budući da formula koju je izveo R. Hartley uzima u obzir broj mogućih kombinacija N, zanimljivo je znati kakvu procjenu količine informacija daje binarna logaritamska mjera za primjere o kojima smo gore govorili.
Izračun daje sljedeće rezultate:
u primjeru kocke I = log 2 6 = 2,585 bita;
u primjeru sa decimalnim brojevnim sistemom I = log 2 10 = 3,322 bita;
u primjeru sa heksadecimalni sistem radix I = log 2 16 = 4 bita;
u primjeru sa binarnim brojevnim sistemom I = log 2 2 = 1 bit.
Poslednja cifra označava da svaka cifra binarnog brojevnog sistema sadrži jedan bit informacije. Generalno, u tehničkim sistemima binarni sistem radix se koristi za kodiranje dva moguća stanja, na primjer 1 označava prisutnost električna struja na mreži, 0 - njegovo odsustvo.
U svim gore navedenim primjerima, ishodi eksperimenata bili su podjednako vjerojatni i međusobno nezavisni. To znači da pri bacanju kockice svaka od šest strana ima istu vjerovatnoću uspješnog ishoda. I takođe da rezultat sledećeg bacanja ni na koji način ne zavisi od rezultata prethodnog.
Jednako vjerovatni i međusobno nezavisni događaji u pravi zivot su prilično rijetke. Ako obratite pažnju na govorne jezike, na primjer ruski, možete izvući zanimljive zaključke. Da bi se pojednostavila teorijska istraživanja u informatici, općenito je prihvaćeno da se ruska abeceda sastoji od 32 znaka (e i ë, kao i ʹ i ʺ se međusobno ne razlikuju, ali se između riječi dodaje razmak). Ako pretpostavimo da se svako slovo ruskog jezika pojavljuje podjednako često u poruci i da svako slovo može biti praćeno bilo kojim drugim simbolom, tada možemo odrediti količinu informacija u svakom simbolu ruskog jezika kao:
I = log 2 32 = 5.
Međutim, u stvarnosti to nije slučaj. U svim govornim jezicima neka slova su češća, druga mnogo rjeđa. Istraživanje kaže da je broj ponavljanja na 1000 slova sljedeći:
Osim toga, vjerovatnoća pojavljivanja pojedinačnih slova ovisi o tome koja slova im prethode. Dakle, u ruskom jeziku samoglasnik ne može biti praćen mekim znakom, četiri samoglasnika u nizu ne mogu se pojaviti i tako dalje. Svaki govorni jezik ima svoje karakteristike i obrasce. Stoga se količina informacija u porukama konstruisana od simbola bilo kojeg govornog jezika ne može procijeniti ni kombinatornim ni binarnim logaritamskim mjerama.
1U radu je predstavljen model za određivanje logaritamske mjere informacije. Iz strukture tehnički sistem objekt se identifikuje i razmatraju se njegova vjerovatnoća stanja otkaza i rada. Kada su stanja jednako vjerovatna, predlaže se korištenje Hartleyeve mjere, a za nejednako vjerovatna stanja, Shanonove mjere za jedan ili više objekata ako su međusobno nezavisni. Model uzima u obzir mogućnost određivanja mjere informacije samo za jedan objekat. Sva stanja objekata podijeljena su u dvije klase. Svaka od odabranih klasa formirana je na osnovu podataka o toku nejednako vjerovatnih događaja. Za svaku klasu stanja objekta određuju se ukupne i generalizovane vjerovatnoće operativnosti i otkaza. Ove vjerovatnoće su našle primjenu u dobijenim matematički izrazi da odredi mjeru informacijske nesigurnosti. Pokazuje se da su rezultirajuće formule identične i primjenjive i kada se koristi ukupna vjerovatnoća i generalizirana vjerovatnoća.
LOGARITAMSKA MJERA INFORMACIJE STANJA TEHNIČKOG OBJEKTA
Dulesov A.S. 1 Kabaeva E.V. 11 Državni univerzitet Khakass n.a. N.F. Katanov
sažetak:
U članku je prikazan modifikator logaritamske mjere informacionog modela. Iz tehničkog sistema se izdvaja objekat i analiziraju se njegova vjerovatnoća stanja kvara i rada. Kada su stanja jednako vjerovatna preporučuje se korištenje Hartleyeve mjere, a kada nisu jednakovjerovatna Šenonova mjera je poželjnija za jedan ili više međunezavisnih objekata. Model razmatra mogućnost modifikacije mjere informacija samo za jedan objekat. Sva stanja objekta podijeljena su u dvije klase. Svaka klasa je zasnovana na podacima o toku neujednačenih događaja. Ukupne i generalizirane vjerovatnoće efikasnosti i kvara određuju se za stanja objekta svake klase. Proučene vjerovatnoće se koriste u matematičkim formulama za modifikaciju mjere nesigurnosti informacije. Pokazuje se da su formule identične i da se mogu primijeniti i za ukupnu i za generaliziranu vjerovatnoću.
Ključne riječi:
Bibliografska veza
Dulesov A.S., Kabaeva E.V. LOGARITAMSKA MJERA INFORMACIJE O STANJU TEHNIČKOG OBJEKTA // Znanstveni pregled. Tehnička nauka. – 2014. – br. 1. – str. 146-146;URL: http://science-engineering.ru/ru/article/view?id=204 (datum pristupa: 06.04.2019.). Predstavljamo Vam časopise koje izdaje izdavačka kuća "Akademija prirodnih nauka"
Ova mjera određuje korisnost informacije (vrijednosti) za korisnika da postigne svoj cilj.
Osnova sve teorije informacija je otkriće koje je napravio R. Hartley 1928. godine, a to je da se informacije mogu kvantificirati.
Hartleyev pristup se zasniva na fundamentalnim teoretskim, u suštini kombinatornim osnovama, kao i na nekoliko intuitivnih i sasvim očiglednih pretpostavki.
Ako postoji mnogo elemenata i jedan od njih je odabran, tada se komunicira ili generiše određena količina informacija. Ova informacija je da ako prije odabira nije bilo poznato koji će element biti odabran, onda nakon odabira postaje poznat. Potrebno je pronaći tip funkcije koja povezuje količinu informacija dobijenih pri odabiru elementa iz skupa sa brojem elemenata u ovom skupu, odnosno sa njegovom kardinalnošću. mjerni algoritamski pragmatični bajt
Ako se skup elemenata iz kojih se vrši izbor sastoji od jednog jedinog elementa, onda je jasno da je njegov izbor unaprijed određen, odnosno da nema neizvjesnosti izbora – nulte količine informacija.
Ako se skup sastoji od dva elementa, tada je neizvjesnost izbora minimalna. U ovom slučaju količina informacija je minimalna.
Što je više elemenata u setu, veća je nesigurnost izbora, više informacija.
Broj ovih brojeva (elemenata) u skupu je jednak: N=2i
Iz ovih očiglednih razmatranja slijedi prvi zahtjev: informacija je monotona funkcija snage originalnog skupa.
Odabirom jednog broja dobijamo sljedeću količinu informacija: i=Log 2 (N)
Dakle, količina informacija sadržanih u binarni broj, jednako je broju binarnih cifara u ovom broju.
Ovaj izraz je Hartleyeva formula za količinu informacija.
Kada se dužina broja udvostruči, količina informacija u njemu bi se takođe trebala udvostručiti, uprkos činjenici da se broj brojeva u skupu povećava prema eksponencijalnom zakonu (na kvadrat ako su brojevi binarni), odnosno ako je N2 = ( N1)2, tada je I2=2*I1,
F(N1*N1)=F(N1)+F(N1).
To je nemoguće ako je izražena količina informacija linearna funkcija na broj elemenata u skupu. Ali postoji poznata funkcija koja ima upravo ovo svojstvo: Dnevnik:
Log 2 (N2)=Log 2 (N1)2=2*Log 2 (N1)
Ovaj drugi zahtjev naziva se zahtjevom aditivnosti.
Dakle, logaritamska mjera informacije koju je predložio Hartley istovremeno zadovoljava uslove monotonosti i aditivnosti. Sam Hartley je došao do svoje mjere na osnovu heurističkih razmatranja sličnih onima koji su upravo navedeni, ali je sada rigorozno dokazano da logaritamska mjera za količinu informacija nedvosmisleno slijedi iz ova dva uvjeta koja je on postulirao.
Primjer. Ima 192 novčića. Poznato je da je jedan od njih lažan, na primjer, lakši. Odredimo koliko vaganja treba napraviti da bismo ga identificirali. Ako ga stavite na vagu različite količine kovanice, onda dobijamo tri nezavisne mogućnosti: a) leva čaša je niža; b) desna čaša je niža; c) čaše su izbalansirane. Dakle, svako vaganje daje količinu informacija I=log23, stoga, da biste odredili falsifikovani novčić, morate napraviti najmanje k vaganja, pri čemu najmanji k zadovoljava uslov log23k log2192. Dakle, k 5or, k=4 (ili k=5 - ako se računa kao jedna vaga i zadnja, očita za određivanje novčića). Dakle, potrebno je da uradite najmanje pet vaganja (5 je dovoljno).
Upute za procjenu količine informacija
U teoriji informacija postoje tri glavna pravca: strukturni, statistički, semantički.
Strukturno- razmatra diskretnu strukturu informacionih nizova i njihovo merenje jednostavnim prebrojavanjem informacionih elemenata. (Najjednostavnije kodiranje niza je kombinatorna metoda.)
Statistički pravac operiše konceptom entropije kao mjere neizvjesnosti, odnosno ovdje se uzima u obzir vjerovatnoća pojave određenih poruka.
Semantički smjer uzima u obzir prikladnost, vrijednost ili materijalnost informacija.
Ova tri područja imaju svoja specifična područja primjene. Strukturno koristi se za procenu sposobnosti tehničkih sredstava razni sistemi obrade informacija, bez obzira na specifične uslove njihove primjene. Statistički procjene se koriste kada se razmatraju pitanja prijenosa podataka, utvrđivanje propusni opseg komunikacionih kanala. Semantički koriste se u rešavanju problema konstruisanja sistema za prenos informacija, razvoju uređaja za kodiranje i u proceni efikasnosti različitih uređaja.
Strukturne mjere informacija
Strukturne mjere uzimaju u obzir samo diskretnu strukturu informacija. Elementi informacionog kompleksa su kvanti - nedjeljivi dijelovi informacije. Razlikovati geometrijski, kombinatorski I aditiva mjere.
Definicija informacije geometrijski metoda je mjerenje dužine linije, površine ili zapremine geometrijski model informacioni kompleks u broju kvanta. Određuje maksimalan mogući broj kvanta u datim strukturnim dimenzijama informacioni kapacitet sistema. Informacioni kapacitet je broj koji označava broj kvanta u kompletnom nizu informacija. Prema sl. 1.2, G, količina informacija M u kompleksu X(T,N), definisano geometrijska metoda, jednako
X, T,N- intervali kroz koje se vrše diskretna očitavanja.
IN kombinatorski Barem količina informacija izračunava se kao broj kombinacija elemenata. Ovdje se uzimaju u obzir moguće ili realizovane kombinacije.
U mnogim slučajevima diskretna poruka može se smatrati riječju koja se sastoji od niza elemenata n, dato abecedom koja se sastoji od T slovni elementi. Odredimo broj različitih poruka koje se mogu formirati iz date abecede. Ako se poruka sastoji od dva elementa ( n= 2), tada mogu postojati različite poruke. Na primjer, od deset cifara (0, 1, 2,..., 9) može se formirati sto različiti brojevi od 0 do 99. Ako je broj elemenata tri, onda je broj različitih poruka jednak, itd.
Dakle, broj moguće poruke definirano:
Gdje L- broj poruka; P- broj elemenata u riječi; T- abeceda.
Više L, što se svaka poruka može razlikovati od ostalih. Magnituda L može se uzeti kao mjera količine informacija. Međutim, izbor L kao mjera količine informacija povezana je s neugodnostima: prvo, kada L=1 informacija je nula, jer je priroda poruke unaprijed poznata (tj. postoji poruka, ali je informacija nula); drugo, nije ispunjen uslov za linearno sabiranje količine informacija, tj. uslov aditivnosti. Ako, na primjer, prvi izvor karakteriziraju različite poruke, a drugi - , onda ukupan broj različite poruke za dva izvora određuje proizvod
L= 
.
Za k izvora, ukupan broj mogućih različitih poruka je
Stoga je Hartley uveo logaritamsku (aditivnu) mjeru količine informacija, koja omogućava procjenu količine informacija sadržanih u poruci logaritmom broja mogućih poruka.
I= 
.
Zatim u L= 1I= 0, tj. informacija je odsutna.
Za k izvore informacija
one. I= 
.
Statističke mjere informacija
U statičkom probabilističkom pristupu, dobijanje određene količine informacija smatra se rezultatom određenog izbora među mogućim porukama. Primalac informacije može unaprijed znati ili pogoditi dio informacija. Kada stigne poruka o događajima koji se često dešavaju, čija je vjerovatnoća R teži jedinstvu, onda je takva poruka neinformativna. Jednako neinformativne u prosjeku su i poruke o događajima čije vjerovatnoće teže nuli, tj. o gotovo nemogućim događajima, budući da se o takvim događajima izvještava izuzetno rijetko.
Događaji se mogu posmatrati kao mogući ishod nekog iskustva. Svi ishodi su puna grupa događaja ili ansambla.
Ansambl se odlikuje činjenicom da je zbir vjerovatnoća svih poruka u njemu jednak jedinici, tj.
.
Razmotrite složene poruke koje se sastoje od P elemenata, od kojih je svaki nezavisan i odabran iz abecede koja sadrži T slova, sa vjerovatnoćom odabira elemenata 
respektivno. Pretpostavimo da neka poruka uključuje elemente abecede, elemente itd. Ovu poruku karakteriše tabela (Tabela 1.1).
Tabela 1.1
| Vrsta stavke | ... | ... | |||||
| Broj elemenata | ... | ... | |||||
|
Vjerojatnosti odabira elementi |
Vjerovatnoća da će poruka sadržavati elemente jednaka je , a vjerovatnoća da će poruka biti formirana od ,, ,...,,..., elemenata će biti jednaka
P= 
. (1.1)
Za duge dužine P izvor će generirati tipične poruke u kojima je relativna učestalost pojavljivanja pojedinačni elementi teži vjerovatnoći pojave ovih elemenata, tj
, (1.2)
i vjerovatnoća pojavljivanja tipičnih poruka Rće biti isti i može se naći iz (1.1), (1.2):
P=. (1.3)
Odredimo broj tipičnih poruka:
budući da ukupna vjerovatnoća svih tipičnih poruka teži jedan kako se dužina poruke povećava.
Iako je broj mogućih poruka, izvor će praktično proizvesti samo L tipične poruke, a vjerovatnoća pojavljivanja drugih poruka teži nuli.
Hajde da pronađemo količinu informacija I sadržano u jednoj poruci:
I= log L= - log 
. (1.5)
Ovaj izraz (Shannonova formula) daje potpuniju sliku izvora informacija od aditivna mjera(Hartleyeva mjera). Objasnimo ovo u sljedeći primjer. Ako bacimo novčić, dobićemo poruku iz dva moguća stanja (glava ili repa), odnosno abecedu poruka od dva slova. Ako bacimo kocku, čija je jedna strana plava, a ostale obojene roze boje, onda ovdje imamo i abecedu od dva slova (plava ili ružičasta). Za snimanje primljenog teksta (poruke), u oba slučaja, jedan binarna cifra počevši sa slovom ( n= 1, t= 2).
Prema Hartleyju ovdje u oba slučaja
Ali znamo da je u prvom slučaju vjerovatnoća svakog ishoda eksperimenta 0,5 (=0,5). I u drugom slučaju, i shodno tome. Hartleyjeva mjera to ne uzima u obzir.
Kada su simboli jednako vjerojatni (poseban slučaj), Shanonova formula degenerira se u Hartleyevu formulu:
I= -
n 
.
Za slučaj sa novčićem:
I= - 1
.
Za slučaj sa kockom:
I= - 1
.
Poziva se količina informacija po elementu poruke sadržaj specifičnih informacija ili entropija.
N=
. (1.6)
Količina informacija i entropija su logaritamske mjere i mjere se u istim jedinicama. Osnova logaritma definira mjernu jedinicu za količinu informacija i entropiju. Binarna jedinica odgovara logaritamskoj bazi od dva i naziva se bit. Jedan bit je količina informacija u poruci u jednom od dva jednako vjerovatna ishoda nekog eksperimenta. Koriste se i prirodni (NIT) i decimalni (DIT) logaritmi. Slične jedinice se koriste kada se procjenjuje količina informacija pomoću Hartleyjeve mjere.
Iz Shanonove formule slijedi da količina informacija sadržanih u poruci ovisi o broju elemenata poruke P, abeceda T i vjerovatnoće odabira elemenata. Ovisnost I od P je linearno.
Napomenimo neka svojstva entropije.
1. Entropija je realna veličina, ograničena i nenegativna, tj N> 0. Ovo svojstvo proizlazi iz izraza (1.6).
2. Entropija je minimalna i jednaka nuli ako je poruka unaprijed poznata, odnosno ako je =1, i
3. Entropija je maksimalna ako su sva stanja elemenata poruke jednako vjerovatna.
H=, Ako . (1.7)
Vrijednost maksimalne entropije nalazimo koristeći (1.6) i (1.7):
Svrsishodnost i korisnost informacija za rješavanje problema može se ocijeniti po učinku koji primljena informacija ima na rješavanje problema. Ako se povećava vjerovatnoća postizanja cilja, tada informaciju treba smatrati korisnim.
