Pošaljite svoj dobar rad u bazu znanja je jednostavno. Upotrijebite obrazac u nastavku
Studenti, diplomski studenti, mladi znanstvenici koji koriste bazu znanja u svom studiju i radu bit će vam jako zahvalni.
O opravdanosti logaritamske mjere informacije
Teorija informacija sada je nadišla uski okvir komunikacijskih sustava, gdje je izvorno bila primijenjena, i počela se široko koristiti u takvim netradicionalnim područjima kao što su fizika, teorija sustava, teorija upravljanja, biologija, matematika. Posebno je široku primjenu našla u tako relativno novim područjima znanosti kao što su računalstvo, teorija automata i zaštita podataka.
Stoga je nužna daljnja analiza temelja teorije informacija kako bi se proniklo u njezinu bit, koja je i danas u velikoj mjeri tajanstvena, te identificirale nove mogućnosti njezine primjene u rješavanju praktičnih problema.
Najvažnije pitanje na temelju kojeg se gradi ova ili ona teorija informacija je izbor informacijske mjere.
Uvelike ga određuju oni objekti, čija je analiza usmjerena na razvijenu teoriju.
Trenutno su Hartleyeve i Shannon mjere najšire korištene u teoriji informacija, a u nizu slučajeva Hartleyeva mjera je predstavljena kao poseban slučaj Shannon mjere.
Međutim, po svojoj namjeni, Hartleyeva mjera ima značajnu razliku od Shannon mjere, budući da je prva usmjerena na proučavanje determinističkih (nevjerojatnih) procesa konačne duljine, a druga na analizu vjerojatnosnih procesa bilo kojeg trajanja, radi analize od kojih se koriste statističke metode.
Prema tome, teorija informacija koja koristi jednu ili drugu od ovih mjera naziva se strukturna ili statistička teorija informacija.
Konačnost duljina analiziranih skupova podataka dovodi do mogućnosti brojanja njihovog broja jednostavnim nabrajanjem ili korištenjem bilo koje matematičke metode, kao i do upotrebe poznatih metoda vjerojatnosti za analizu informacija, na primjer, teorije konačni predikati ili teorija grupa. Kao rezultat toga, u današnjoj teoriji strukturnih informacija dobivene su metode kodiranja koje se ne mogu razviti na temelju teorije statističkih informacija.
Istodobno, statistička teorija omogućuje dobivanje graničnih teorema i provođenje informacijske analize poruka na temelju statističkog skupa podataka, umjesto da se analizira svaka poruka zasebno, kao što je slučaj u strukturnoj teoriji informacija.
Logaritamsku mjeru na kojoj se temelji strukturalna teorija informacija, gdje su i bilo koji pozitivni brojevi konačne duljine, koji nisu jednaki 0, a također nisu jednaki 1, koju je predložio Hartley 1928., nije logički potkrijepljena od strane njega, već je uvedena na na temelju intuitivnih razmatranja. Štoviše, ono što je važno, u ovom obliku može imati i pozitivne, at, i negativne, at, vrijednosti.
Trenutno je to opravdano svojstvom njegove aditivnosti, koje se očituje u činjenici da su opće informacije generirane zajedno iz dva izvora informacija i jednake su zbroju zasebnih informacija i iz svakog od njih, kao što je prikazano npr. , u
Doista, ako svaki od dva izvora također generira poruke, odnosno njihov ukupan broj
Uzimajući logaritam izraza (1), dobivamo jednakost
što dokazuje svojstvo aditivnosti Hartleyeve informacijske mjere.
Razmotrimo još jedno opravdanje Hartleyeve mjere primijenjeno na probleme pretraživanja (kontinuirane i diskretne).
Značajka problema diskretnog pretraživanja je konačnost početnog skupa objekata, koji s jednakom vjerojatnošću predstavljaju moguća rješenja problema diskretnog pretraživanja, među kojima se navodno nalazi jedno željeno. Njegovo se pretraživanje provodi u procesu rješavanja diskretnog problema, kao što se događa, na primjer, u poznatom problemu trgovačkog putnika.
U ovom problemu, željeni objekt je ruta minimalne duljine, odabrana od nekog početnog konačnog broja mogućih ruta.
Rješenje ovih problema, na ovaj ili onaj način, je u procesu sekvencijalnih particija početnog skupa mogućih objekata - rješenja u, ekvivalentne klase i testiranja svake od njih na prisutnost željenog objekta u njemu. U procesu testiranja eliminira se nesigurnost o prisutnosti željenog objekta, uz generiranje odgovarajuće količine informacija.
Poseban slučaj cijepanja bit će kada se početni mogući objekti podijele u klase ekvivalencije tako da sadrže strogo jednak broj cijelih objekata.
Očito, takve su particije moguće samo ako
gdje je maksimalni broj particija prije pojave klase s jednim objektom.
Ako u ovom slučaju uzmemo za mjeru informacije, onda se ona točno poklapa s logaritamskom Hartleyevom mjerom koju uzima baza:
Dakle, broj particija u jednakovjerojatnoj diskretnoj potrazi za objektom među mogućim je logaritamska mjera Hartleyeve informacije, i obrnuto, Hartleyeva mjera predstavlja, za slučaj koji razmatramo, broj uniformnih particija skupa objekte u klase ekvivalencije dok se ne pojavi jedan željeni.
U općem slučaju, kada se originalni skup koji se sastoji od objekata dijeli na klase ekvivalencije, svaki od njih može sadržavati objekte i, sukladno tome, vjerojatnost pronalaženja željenog objekta u jednoj ili drugoj klasi jednaka je
Pri čemu.
Shannon-ova formula za entropiju, koja određuje mjeru nesigurnosti pronalaženja željenog objekta u određenoj klasi ekvivalencije prije testiranja, tijekom prve particije
gdje tvrdi da vrijednost entropije doseže maksimum za prvu particiju
kada se željeni objekt nađe u klasama ekvivalencije s jednakim vjerojatnostima
U ovom slučaju.
Sukladno tome, maksimalna količina informacija generirana testom u procesu uklanjanja entropije također će biti jednaka ovoj vrijednosti
Slično, na preostalim particijama, ako su vjerojatnosti pronalaska željenog objekta u novim klasama ekvivalencije jednake, dobit će se maksimalna količina informacija jednaka 1.
Iz ovoga proizlazi da je kako bi se postigao maksimum informacija dobivenih testom, potrebno ih je podijeliti u klase ekvivalencije s jednakim brojem objekata u svakoj od njih u procesu cijepanja skupa objekata.
Budući da Hartleyeva mjera u odnosu na problem koji se razmatra koristi upravo takve particije, to znači da određuje maksimalnu moguću količinu informacija dobivenih u procesu traženja diskretnog objekta, a ako je to tako, onda broj particija i , prema tome, vrijeme pretraživanja treba biti minimalno u usporedbi s bilo kojim drugim mogućim particijama. Upravo je to temeljna značajka Hartleyeve informacijske mjere.
Na sl. Slika 1 prikazuje stablo s 3 ujednačene particije u 2 klase ekvivalencije izvornih objekata. Njegovi vrhovi sadrže broj objekata sadržanih u dobivenim klasama ekvivalencije. U ovom slučaju, maksimalna količina informacija se generira na svakom vrhu.
zbroj svih particija je sastavni bit.
Slika 1 - Stablo uniformnih particija sa,
Očito, broj uniformnih particija za ovaj slučaj je minimalan.
Drugo stablo particija na sl. 2 za neujednačene particije objekata u 2 klase ekvivalencije ima prosječan broj particija duž svih mogućih puteva particija
što je više od prosječnog broja particija, jednako onome dobivenom u prethodnom primjeru.
To je zbog činjenice da je količina informacija koja se generira na svakoj particiji u skladu sa Shannon-ovom formulom (6) manja od 1 bita, odnosno vrijeme pretraživanja za željeni objekt nije minimalno.
U tom slučaju treba biti ispunjeno osnovno pravilo pronalaženja informacija koje ćemo formulirati na sljedeći način.
Količina informacija potrebna za traženje jednog cijelog željenog objekta ne ovisi o metodi particioniranja izvornog skupa objekata u klase ekvivalencije i ostaje konstantna i jednaka.
To znači da bez obzira kakvo je stablo particioniranja početnog skupa objekata, potrebna količina informacija za pronalaženje jednog od njih uvijek će biti ista -.
Slika 2 - Stablo nejednolikih particija za, i
U praksi su raširene podjele na klase ekvivalencije. Dakle, na njima se temelji pozicijsko kodiranje riječi i brojeva, što se događa u procesu sekvencijalnog razdvajanja njihovih izvornih skupova u ekvivalentne klase pomoću slova i brojeva koji predstavljaju karakteristike tih klasa. Zajedno, ova slova i brojevi tvore abecede, a broj na koji su podijeljeni izvorni skupovi riječi i brojeva predstavlja kardinalnosti ovih abeceda. Broj particija određuje duljinu riječi i brojeva.
Prema tome, svako slovo ili znamenka riječi ili broja označava klasu ekvivalentnosti kojoj pripadaju u ovoj ili onoj particiji.
Glavni izraz za teoriju informacija koji je predložio Shannon je
U odnosu na problem pretraživanja tvrdi da je količina informacija proizvedena u njegovom procesu jednaka razlici između početne entropije
željeni objekt i ostatak
gdje je preostali broj objekata, među kojima je i željeni.
Očito, u procesu particija i testiranja, broj se smanjuje i, u konačnici, s
Posljednji izraz predstavlja važan uvjet, koji je formuliran kao načelo unitarnosti.
Njegova se bit svodi na činjenicu da će se potpuna informacija o objektu dobiti samo ako se u procesu pretraživanja pronađe jedan cijeli objekt.
Ako, onda to znači da se informacija o objektu djelomično prenosi prijemniku.
Poseban slučaj bit će za koji. Jer uzima negativnu vrijednost - i, prema tome
To znači da u slučaju koji se razmatra, kada se tijekom testiranja generiraju dodatne informacije o detaljima objekta koji pripada sada novim, prethodno neistraženim klasama ekvivalencije. Ovaj postupak detaljiranja objekta može potrajati neograničeno dugo. Na primjer, u stablu particija na Sl. 1 nakon vrha (klase ekvivalencije) koji sadrži jedan objekt nakon 3. particije, mogu postojati vrhovi koji sadrže 0,5 objekata (4. particija), zatim 0,25, itd. Svaki put se količina informacija o objektu povećava za 1 bit i može doseći bilo koju vrijednost.
Ovaj postupak potvrđuje dobro poznatu činjenicu u znanosti da se svaki objekt može beskonačno spoznati, međutim, načelo unitarnosti će u ovom slučaju biti povrijeđeno, budući da i prema tome, t.j. analizirani objekt ne može se identificirati kao integralni sustav.
Sva gornja razmišljanja također se odnose na probleme pretraživanja s određenim brojem objekata, pod uvjetom da su necijeli brojevi objekata dopušteni u klasama ekvivalencije dobivenim u procesu particija.
Iz nejednakosti proizlazi da
i shodno tome
gdje je entropija na;
Entropija na.
Teorem 1. Ako th particija broja objekata sadrži klase ekvivalencije s jednakim brojem objekata, tada dolazi do nejednakosti
Dokaz.
Iz uvjeta i, shodno tome, proizlazi da.
Teorem je dokazan.
Posljedica 1. Entropija i-te particije ograničena je nejednakošću
Teorem 2. Ako -ta particija broja objekata na sadrži klase ekvivalencije s brojem objekata, tada je nejednakost
Dokaz. Budući da je, dakle, gdje je broj objekata postavljenih prema klasama ekvivalencije -te particije.
Iz uvjeta i, shodno tome, odmah proizlazi da.
Teorem je dokazan.
Posljedica 1 Preostala entropija je ograničena nejednakošću
Na sl. 3, kao primjer za teoreme 1, 2, dano je stablo za tri particije s početnim brojem objekata. Iz njega se vidi da klase druge particije sadrže po 1,5 objekata, a klase treće particije po 0,75 objekata,. Duž okomite osi koordinata na slici su brojevi izvornih objekata, a horizontalno vrijednost ukupne informacije dobivene nakon sljedećeg dijeljenja 1, 2, 3 i vrijednost preostale informacije. Količina informacija generiranih u svakom koraku ostaje konstantna i maksimalna:
Teorem 3.
Dokaz. Otkad, pa gdje. Uzimajući logaritam posljednjeg izraza, dobivamo to
Teorem je dokazan.
Slika 3 - Stablo particija za.
Teorem 4
Dokaz. Otkad, pa gdje. Uzimajući logaritam posljednjeg izraza, dobivamo to.
Teorem je dokazan.
Posljedica 1
Budući da tijekom particija broj klasa dobivenih tijekom -te particije sadrži više, au klasama -te particije manji od 1 objekta, to znači da je količina informacija o objektu nakon -te particije
manji od potrebnog iznosa koji je potreban za identifikaciju željenog objekta, te se stoga ne može u potpunosti odrediti, a nakon . particije količina informacija
dolazi u izobilju, pa se kao rezultat ne određuje samo sam objekt, već i neki njegovi detalji, što je suvišno za rješavanje problema pretraživanja.
Štoviše, samo u prvom slučaju dolazi do kršenja načela unitarnosti, au drugom je to načelo očuvano i čak osigurano većom pouzdanošću. Dakle, u stvarnosti, u praksi, ako se analizirani skup objekata zamjenjuje najbližim skupom koji sadrži objekte, a traženje željenog objekta vrši se već među objektima tog skupa.
Stoga možemo govoriti o diskretnoj (cjelobrojnoj) mjeri informacije, koja je svojevrsna logaritamska Hartleyeva mjera, a to je prosječan broj particija na klase ekvivalencije koje sa jednakom vjerojatnošću sadrže isti broj objekata dok se ne dobije željeni . Ova mjera može se učinkovito koristiti u problemima diskretne matematike i kombinatorike, gdje su rješenja cjelobrojni objekti.
Međutim, particije se također mogu napraviti u necijeli broj klasa ekvivalencije. U ovom slučaju moguće je postići ispunjenje načela unitarnosti za bilo koju realnu vrijednost rješavanjem jednadžbe
relativno.
Na primjer, kada vrijednost treba odabrati približno jednaku. Zatim.
To znači da će i, sukladno tome, količina informacija dobivenih u 3 particije biti jednaka
U teorijskim radovima često se bira jednaka, a u praksi se najčešće koristi vrijednost baze logaritma na temelju koje se dobiva tako moderna mjera informacije kao što je bit, odnosno početni skup objekata za ovu mjeru sastoji se od, a željeni objekt nalazi se u jednoj podjeli u 2 klase ekvivalencije, od kojih svaka sadrži 1 objekt. Preostala entropija je u ovom slučaju jednaka 0 i, sukladno tome, za bit se promatra princip unitarnosti.
Gore dobivena vrijednost za cjelobrojni broj particija za početni skup objekata također se može dobiti na temelju sljedećih razmatranja.
Osnova logaritma kod koje
gdje je cijeli broj particija koje se mogu pronaći iz izraza
Odnosno
Iz (25) proizlazi da
Na primjer, za,
To znači da ako se particije izvornog skupa objekata prije dobivanja jednog cijelog broja pretvore u klase ekvivalencije, tada će se željeni objekt pronaći za cjelobrojne particije koje predstavljaju njihov minimalni mogući broj. U tom slučaju, tijekom svake particije, proizvodi se maksimalna količina informacija - jedan, a za particije - jedan.
Definirajmo omjer (25) kao početnu gustoću informacija prije prve particije:
Očito se gustoća informacija mijenja od 1 do u rasponu od 0 do 1.
Dakle, početna gustoća informacija
Nakon svake particije, gustoća informacija će se odrediti u skladu s izrazom
Dakle, za gore razmatrani primjer, nakon prve particije u dvije klase ekvivalencije
a nakon drugog
Iz izraza (28) proizlazi da se u slučaju nakon svake particije gustoća informacija smanjuje i tek kada ostane konstantna za sve particije i jednaka maksimumu - 1.
Iz (26) proizlazi da
i, prema tome, za
Stoga je, znajući, moguće odrediti potreban broj klasa ekvivalencije na koje je potrebno sekvencijalno podijeliti početni broj objekata da bi se dobio cjelobrojni broj particija. Budući da će to generirati najveću moguću količinu informacija, to će biti minimalni broj particija pod danim uvjetima.
Korol 1 teorema 4 pokazuje da je količina informacija generirana na posljednjoj particiji
Štoviše, u skladu s (16), nije jednako 0.
Za dobivanje potpune informacije o objektu dovoljno je da. Tada izraz (31) poprima oblik
Budući da iz (17) proizlazi da
tada se na temelju izraza može postići jednakost (32).
koji je za zadanu stvar zadovoljan odgovarajućom distribucijom vjerojatnosti.
Tako, na primjer, za
i shodno tome
Da bi se postigla posljednja jednakost, slijedi da su vjerojatnosti i jednake 0,15, respektivno; 0,85 ili 0,85; 0,15.
To znači da se broj dobiven u 2. dijeljenju veličine objekta tijekom 3. dijeljenja dijeli na dvije proporcionalne vjerojatnosti i dijela (0,225 i 1,275), koji se zatim analiziraju testom za odnos jedne od njih prema veličini objekta. željeni. Vjerojatnost njihovog pronalaska jednaka je ili, ili ovisno o njihovoj veličini.
Kao rezultat toga, dobit će se potpune informacije o jednom od objekata, međutim, osim jednoličnih pregrada, korištena je i nejednaka.
U slučaju čisto logaritamske mjere informacije s brojem početnih objekata za dobivanje, vrijednost bi trebala biti informacija dobivena kada su objekti nepotpuno podijeljeni na dva jednaka dijela tako da će svaki od njih sadržavati elemente dvaju objekata. U ovom slučaju, entropija će biti jednaka 0 jer će informacije dobivene u procesu posljednje cjelobrojne -te particije djelomično ići na eliminaciju smetnji tijekom testiranja koje stvaraju elementi drugog objekta.
Iz prethodnog razmatranja proizlazi da se informacija mjeri brojem particija skupa mogućih objekata dok se ne dobije jedan cijeli broj. Izvor informacija u ovom slučaju je test, koji označava klasu ekvivalencije u kojoj se nalazi traženi objekt. Pritom se informacija kao samostalna cjelina tijekom particija ni na koji način ne očituje izravno, ostajući izvan okvira postupka mjerenja (brojeći broj particija). U testu se očituje navođenjem rezultata usporedbe, što se očituje u podudarnosti ili nepodudarnosti obilježja klasa ekvivalencije s odgovarajućim obilježjima testa. To znači da test mora unaprijed imati informacije o karakteristikama analiziranih klasa ekvivalencije. Njegova konačna funkcija je dekodiranje obilježja ovih klasa i razvoj kontrolnih radnji koje pokazuju koju klasu analiziranog treba podijeliti u podklase u sljedećem koraku particija, odnosno da je objekt pronađen i postupak pretraživanja treba biti prekinut.
Za potragu za objektom bitno je da se on može nedvosmisleno odrediti tek nakon što se dobiju sve informacije o njemu, što se događa samo kada postoji rezidualna entropija. To je moguće samo ako se u procesu particija dobije klasa ekvivalencije koja sadrži jedan objekt. U ovom slučaju, entropija, a time i princip unitarnosti je zadovoljen.
Takav će slučaj biti kada je izvorni broj objekata. Ako će, tada s uniformnom particijom, posljednja klasa ekvivalencije sadržavati manje od jednog objekta, a kao rezultat će se dobiti dodatne informacije koje detaljiziraju objekt i ne koriste se u njegovom pretraživanju.
U praksi se u problemima kodiranja naširoko koristi zamjena početnog broja objekata brojem, što s jedne strane dovodi do zadovoljenja načela unitarnosti, a s druge strane do povećanja broja objekata. količinu suvišnih informacija generiranih testom.
Slični dokumenti
Koncept i ciljevi metode fokalnih objekata je potraga za novim idejama pridavanjem svojstava ili atributa nasumičnih objekata izvornom objektu. Aktiviranje asocijativnog mišljenja kao jedne od metoda heurističkog istraživanja u teoriji odlučivanja.
test, dodano 24.12.2012
Teorijske osnove primarne obrade statističkih informacija. Osobitosti određivanja minimalnog broja objekata promatranja pri ocjenjivanju pokazatelja pouzdanosti. Analiza vjerojatnosnog rada zakona normalne distribucije i Weibullove distribucije.
seminarski rad, dodan 22.03.2010
Osnovni pojmovi i metode kodiranja informacija. Značajke procesa dešifriranja crtičnog koda. Tehnologija i oprema bar-kodiranja. Korištenje tehnologije automatizirane identifikacije crtičnog koda u logističkim sustavima.
seminarski rad dodan 09.05.2013
Koncept entropije. Entropija kao mjera stupnja nesigurnosti. Koncept informacije. Informacije o mjerenju. Shannonov teorem kodiranja buke. Primjer korištenja entropije u predviđanju i njezin značaj za predviđanje.
sažetak, dodan 14.12.2008
Izrada ekonomsko-matematičkog modela i rješavanje problema linearnog programiranja matematičkim metodama. Problem transporta u formulaciji matrice i njezina svojstva. Izrada početnog izvedivog plana. Kriterij optimalnosti.
seminarski rad, dodan 16.01.2011
Osnove matematičkog modeliranja determinističkih i stohastičkih objekata. Identifikacija kontrolnih objekata prolaznim odgovorom. Dobivanje modela metodom višestruke linearne regresije i provjera njegove adekvatnosti prema Fisherovom kriteriju.
seminarski rad dodan 14.10.2014
Najjednostavniji algoritmi za usmjereno nasumično pretraživanje. Algoritam najboljeg uzorka s vodećim hiperkvadratom. Višekanalni statistički optimizator s slučajnim pretraživanjem. Metoda statističkog gradijenta. Najbolji uzorak lokalnog slučajnog pretraživanja.
seminarski rad, dodan 08.02.2015
Pojmovi i definicije teorije genetskih algoritama. Matematičke osnove inventivne fizike. Genetski algoritam za inventivni problem. Opis operatora genetskih algoritama. Sustav mentalnog traženja i praćenja u umu izumitelja.
seminarski rad, dodan 22.05.2012
Konstrukcija matematičkog modela dualnog problema (sustav ograničenja jedinične dobiti i ciljna funkcija ukupnih troškova za sirovine. Određivanje optimalnog skupa cijena sirovina, osiguravajući minimum ukupnih troškova za sirovine. Analiza varijabli.
test, dodano 18.05.2015
Planiranje eksperimenata kao matematička i statistička disciplina. Potražite optimalne uvjete i pravila za provođenje eksperimenata kako biste dobili informacije o objektu s najnižim troškovima rada. Teorija istraživanja korelacije, mjere korelacije.
Kombinatorna mjera
Za bolje razumijevanje, razmotrite nekoliko jednostavnih primjera.
Primjer 1... Napravimo eksperiment. Uzmimo kocku. Ima šest strana, svaka s brojevima od jedan do šest.
Hajde da ga bacimo. Kada je kocka bačena, jedan od brojeva na stranama kockice ispada. Rezultirajući broj je rezultat našeg iskustva.
Bacanjem kocke bilo koji broj puta, možemo dobiti samo šest mogućih brojeva. Označimo to kao N = 6.
Ovaj primjer vam omogućuje da prijeđete na koncept kombinatorne mjere informacije i date sljedeću definiciju:
Kombinatorna mjera informacija N je način mjerenja količine informacija procjenom broja mogućih kombinacija informacija.
Budući da je u primjeru s kockom moguće samo šest varijanti ishoda eksperimenta, odnosno šest kombinacija, onda je količina informacija u skladu s kombinatornom mjerom N = 6 kombinacija.
Razmotrimo sljedeći primjer.
Primjer 2. Neka se da jedna od decimalnih znamenki, na primjer, znamenka 8 i jedna od heksadecimalnih znamenki - na primjer, znamenka 6 (možete uzeti bilo koju drugu heksadecimalnu - 8, B, F, itd.). Sada, u skladu s definicijom kombinatorne mjere, odredimo količinu informacija sadržanih u svakom od ovih brojeva. Budući da je znamenka 8 decimalna, što znači da predstavlja jedan znak od deset, N 8 = 10 kombinacija. Isto tako, broj 6 predstavlja jedan od šesnaest znakova, te stoga N 6 = 16 kombinacija. Dakle, heksadecimalna znamenka sadrži više informacija nego decimalna.
Iz razmatranog primjera možemo zaključiti da što je manje brojeva u osnovi brojevnog sustava, to manje informacija nosi jedan od njegovih elemenata.
Engleski inženjer R. Hartley predložio je mjerenje količine informacija binarnom logaritamskom mjerom:
gdje je N broj različitih kombinacija informacija. Jedinica mjerenja informacija u ovom mjerenju je bit.
Budući da formula koju je izveo R. Hartley uzima u obzir broj mogućih kombinacija N, zanimljivo je znati kakvu procjenu količine informacija daje binarna logaritamska mjera za gore razmatrane primjere.
Brojanje daje sljedeće rezultate:
u primjeru kocke I = log 2 6 = 2,585 bita;
u primjeru s decimalnim brojevnim sustavom, I = log 2 10 = 3,322 bita;
u primjeru s heksadecimalnim zapisom I = log 2 16 = 4 bita;
u primjeru s binarnim sustavom, I = log 2 2 = 1 bit.
Posljednja znamenka označava da svaka znamenka binarnog brojevnog sustava sadrži jedan bit informacije. Općenito, u tehničkim sustavima, binarni se brojevni sustav koristi za kodiranje dva moguća stanja, na primjer, 1 znači prisutnost električne struje u mreži, 0 znači njezinu odsutnost.
U svim gore navedenim primjerima, ishodi eksperimenata bili su jednako vjerojatni i međusobno neovisni. To znači da kada se kocka baci, svako od šest lica ima jednaku vjerojatnost uspješnog ishoda. I također da rezultat sljedećeg bacanja ni na koji način ne ovisi o rezultatu prethodnog.
Jednako vjerojatni i međusobno neovisni događaji u stvarnom životu prilično su rijetki. Ako obratite pozornost na govorne jezike, na primjer ruski, onda možete izvući zanimljive zaključke. Kako bi se pojednostavila teorijska istraživanja u informatici, općenito je prihvaćeno da se ruska abeceda sastoji od 32 znaka (e i e, kao i b i b se međusobno ne razlikuju, ali se dodaje razmak između riječi). Ako pretpostavimo da se svako slovo ruskog jezika u poruci pojavljuje jednako često i iza svakog slova može biti bilo koji drugi simbol, tada možemo odrediti količinu informacija u svakom simbolu ruskog jezika kao:
I = log 2 32 = 5.
Međutim, zapravo stvari nisu tako. U svim govornim jezicima neka slova se nalaze češće, druga mnogo rjeđe. Studije kažu da postoje sljedeća ponavljanja na 1000 slova:
Osim toga, vjerojatnost pojavljivanja pojedinih slova ovisi o tome koja slova im prethode. Dakle, u ruskom jeziku meki znak ne može slijediti samoglasnik, četiri samoglasnika ne mogu stajati u nizu i tako dalje. Svaki govorni jezik ima svoje karakteristike i obrasce. Stoga se količina informacija u porukama izgrađenim od simbola bilo kojeg govornog jezika ne može procijeniti ni kombinatornim ni binarnim logaritamskim mjerama.
1U radu je prikazan model za određivanje logaritamske mjere informacije. Iz strukture tehničkog sustava izdvaja se objekt te se razmatraju njegova vjerojatnosna stanja kvara i rada. Kada su stanja jednako vjerojatna, predlaže se korištenje Hartleyeve mjere, a za nejednakovjerojatna stanja Shannon mjere za jedan ili više objekata, ako su međusobno neovisni. Model uzima u obzir mogućnost određivanja mjere informacije samo za jedan objekt. Sva stanja objekata podijeljena su u dvije klase. Svaki od odabranih razreda formira se na temelju podataka o tijeku neujednačenih događaja. Za svaku klasu stanja objekta određuju se ukupne i generalizirane vjerojatnosti operativnosti i kvara. Te su vjerojatnosti našle primjenu u dobivenim matematičkim izrazima za određivanje mjere informacijske nesigurnosti. Pokazuje se da su dobivene formule identične i primjenjive i pri korištenju ukupne i generalizirane vjerojatnosti.
LOGARITAMSKA MJERA INFORMACIJE STANJA TEHNIČKOG OBJEKTA
Dulesov A.S. 1 Kabaeva E.V. jedan1 Državno sveučilište Khakass n.a. N.F. Katanov
Sažetak:
U članku je prikazan modifikator logaritamske mjere informacijskog modela. Iz tehničkog sustava odabire se objekt te se analiziraju njegova vjerojatnosna stanja kvara i rada. Kada su stanja jednako vjerojatna preporuča se koristiti Hartleyjevu mjeru, a kada nisu jednakovjerojatna Shanonova mjera je poželjnija za jedan ili više međusobno neovisnih objekata. Model uzima u obzir mogućnost modificiranja mjere informacija samo za jedan objekt. Sva stanja objekta podijeljena su u dvije klase. Svaka klasa temelji se na podacima o tijeku neujednačenih događaja. Ukupne i generalizirane vjerojatnosti učinkovitosti i kvara određuju se za stanja objekta svake klase. Proučene vjerojatnosti koriste se u matematičkim formulama za modificiranje mjere nesigurnosti informacija. Pokazuje se da su formule identične i da se mogu primijeniti i za ukupnu i za generaliziranu vjerojatnost.
Ključne riječi:
Bibliografska referenca
Dulesov A.S., Kabaeva E.V. LOGARITAMSKA MJERA INFORMACIJE STANJA TEHNIČKOG OBJEKTA // Znanstveni pregled. Tehnička znanost. - 2014. - Broj 1. - Str. 146-146;URL: http://science-engineering.ru/ru/article/view?id=204 (datum pristupa: 06.04.2019.). Predstavljamo Vam časopise koje izdaje "Akademija prirodnih znanosti"
Ovom mjerom utvrđuje se korisnost informacije (vrijednosti) za korisnika za postizanje postavljenog cilja.
Cijela teorija informacija temelji se na otkriću R. Hartleya 1928. godine, a ta se informacija može kvantificirati.
Hartleyev pristup temelji se na temeljnim teoretskim, u biti kombinatornim osnovama, kao i na nekoliko intuitivno jasnih i sasvim očitih pretpostavki.
Ako postoji mnogo elemenata i jedan od njih je odabran, tada se time prenosi ili generira određena količina informacija. Ova informacija sastoji se u činjenici da ako prije odabira nije bilo poznato koji će element biti odabran, onda nakon odabira postaje poznat. Potrebno je pronaći vrstu funkcije koja povezuje količinu informacija dobivene odabirom određenog elementa iz skupa, s brojem elemenata u tom skupu, odnosno s njegovom kardinalnošću. mjerni algoritamski pragmatični bajt
Ako se skup elemenata iz kojih se vrši izbor sastoji od jednog jedinog elementa, onda je jasno da je njegov izbor unaprijed određen, odnosno da nema neizvjesnosti izbora – postoji nula količina informacija.
Ako se skup sastoji od dva elementa, tada je neizvjesnost izbora minimalna. U ovom slučaju, količina informacija je također minimalna.
Što je više elemenata u skupu, veća je nesigurnost izbora, više informacija.
Broj tih brojeva (elemenata) u skupu je: N = 2i
Iz ovih očitih razmatranja, slijedi prvi zahtjev: informacija je monotona funkcija kardinalnosti izvornog skupa.
Odabirom jednog broja dobivamo sljedeću količinu informacija: i = Log 2 (N)
Dakle, količina informacija sadržanih u binarnom broju jednaka je broju binarnih znamenki u tom broju.
Ovaj izraz je Hartleyeva formula za količinu informacija.
Kada se duljina broja udvostruči, količina informacija u njemu također bi se trebala udvostručiti, unatoč činjenici da se broj brojeva u skupu eksponencijalno povećava (na kvadrat, ako su brojevi binarni), odnosno ako je N2 = ( N1) 2, tada je I2 = 2 * I1,
F (N1 * N1) = F (N1) + F (N1).
To je nemoguće ako je količina informacija izražena kao linearna funkcija broja elemenata u skupu. Ali postoji poznata funkcija koja ima upravo takvo svojstvo: to je Log:
Dnevnik 2 (N2) = Dnevnik 2 (N1) 2 = 2 * Dnevnik 2 (N1)
Ovaj drugi zahtjev naziva se zahtjevom aditivnosti.
Dakle, logaritamska mjera informacije koju je predložio Hartley istovremeno zadovoljava uvjete monotonosti i aditivnosti. Sam Hartley je došao do svoje mjere na temelju heurističkih razmatranja sličnih onima koji su upravo iznijeli, ali sada je rigorozno dokazano da logaritamska mjera za količinu informacija nedvosmisleno proizlazi iz ova dva uvjeta koja je postulirao.
Primjer. Ima 192 novčića. Poznato je da je jedan od njih lažan, na primjer, lakši. Odredite koliko je vaganja potrebno učiniti da biste ga identificirali. Stavimo li na vagu različit broj novčića, dobivamo tri nezavisne mogućnosti: a) lijeva čaša je niža; b) desna čašica je niža; c) čašice su uravnotežene. Dakle, svako vaganje daje količinu informacija I = log23, dakle, da bi se odredio lažni novčić, mora se napraviti najmanje k vaganja, pri čemu najmanji k zadovoljava uvjet log23k log2192. Dakle, k 5 ili k = 4 (ili k = 5 - računamo li kao jedno vaganje i ono zadnje, što je očito za određivanje novčića). Dakle, potrebno je napraviti najmanje pet vaganja (5 je dovoljno).
Upute za procjenu količine informacija
U teoriji informacija postoje tri glavna smjera: strukturni, statistički i semantički.
Strukturni- razmatra diskretnu strukturu informacijskih nizova i njihovo mjerenje jednostavnim prebrojavanjem informacijskih elemenata. (Najjednostavnije kodiranje nizova je kombinatorna metoda.)
Statistički smjer operira konceptom entropije kao mjere neizvjesnosti, odnosno ovdje se uzima u obzir vjerojatnost pojave određenih poruka.
Semantički smjer uzima u obzir prikladnost, vrijednost ili materijalnost informacija.
Ova tri područja imaju svoja specifična područja primjene. Strukturni služi za procjenu sposobnosti tehničkih sredstava različitih sustava za obradu informacija, bez obzira na specifične uvjete njihove uporabe. Statistički procjene se koriste kada se razmatraju pitanja prijenosa podataka, određujući propusnost komunikacijskih kanala. Semantički koriste se u rješavanju problema izgradnje sustava za prijenos informacija za razvoj kodirnih uređaja i u procjeni učinkovitosti različitih uređaja.
Strukturne mjere informacija
Strukturne mjere uzimaju u obzir samo diskretnu strukturu informacija. Elementi informacijskog kompleksa su kvanti – nedjeljivi dijelovi informacije. Razlikovati geometrijski, kombinatorski i aditiv mjere.
Definicija informacije geometrijski metoda je mjerenje duljine linije, površine ili volumena geometrijskog modela informacijskog kompleksa u broju kvanta. Određuje maksimalni mogući broj kvanta u zadanim strukturnim dimenzijama informacijski kapacitet sustava... Informacijski kapacitet je broj koji označava broj kvanta u cijelom informacijskom nizu. Prema sl. 1.2, G, količina informacija M u kompleksu x(T, N), određena geometrijskom metodom, jednaka je
X, T,N - intervalima u kojima se uzimaju diskretni uzorci.
V kombinatorski količina informacija izračunava se kao broj kombinacija elemenata. Ovdje se uzimaju u obzir moguće ili realizirane kombinacije.
U mnogim slučajevima, diskretna poruka može se promatrati kao riječ koja se sastoji od niza elemenata. n, dano abecedom koja se sastoji od T elementi-slova. Odredimo broj različitih poruka koje se mogu oblikovati iz zadane abecede. Ako se poruka sastoji od dva elementa ( n = 2), tada ukupno mogu postojati različite poruke. Na primjer, deset znamenki (0, 1, 2, ..., 9) može tvoriti sto različitih brojeva od 0 do 99. Ako je broj elemenata tri, tada je broj različitih poruka jednak, i tako dalje.
Dakle, broj mogućih poruka određen je:
gdje L- broj poruka; P- broj elemenata u riječi; T- abeceda.
Više L, što se svaka poruka može razlikovati od ostalih. Veličina L može se uzeti kao mjera količine informacija. Međutim, izbor L kao mjera količine informacija povezana je s neugodnostima: prvo, kada L= 1 informacija je jednaka nuli, budući da je priroda poruke unaprijed poznata (tj. postoji poruka, a informacija je jednaka nuli); drugo, nije ispunjen uvjet linearnog zbrajanja količine informacija, t.j. uvjet aditivnosti. Ako, na primjer, prvi izvor karakteriziraju različite poruke, a drugi -, tada je ukupan broj različitih poruka za dva izvora određen proizvodom
L = 
.
Za k izvori ukupan broj mogućih različitih poruka je
Stoga je Hartley uveo logaritamsku (aditivnu) mjeru količine informacija, koja omogućuje procjenu količine informacija sadržanih u poruci logaritmom broja mogućih poruka.
ja = 
.
Zatim kod L = 1ja = 0, tj. informacija nema.
Za k izvore informacija
oni. ja = 
.
Statističke mjere informacija
U statičkom probabilističkom pristupu dobivanje određene količine informacija smatra se rezultatom određenog izbora među mogućim porukama. Primatelj informacije može unaprijed znati ili pogoditi dio. Kada dođe poruka o događajima koji se često događaju, čija je vjerojatnost R teži jedan, onda je takva poruka neinformativna. U prosjeku su jednako neinformativne i poruke o događajima čije vjerojatnosti teže nuli, t.j. gotovo nemogući događaji, budući da se o takvim događajima izvještava iznimno rijetko.
Događaji se mogu promatrati kao mogući ishodi nekog iskustva. Svi ishodi čine potpunu grupu događaja ili cjelinu.
Ansambl karakterizira činjenica da je zbroj vjerojatnosti svih poruka u njemu jednak jedan, tj.
.
Razmotrite složene poruke koje se sastoje od P elemenata, od kojih je svaki neovisan i bira se iz abecede koja sadrži T slova, s vjerojatnostima odabira elemenata 
odnosno. Pretpostavimo da neka poruka uključuje elemente abecede, elemente itd. Takvu poruku karakterizira tablica (tablica 1.1).
Tablica 1.1
| Vrsta predmeta | ... | ... | |||||
| Broj elemenata | ... | ... | |||||
|
Vjerojatnosti izbora elementi |
Vjerojatnost da će poruka uključivati elemente je jednaka, a vjerojatnost formiranja poruke od ,,, ... ,, ..., elemenata će biti jednaka
P = 
. (1.1)
Za duge duljine P izvor će formirati tipične poruke u kojima relativna učestalost pojavljivanja pojedinih elemenata teži vjerojatnosti pojave tih elemenata, tj.
, (1.2)
te vjerojatnost pojave tipičnih poruka R bit će isti i može se naći iz (1.1), (1.2):
P =. (1.3)
Definirajmo broj tipičnih poruka:
budući da ukupna vjerojatnost svih tipičnih poruka teži jedinstvu s povećanjem duljine poruke.
Iako je broj mogućih poruka, izvor će praktički samo generirati L tipične poruke, a vjerojatnost pojave drugih poruka teži nuli.
Pronađite količinu informacija ja sadržano u jednoj poruci:
ja = zapisnik L = - zapisnik 
. (1.5)
Ovaj izraz (Shannonova formula) daje potpuniju sliku izvora informacija nego aditivna mjera (Hartleyeva mjera). Objasnimo to sljedećim primjerom. Bacimo li novčić, dobivamo poruku iz dva moguća stanja (glava ili repa), odnosno abecedu poruka od dva slova. Ako bacimo kocku kojoj je jedno lice plavo, a druga lica ružičasto obojena, onda i ovdje imamo abecedu od dva slova (plava ili ružičasta). Za pisanje primljenog teksta (poruke), u oba slučaja, jedna binarna znamenka po slovu ( n = 1, t = 2).
Prema Hartleyju ovdje u oba slučaja
Ali znamo da je u prvom slučaju vjerojatnost svakog ishoda eksperimenta 0,5 (= 0,5). I u drugom slučaju, i sukladno tome. Hartleyjeva mjera to zanemaruje.
S jednakom vjerojatnošću simbola (poseban slučaj), Shanonova formula degenerira se u Hartleyevu formulu:
ja = -
n 
.
Za kutiju za novčiće:
ja = - 1
.
Za kutiju s kockicama:
ja = - 1
.
Poziva se količina informacija po elementu poruke specifični sadržaj informacija ili entropija.
H =
. (1.6)
Količina informacija i entropija su logaritamske mjere i mjere se u istim jedinicama. Baza logaritma definira mjernu jedinicu za količinu informacija i entropiju. Binarni odgovara bazi logaritma, jednakom dva, i naziva se bit. Jedan bit je količina informacija u poruci u jednom od dva jednako vjerojatna ishoda nekog iskustva. Također se koriste prirodni (NIT) i decimalni (DIT) logaritmi. Slične jedinice koriste se pri procjeni količine informacija pomoću Hartleyeve mjere.
Iz Shanonove formule proizlazi da količina informacija sadržanih u poruci ovisi o broju elemenata poruke P, abeceda T i vjerojatnosti odabira predmeta. Ovisnost ja iz P je linearni.
Napomenimo neka svojstva entropije.
1. Entropija je realna, ograničena i nenegativna veličina, tj H> 0. Ovo svojstvo proizlazi iz izraza (1.6).
2. Entropija je minimalna i jednaka nuli ako je poruka unaprijed poznata, odnosno ako je = 1, i
3. Entropija je maksimalna ako su sva stanja elemenata poruke jednako vjerojatna.
H =, ako . (1.7)
Vrijednost maksimalne entropije nalazimo pomoću (1.6) i (1.7):
Izvedivost, korisnost informacija za rješavanje problema može se ocijeniti učinkom dobivene informacije na rješenje problema. Ako se povećava vjerojatnost postizanja cilja, tada se informacije trebaju smatrati korisnima.
