Informacije o semantičkoj mjeri. Poređenje mjera informacija

Za mjerenje semantičkog sadržaja informacije, tj. Najveće priznanje dobila je njena količina na semantičkom nivou, mjera tezaurusa, koja povezuje semantička svojstva informacije sa sposobnošću korisnika da primi dolaznu poruku. Za to se koristi koncept korisnički tezaurus.

Tezaurus je zbirka informacija koje drži korisnik ili sistem.

Ovisno o odnosu semantičkog sadržaja informacija S i korisnički tezaurus S p količina semantičkih informacija se mijenja ja c, koje korisnik percipira i uključuje u budućnosti u svoj tezaurus. Priroda ove zavisnosti je prikazana na slici 2.2. Razmotrimo dva ograničavajuća slučaja kada je količina semantičkih informacija I c jednako 0:

at S p 0 korisnik ne percipira, ne razumije dolazne informacije;

at Sp; korisnik zna sve, ali mu dolazne informacije nisu potrebne.

Rice. 2.2. Zavisnost količine semantičkih informacija. percipira potrošač, iz njegovog tezaurusa Ic = f (Sp)

Maksimalna količina semantičkih informacija I c potrošač stječe kada se dogovori o njegovom semantičkom sadržaju S sa svojim tezaurusom S p (S str = S p opt), kada su dolazne informacije razumljive korisniku i nose mu ranije nepoznate (nedostajuće u njegovom tezaurusu) informacije.

Shodno tome, količina semantičkih informacija u poruci, količina novog znanja koje je primio korisnik je relativna vrijednost. Jedna te ista poruka može imati semantički sadržaj za kompetentnog korisnika i biti besmislena (semantički šum) za nekompetentnog korisnika.

Prilikom procjene semantičkog (sadržajnog) aspekta informacije potrebno je težiti slaganju vrijednosti S i S p.

Faktor sadržaja može poslužiti kao relativna mjera količine semantičkih informacija WITH, koji je definiran kao omjer količine semantičke informacije i njenog volumena:

Pragmatična mjera informacija

Ovom mjerom utvrđuje se korisnost informacije (vrijednosti) za korisnika za postizanje postavljenog cilja. Ova mjera je također relativna vrijednost, zbog specifičnosti korištenja ovih informacija u određenom sistemu. Preporučljivo je mjeriti vrijednost informacija u istim jedinicama (ili njima blizu) u kojima se mjeri funkcija cilja.

Primjer 2.5. U ekonomskom sistemu pragmatična svojstva (vrijednost) informacije mogu se odrediti povećanjem ekonomskog efekta funkcionisanja koji se postiže korištenjem ovih informacija za upravljanje sistemom:

Inb (g) = P (g / b) -P (g),

gdje inb (g)- vrijednost informativne poruke b za kontrolni sistem g,

N (g)-a priori očekivani ekonomski efekat funkcionisanja sistema upravljanja g ,

P (g / b)- očekivani efekat funkcionisanja sistema g, pod uslovom da se za kontrolu koriste informacije sadržane u poruci b.

Poređenja radi, uvedene mjere informisanja prikazane su u tabeli 2.1.

Tabela 2.1. Informacijske jedinice i primjeri

KVALITETA INFORMACIJA

Mogućnost i efikasnost korišćenja informacija određuje takav osnovni potrošač indikatori kvaliteta, kao reprezentativnost, smislenost, dovoljnost, dostupnost, relevantnost, pravovremenost, tačnost, pouzdanost, održivost.

• Reprezentativnost informacija je povezana s ispravnošću njenog odabira i formiranja kako bi adekvatno odražavala svojstva objekta. Ovdje su najvažnije:

• ispravnost koncepta na osnovu kojeg je formulisan originalni koncept;

• valjanost izbora bitnih karakteristika i odnosa prikazane pojave.

• Kršenje reprezentativnosti informacija često dovodi do značajnih grešaka.

• Pithiness informacija odražava semantički kapacitet, jednak odnosu količine semantičke informacije u poruci prema količini obrađenih podataka, tj. C = Ic / Vd.

Sa povećanjem sadržaja informacija povećava se semantička propusnost informacionog sistema, jer se za dobijanje istih informacija mora konvertovati manja količina podataka.

Uz koeficijent smislenosti C, koji odražava semantički aspekt, moguće je koristiti i koeficijent informativnog sadržaja, koji se karakteriše odnosom količine sintaktičke informacije (prema Šenonu) prema količini podataka. Y = I / Vd.

• Dovoljnost (potpunost) informacija znači da sadrži minimalan, ali dovoljan sastav (skup indikatora) za donošenje ispravne odluke. Koncept potpunosti informacije povezan je sa njenim semantičkim sadržajem (semantikom) i pragmatikom. Kao nepotpuna, tj. nedovoljno za donošenje ispravne odluke, a suvišne informacije smanjuju efektivnost odluka koje donosi korisnik.

• Dostupnost informacije za percepciju korisnika osiguravaju se primjenom odgovarajućih procedura za njihov prijem i transformaciju. Na primjer, u informacionom sistemu, informacije se pretvaraju u pristupačan oblik lak za upotrebu. Ovo se posebno postiže usklađivanjem njegove semantičke forme sa korisničkim tezaurusom.

• Relevantnost informacija je određena stepenom očuvanosti vrednosti informacije za menadžment u trenutku njenog korišćenja i zavisi od dinamike promene njenih karakteristika i od vremenskog intervala koji je prošao od nastanka ove informacije.

• Pravovremenost informacija znači njen dolazak najkasnije u unaprijed određenom trenutku, usklađenom sa vremenom rješavanja problema.

• Preciznost informacija je određena stepenom blizine primljene informacije stvarnom stanju objekta, procesa, pojave itd. Za informacije prikazane digitalnim kodom, poznata su četiri koncepta klasifikacije tačnosti:

• formalna tačnost, mjerena vrijednošću jedinice najmanje značajne cifre broja;

• stvarna tačnost, određena vrijednošću jedinice posljednje cifre broja, čija je tačnost zagarantovana;

• maksimalna tačnost koja se može postići u specifičnim uslovima funkcionisanja sistema;

• potrebna tačnost, određena funkcionalnom svrhom indikatora.

Kredibilitet informacije su određene svojim svojstvom da odražavaju stvarne objekte sa potrebnom tačnošću. Pouzdanost informacija mjeri se stepenom pouzdanosti tražene tačnosti, tj. vjerovatnoća da se vrijednost parametra prikazanog informacijama razlikuje od prave vrijednosti ovog parametra u okviru tražene tačnosti.

Održivost informacije odražavaju njihovu sposobnost da odgovori na promjene u originalnim podacima bez narušavanja potrebne tačnosti. Stabilnost informacije, kao i njena reprezentativnost, zavisi od izabranog načina njenog odabira i formiranja.

U zaključku treba napomenuti da su parametri kvaliteta informacija kao što su reprezentativnost, smislenost, dovoljnost, dostupnost, održivost u potpunosti određeni na metodološkom nivou razvoja informacionih sistema. Parametri relevantnosti, ažurnosti, tačnosti i pouzdanosti u većoj mjeri se određuju i na metodološkom nivou, ali na njihovu vrijednost značajno utiče i priroda funkcionisanja sistema, prije svega njegova pouzdanost. Istovremeno, parametri relevantnosti i tačnosti su striktno povezani sa parametrima pravovremenosti i pouzdanosti, respektivno.

Sintaktička mjera informacije

Kao sintaktička mjera, količina informacija predstavlja količinu podataka.

O veličina podataka V d u poruci "u" mjeri se broj karaktera (bitova) u ovoj poruci. Kao što smo spomenuli, u binarnom sistemu jedinica mjere je bit. U praksi, uz ovu "najmanju" jedinicu mjerenja podataka, često se koristi i veća jedinica - bajt jednak 8 bita... Radi praktičnosti, kao brojila se koriste kilo- (10 3), mega- (10 6), giga- (10 9) i tera- (10 12) bajtovi, itd. Svima poznati bajtovi mjere obim kratkih pisanih poruka, debelih knjiga, muzičkih djela, slika, ali i softverskih proizvoda. Jasno je da ova mjera ni na koji način ne može okarakterisati šta i zašto ove jedinice informacija nose. Izmjerite u kilobajtima roman L.N. Tolstojev "Rat i mir" je koristan, na primjer, za razumijevanje da li on može stati na slobodan prostor na tvrdom disku. Ovo je jednako korisno kao i mjerenje veličine knjige - njene visine, debljine i širine - da se procijeni hoće li stati na policu za knjige ili je izmjeriti da se vidi hoće li portfolio izdržati kombiniranu težinu.

Dakle. jedna sintaktička mjera informacija očito nije dovoljna da okarakteriše poruku: u našem primjeru s vremenom, u drugom slučaju, poruka prijatelja je sadržavala količinu podataka različitu od nule, ali nije sadržavala informacije koje su nam potrebne. Zaključak o korisnosti informacija proizilazi iz razmatranja sadržaja poruke. Za mjerenje semantičkog sadržaja informacije, tj. njegovu količinu na semantičkom nivou, uvešćemo koncept „tezaurusa primaoca informacije“.

Tezaurus je skup informacija i veza između njih, koje ima primalac informacije. Možemo reći da je tezaurus akumulirano znanje primaoca.

U vrlo jednostavnom slučaju, kada je primalac tehnički uređaj - personalni računar, tezaurus formira "oružje" računara - programi i uređaji koji su ugrađeni u njega koji vam omogućavaju da primate, obrađujete i prezentujete tekstualne poruke u različitim jezicima koji koriste različite alfabete, fontove, kao i audio i video informacije iz lokalne ili svjetske mreže. Ako vaš računar nema mrežnu karticu, ne možete očekivati ​​da ćete primati poruke od drugih korisnika mreže u bilo kom obliku. Nedostatak drajvera sa ruskim fontovima neće dozvoliti rad sa porukama na ruskom itd.

Ako je primalac osoba, njegov tezaurus je i svojevrsno intelektualno naoružanje osobe, arsenal njegovog znanja. Takođe čini neku vrstu filtera za dolazne poruke. Primljena poruka se obrađuje korištenjem raspoloživog znanja u cilju dobivanja informacija. Ako je tezaurus vrlo bogat, onda je arsenal znanja dubok i raznolik, omogućit će vam da izvučete informacije iz gotovo svake poruke. Mali tezaurus sa malo znanja može postati prepreka razumijevanju poruka koje zahtijevaju bolju pripremu.

Imajte na umu, međutim, da samo razumijevanje poruke nije dovoljno da utiče na donošenje odluka – ono mora sadržavati informacije potrebne za to, kojih nema u našem tezaurusu i koje želimo uključiti u njega. U slučaju vremena, naš tezaurus nije imao najnovije, "ažurne" informacije o vremenu na području univerziteta. Ako poruka koju primimo promijeni naš tezaurus, naš izbor rješenja može se promijeniti. Takva promjena u tezaurusu služi kao semantička mjera količine informacija, svojevrsna mjera korisnosti primljene poruke.

Formalno, količina semantičkih informacija ja s, dalje uključen u tezaurus, određen je odnosom primaočevog tezaurusa S i, te sadržaj informacija prenesenih u poruci "in" S. Grafički prikaz ove zavisnosti je prikazan na slici 1.

Razmotrimo slučajeve kada je količina semantičkih informacija I s jednako ili blizu nule:

Za S i= 0 primalac ne percipira dolaznu informaciju;

U 0< Si< S 0 получатель воспринимает, но не понимает поступившую в сообщении информацию;

Za S i- »∞primalac ima sveobuhvatno znanje i pristigle informacije ne mogu popuniti njegov tezaurus.

Rice. Zavisnost količine semantičkih informacija o tezaurusu primaoca

Sa tezaurusom S i> S 0 količina semantičkih informacija I s preuzeto iz priložene poruke β informacije Su početku brzo raste sa rastom primateljevog sopstvenog tezaurusa, i onda - počevši od neke vrijednosti S i - ... Pad količine informacija korisnih primatelju nastaje zbog činjenice da je baza znanja primaoca postala prilično solidna i postaje sve teže iznenaditi ga nečim novim.

To se može ilustrirati na primjeru studenata koji studiraju ekonomsku informatiku i čitaju materijale sa sajtova o korporativnom IP-u. . Na početku, kada se formiraju prva znanja o informacionim sistemima, čitanje malo daje – ima mnogo nerazumljivih pojmova, skraćenica, čak ni naslovi nisu svi jasni. Upornost u čitanju knjiga, pohađanju predavanja i seminara, komunikaciji sa profesionalcima pomažu u popunjavanju tezaurusa. S vremenom čitanje materijala stranice postaje ugodno i korisno, a do kraja vaše profesionalne karijere - nakon što napišete mnogo članaka i knjiga - dobivanje novih korisnih informacija sa popularne stranice bit će mnogo rjeđe.

Možemo govoriti o optimalnom za ovu informaciju S tezaurus primaoca, u kojem će dobiti maksimalan broj Is, kao i optimalne informacije u poruci "c" za ovaj tezaurus Sj. U našem primjeru, kada je primalac računar, optimalni tezaurus znači da njegov hardver i instalirani softver percipiraju i ispravno tumače za korisnika sve znakove sadržane u poruci "B" koji prenose značenje informacije S. Ako poruka sadrži znakove koji ne odgovaraju sadržaju tezaurusa, neke informacije će se izgubiti i vrijednost I sće se smanjiti.

S druge strane, ako znamo da primalac nije u mogućnosti da prima tekstove na ruskom (njegov kompjuter nema potrebne drajvere), te strane jezike na kojima se naša poruka može poslati, ni on ni mi nismo učili, za prenošenje potrebnih informacija možemo pribjeći transliteraciji - pisanju ruskih tekstova pomoću slova stranog alfabeta koje dobro percipira računar primatelja. Ovo će dovesti naše informacije u skladu sa kompjuterskim tezaurusom primaoca. Poruka će izgledati ružno, ali primalac će moći pročitati sve potrebne informacije.

Dakle, maksimalna količina semantičkih informacija je iz poruke β primalac stiče kada se dogovori o njegovom semantičkom sadržaju S c tezaurus si,(u Si = Sj opt). Informacije iz iste poruke mogu imati smislen sadržaj za kompetentnog korisnika i biti besmislene za nekompetentnog korisnika. Količina semantičkih informacija u poruci koju prima korisnik je individualna, personalizirana vrijednost - za razliku od sintaksičkih informacija. Međutim, semantičke informacije mjere se na isti način kao i sintaktičke informacije - u bitovima i bajtovima.

Relativna mjera količine semantičkih informacija je koeficijent sadržaja C, koji je definiran kao omjer količine semantičke informacije i njenog volumena podataka V d, sadržano u poruci β:

C = Is / Vd

Predavanje 2 iz discipline "Informatika i IKT"

Sintaktička mjera informacije.

Ova mjera količine informacija operira s neličnim informacijama koje ne izražavaju semantičku vezu s objektom. Volumen podataka Vd u ovom slučaju, poruka se mjeri brojem znakova (bitova) u poruci. U različitim brojevnim sistemima, jedna cifra ima različitu težinu i mjerna jedinica podataka se mijenja u skladu s tim.

Na primjer, u binarnom sistemu, jedinica mjere je bit (bitno-binarna cifra - bit). Bit je odgovor na jedno binarno pitanje (“da” ili “ne”; “0” ili “1”), koje se prenosi putem komunikacijskih kanala pomoću signala. Dakle, količina informacija sadržanih u poruci u bitovima određena je brojem binarnih riječi prirodnog jezika, brojem znakova u svakoj riječi i brojem binarnih signala potrebnih za izražavanje svakog znaka.

U modernim računarima, uz minimalnu jedinicu podataka "bit", široko se koristi i uvećana jedinica mjere "bajt", jednaka 8 bita. U decimalnom zapisu, jedinica mjere je “bit” (decimalno mjesto).

Količina informacija I na sintaksičkom nivou nemoguće je definisati bez razmatranja koncepta neizvesnosti stanja sistema (entropije sistema). Zaista, dobijanje informacija o sistemu uvek je povezano sa promenom stepena neznanja primaoca o stanju ovog sistema, tj. količina informacija se mjeri promjenom (smanjenjem) nesigurnosti stanja sistema.

Koeficijent (stepen) informativnog sadržaja(konciznost) poruke određuje se odnosom količine informacija i količine podataka, tj.

Y = I / Vd, i 0

Sa uvećanjem Y smanjuje se količina posla na transformaciji informacija (podataka) u sistemu. Stoga nastoje povećati sadržaj informacija, za što se razvijaju posebne metode optimalnog kodiranja informacija.

Semantička mjera informacije

Za mjerenje semantičkog sadržaja informacije, tj. Najveće priznanje dobila je njena količina na semantičkom nivou, mjera tezaurusa, koja povezuje semantička svojstva informacije sa sposobnošću korisnika da primi dolaznu poruku. Za to se koristi koncept korisnički tezaurus.

Tezaurus je zbirka informacija koje drži korisnik ili sistem.

Ovisno o odnosu semantičkog sadržaja informacija S i korisnički tezaurus Sr količina semantičkih informacija se mijenja je, koje korisnik percipira i uključuje u budućnosti u svoj tezaurus.

Priroda ove zavisnosti je prikazana na Sl. 1. Razmotrimo dva ograničavajuća slučaja kada je količina semantičkih informacija Is jednako 0:

at Sr= 0 korisnik ne percipira, ne razumije dolazne informacije;

At Sr korisnik sve zna, i nisu mu potrebne dolazne informacije.

Tema 2. Osnove prezentacije i obrade informacija u računaru

Književnost

1. Informatika u ekonomiji: Udžbenik / Ed. B.E. Odintsova, A.N. Romanov. - M.: Univerzitetski udžbenik, 2008.

2. Računarstvo: Osnovni predmet: Udžbenik / Ed. S.V. Simonovich. - SPb.: Petar, 2009.

3. Informatika. Opšti kurs: Udžbenik / Koautori: A.N. Dobro, M.A. Butakova, N.M. Nechitailo, A.V. Chernov; Pod totalom. ed. IN AND. Kolesnikov. - M.: Daškov i K, 2009.

4. Informatika za ekonomiste: Udžbenik / Ed. Matyushka V.M. - M.: Infra-M, 2006.

5. Ekonomska informatika: Uvod u ekonomsku analizu informacionih sistema.- M.: INFRA-M, 2005.

Mjere informacija (sintaktičke, semantičke, pragmatičke)

Za mjerenje informacija mogu se koristiti različiti pristupi, ali najrašireniji su statistički(vjerovatno), semantički i n ragmatičan metode.

Statistički(Probabilistički) metod mjerenja informacija razvio je K. Shannon 1948. godine, koji je predložio da se količina informacija razmatra kao mjera nesigurnosti stanja sistema, koja se uzima kao rezultat dobijanja informacija. Kvantitativno izražena nesigurnost naziva se entropija. Ako je posmatrač nakon prijema određene poruke dobio dodatne informacije o sistemu X, tada se nesigurnost smanjila. Dodatno primljena količina informacija definira se kao:

gdje je dodatna količina informacija o sistemu X primljeno u obliku poruke;

Početna nesigurnost (entropija) sistema X;

Konačna nesigurnost (entropija) sistema X, nakon prijema poruke.

Ako sistem X može biti u jednom od diskretnih stanja, čiji broj n, a vjerovatnoća pronalaženja sistema u svakom od njih je jednaka i zbir vjerovatnoća svih stanja jednak je jedan, tada se entropija izračunava po Šenonovoj formuli:

gdje je entropija sistema X;

a- osnovicu logaritma, koja određuje mjernu jedinicu informacije;

n- broj stanja (vrijednosti) u kojima sistem može biti.

Entropija je pozitivna veličina, a budući da su vjerovatnoće uvijek manje od jedan, a njihov logaritam negativan, znak minus u Šenonovoj formuli čini entropiju pozitivnom. Dakle, ista entropija, ali sa suprotnim predznakom, uzima se kao mjera količine informacija.

Odnos između informacije i entropije može se shvatiti na sljedeći način: istovremeno dobivanje informacije (povećavanje iste) znači smanjenje neznanja ili informacijske nesigurnosti (entropija)

Dakle, statistički pristup uzima u obzir vjerovatnoću pojavljivanja poruka: poruka koja je manje vjerovatna smatra se informativnijom, tj. najmanje očekivano. Količina informacija dostiže svoju maksimalnu vrijednost ako su događaji jednako vjerovatni.

R. Hartley je predložio sljedeću formulu za mjerenje informacija:

I = log2n ,

gdje n- broj jednako vjerovatnih događaja;

I- mjera informacija u poruci o pojavi jednog od n događaji

Mjerenje informacije se izražava u njenom obimu. Najčešće se radi o količini računarske memorije i količini podataka koji se prenose komunikacijskim kanalima. Jedinica je takva količina informacija pri kojoj je nesigurnost prepolovljena, naziva se takva jedinica informacije bit .

Ako se prirodni logaritam () koristi kao osnova logaritma u Hartleyevoj formuli, tada je jedinica mjerenja informacija nat ( 1 bit = ln2 ≈ 0,693 nat). Ako se kao osnova logaritma koristi broj 3, tada - trit, ako je 10, onda - dit (hartley).

U praksi se često koristi veća jedinica - bajt(bajt) jednako osam bitova. Ova jedinica je odabrana jer se može koristiti za kodiranje bilo kojeg od 256 znakova abecede kompjuterske tastature (256 = 28).

Pored bajtova, informacije se mjere u poluriječima (2 bajta), riječima (4 bajta) i dvostrukim riječima (8 bajta). Čak se i veće jedinice informacija takođe široko koriste:

1 kilobajt (KB - kilobajt) = 1024 bajtova = 210 bajtova,

1 megabajt (MB - megabajta) = 1024 KB = 220 bajtova,

1 gigabajt (GB - gigabajta) = 1024 MB = 230 bajtova.

1 terabajt (TB - terabajt) = 1024 GB = 240 bajtova,

1 petabajt (PB - petabyte) = 1024 TB = 250 bajtova.

Ruski matematičar Yu. Manin je 1980. godine predložio ideju o izgradnji kvantnog kompjutera, u vezi sa kojim je takva jedinica informacija kao što je kubit ( kvantni bit, kubit ) - "kvantni bit" - mjera za mjerenje količine memorije u teoretski mogućem obliku kompjutera koristeći kvantne nosače, na primjer, spinove elektrona. Kubit može uzeti ne dvije različite vrijednosti ("0" i "1"), već nekoliko, koje odgovaraju normaliziranim kombinacijama dva osnovna spinska stanja, što daje veći broj mogućih kombinacija. Dakle, 32 kubita mogu kodirati oko 4 milijarde stanja.

Semantički pristup. Sintaktička mjera nije dovoljna ako trebate odrediti ne količinu podataka, već količinu informacija potrebne u poruci. U ovom slučaju se razmatra semantički aspekt koji omogućava određivanje sadržajne strane informacije.

Za mjerenje semantičkog sadržaja informacije možete koristiti tezaurus njenog primaoca (potrošača). Ideju o metodi tezaurusa predložio je N. Wiener, a razvio je naš domaći naučnik A.Yu. Schrader.

Tezaurus pozvao korpus informacija dostupno primaocu informacije. Korelacija tezaurusa sa sadržajem primljene poruke omogućava nam da saznamo koliko smanjuje nesigurnost.

Zavisnost količine semantičkih informacija poruke o primaočevom tezaurusu

Prema zavisnosti prikazanoj na grafikonu, ukoliko korisnik nema nikakav tezaurus (znanje o suštini primljene poruke, tj. = 0), ili postojanje takvog tezaurusa koji se nije promijenio kao rezultat prijema poruke (), tada je količina semantičkih informacija u njoj nula. Optimalni tezaurus će biti (), u kojem će količina semantičkih informacija biti maksimalna (). Na primjer, semantičke informacije u dolaznoj poruci za nepoznati strani jezik će biti nula, ali ista situacija će biti i u slučaju ako poruka više nije vijest, pošto korisnik već sve zna.

Pragmatična mjera informacije određuje njegovu korisnost u postizanju ciljeva potrošača. Da biste to učinili, dovoljno je utvrditi vjerovatnoću postizanja cilja prije i nakon prijema poruke i uporediti ih. Vrijednost informacija (prema A.A. Kharkevichu) izračunava se po formuli:

gdje je vjerovatnoća postizanja cilja prije prijema poruke;

Vjerovatnoća postizanja cilja je polje prijema poruke;

Količina i kvalitet informacija

Nivoi komunikacijskih problema

Prilikom implementacije informacijskih procesa, informacija se uvijek prenosi u prostoru i vremenu od izvora informacije do primaoca (primaoca) pomoću signala. Signal - fizički proces (fenomen) koji nosi poruku (informaciju) o događaju ili stanju objekta posmatranja.

Poruka- oblik prezentacije informacija u obliku zbirke znakova (simbola) koji se koriste za prijenos.

Komunikacija kao skup znakova sa stanovišta semiotike – nauke koja proučava svojstva znakova i znakovnih sistema – može se proučavati na tri nivoa:

1) sintaktički, gdje se razmatraju interna svojstva poruka, odnosno odnos između znakova, koji odražava strukturu datog znakovnog sistema.

2) semantičko, gdje se analizira odnos između znakova i objekata, radnji, kvaliteta koje oni označavaju, odnosno semantički sadržaj poruke, njen odnos prema izvoru informacije;

3) pragmatičan, gde se razmatra odnos između poruke i primaoca, odnosno potrošački sadržaj poruke, njen odnos prema primaocu.

Problemi sintaksičkom nivou odnose se na stvaranje teorijskih osnova za izgradnju informacionih sistema. Na ovom nivou razmatraju se problemi dostave poruke primaocu kao skupa znakova, uzimajući u obzir vrstu medija i način prezentovanja informacija, brzinu prenosa i obrade, veličinu kodova za prezentaciju informacija, pouzdanost. i tačnost konverzije ovih kodova itd., potpuno apstrahujući od semantičkog sadržaja poruka i njihove namjene. Na ovom nivou, informacije koje se razmatraju samo sa sintaktičke tačke gledišta obično se nazivaju podacima, budući da semantička strana nije bitna.

Problemi semantičkom nivou povezani su sa formaliziranjem i uzimanjem u obzir značenja prenesenih informacija, određivanjem stepena korespondencije između slike objekta i samog objekta. Na ovom nivou analiziraju se informacije koje odražavaju informaciju, razmatraju semantičke veze, formiraju pojmovi i predstave, otkriva značenje, sadržaj informacije i vrši se njena generalizacija.

Na pragmatičnom nivou zainteresovani za posledice primanja i korišćenja ovih informacija od strane potrošača. Problemi na ovom nivou povezani su sa određivanjem vrednosti i korisnosti korišćenja informacija kada potrošač razvija rešenje za postizanje svog cilja. Glavna poteškoća je u tome što vrijednost i korisnost informacija može biti potpuno različita za različite primaoce i, osim toga, ovisi o nizu faktora, poput pravovremenosti njihove dostave i korištenja.

Mjere informisanja

Mjere informacija na sintaksičkom nivou

Za mjerenje informacija na sintaksičkom nivou uvode se dva parametra: količina informacija (podataka) - V D(volumetrijski pristup) i količina informacija - I(entropijski pristup).

Količina informacija V D. Prilikom implementacije informacijskih procesa, informacija se prenosi u obliku poruke, koja je skup simbola abecede. Ako se količina informacija sadržana u poruci od jednog znaka uzme kao jedinica, tada se količina informacija (podataka) V D u bilo kojoj drugoj poruci će biti jednak broju znakova (cifara) u ovoj poruci.

Dakle, u decimalnom brojevnom sistemu jedna cifra ima težinu jednaku 10, pa će prema tome jedinica mjerenja informacija biti dit (decimalno mjesto). U ovom slučaju, poruka u obrascu n V D= P dit. Na primjer, četverocifreni broj 2003 ima količinu podataka V D = 4 dit.

U binarnom sistemu, jedan bit ima težinu jednaku 2, pa će prema tome jedinica informacije biti bit (bit (binarna cifra)- binarna znamenka). U ovom slučaju, poruka u obrascu n-bitni broj ima količinu podataka V D = n bit. Na primjer, osmobitni binarni 11001011 ima veličinu podataka V D= 8 bita.

U modernom računarstvu, uz minimalnu mjernu jedinicu bitova podataka, široko se koristi i uvećana jedinica mjerenja bajtova, jednaka 8 bita. Prilikom rada s velikim količinama informacija, za izračunavanje njihove količine koriste se veće mjerne jedinice, kao što su kilobajt (KB), megabajt (MB), gigabajt (GB), terabajt (TB):

1 kbajt = 1024 bajta = 2 10 bajtova;

1 MB = 1024 kB = 2 20 bajtova = 1,048,576 bajtova;

1 GB = 1024 MB = 2 30 bajtova = 1,073,741,824 bajtova; ...

1 TB = 1024 GB = 2 40 bajtova = 1 099 511 627 776 bajtova.

Količina informacija I (entropijski pristup). U teoriji informacija i kodiranja usvojen je entropijski pristup mjerenju informacija. Ovaj pristup se zasniva na činjenici da je činjenica dobijanja informacija uvek povezana sa smanjenjem diverziteta ili neizvesnosti (entropije) sistema. Na osnovu toga, količina informacija u poruci se definiše kao mjera smanjenja neizvjesnosti stanja datog sistema nakon prijema poruke. Čim je posmatrač identifikovao nešto u fizičkom sistemu, entropija sistema se smanjivala, jer je sistem postajao sve uređeniji za posmatrača.

Dakle, kod entropijskog pristupa, informacija se shvata kao kvantitativna vrijednost nesigurnosti koja je nestala u toku procesa (testiranje, mjerenje, itd.). U ovom slučaju, entropija se uvodi kao mjera neizvjesnosti H, a količina informacija je jednaka:

gdje H apr - apriorna entropija o stanju sistema koji se proučava;

H aps je posteriorna entropija.

A posteriori- proizilaze iz iskustva (testiranja, mjerenja).

A priori- koncept koji karakteriše znanje pre iskustva (test), i nezavisno od njega.

U slučaju kada se tokom ispitivanja otkloni postojeća nesigurnost (dobije se specifičan rezultat, tj. H aps = 0), količina primljenih informacija poklapa se sa početnom entropijom

Razmotrimo diskretni izvor informacija (izvor diskretnih poruka) kao sistem koji se proučava, pri čemu mislimo na fizički sistem koji ima konačan skup mogućih stanja. Ovo mnoštvo A= (a 1, a 2 , ..., a n) stanja sistema u teoriji informacija naziva se apstraktna abeceda ili abeceda izvora poruke.

Pojedinačne države a 1, a 2, ..., a „ nazivaju se slovima ili simbolima abecede.

Takav sistem može u bilo kom trenutku nasumično pretpostaviti jedno od konačnih skupova mogućih stanja a i.

Budući da neke države izvor bira češće, a druge rjeđe, onda je u opštem slučaju karakterizira ansambl A, odnosno kompletan skup stanja sa vjerovatnoćama njihovog pojavljivanja, koji se zbrajaju u jedno:

, i (2.2)

Hajde da uvedemo mjeru nesigurnosti u izboru izvornog stanja. Takođe se može smatrati mjerom količine informacija dobijenih uz potpunu eliminaciju neizvjesnosti o ravnovjerovatnim stanjima izvora.

Zatim u N = 1 dobijamo NA)= 0.

Ovu meru je predložio američki naučnik R. Hartley 1928. Osnova logaritma u formuli (2.3) nije od suštinskog značaja i određuje samo skalu ili jedinicu mere. U zavisnosti od baze logaritma, sledeće jedinice mjerenja se koriste.

1. Bitovi - dok je osnova logaritma 2:

(2.4)

2. Gnjide - dok je osnova logaritma e:

3. Dits - dok je osnova logaritma 10:

U informatici, formula (2.4) se obično koristi kao mjera nesigurnosti. U ovom slučaju, jedinica nesigurnosti naziva se binarna jedinica, ili bit, i predstavlja neizvjesnost izbora između dva jednako vjerovatna događaja.

Formula (2.4) se može dobiti empirijski: da bi se uklonila nesigurnost u situaciji od dva jednako vjerovatna događaja, potreban je jedan eksperiment i, shodno tome, jedan bit informacije, s nesigurnošću koja se sastoji od četiri jednako vjerovatna događaja, dovoljna su 2 bita informacije da se pogodi željenu činjenicu. Za određivanje karte iz špila od 32 karte dovoljno je 5 bitova informacija, odnosno dovoljno je postaviti pet pitanja sa odgovorima "da" ili "ne" kako bi se odredila željena karta.

Predložena mjera omogućava rješavanje određenih praktičnih problema kada sva moguća stanja izvora informacija imaju istu vjerovatnoću.

U opštem slučaju, stepen neizvesnosti u realizaciji stanja izvora informacija ne zavisi samo od broja stanja, već i od verovatnoće tih stanja. Ako izvor informacije ima, na primjer, dva moguća stanja sa vjerovatnoćama 0,99 i 0,01, tada je nesigurnost izbora mnogo manja od one kod izvora koji ima dva jednako vjerovatna stanja, jer je u ovom slučaju rezultat praktično unaprijed zaključen ( ostvarenje stanja, vjerovatnoća koja je 0,99).

Američki naučnik K. Shannon generalizirao je koncept mjere neizvjesnosti izbora H u slučaju H ne zavisi samo od broja stanja, već i od verovatnoće ovih stanja (verovatnoće p i izbor karaktera i ja, abeceda A). Ova mjera, koja predstavlja prosječnu nesigurnost po stanju, naziva se entropija diskretnog izvora informacija:

(2.5)

Ako se ponovo fokusiramo na mjerenje nesigurnosti u binarnim jedinicama, tada bazu logaritma treba uzeti jednakom dva:

(2.6)

Sa jednako verovatnim izborima, verovatnoća p i = 1 / N formula (2.6) se transformiše u formulu R. Hartleyja (2.3):

Predložena mjera je s razlogom nazvana entropija. Stvar je u tome da se formalna struktura izraza (2.5) poklapa sa entropijom fizičkog sistema, koju je ranije odredio Boltzmann.

Koristeći formule (2.4) i (2.6), može se odrediti redundancija D izvorna abeceda poruke A,što pokazuje koliko se racionalno koriste simboli ove abecede:

gdje H max (A) - maksimalna moguća entropija, određena formulom (2.4);

NA) - entropija izvora, određena formulom (2.6).

Suština ove mjere leži u činjenici da se s jednako vjerojatnim izborom može obezbijediti isto informacijsko opterećenje znaka korištenjem manje abecede nego u slučaju nejednakog izbora.