Informacije o semantičkoj mjeri. Usporedba mjera informacija

Za mjerenje semantičkog sadržaja informacije, t.j. Najveće priznanje dobila je njezina količina na semantičkoj razini, mjera tezaurusa, koja povezuje semantička svojstva informacije s korisnikovom sposobnošću primanja dolazne poruke. Za to se koristi koncept korisnički tezaurus.

Tezaurus je zbirka informacija koje drži korisnik ili sustav.

Ovisno o odnosu semantičkog sadržaja informacija S i korisnički tezaurus S str količina semantičkih informacija se mijenja ja c, percipira korisnik i on ga u budućnosti uključuje u svoj tezaurus. Priroda ove ovisnosti prikazana je na slici 2.2. Razmotrimo dva ograničavajuća slučaja kada je količina semantičkih informacija I c jednako 0:

na S p 0 korisnik ne percipira, ne razumije dolazne informacije;

na Sp; korisnik zna sve, ali mu ne trebaju dolazne informacije.

Riža. 2.2. Ovisnost količine semantičke informacije. percipira potrošač, iz njegovog tezaurusa Ic = f (Sp)

Maksimalna količina semantičkih informacija I c potrošač stječe pri dogovoru o njegovom semantičkom sadržaju S sa svojim tezaurusom S p (S str = S str opt), kada su dolazne informacije razumljive korisniku i nose mu dosad nepoznate (nedostajuće u njegovom tezaurusu) informacije.

Posljedično, količina semantičkih informacija u poruci, količina novog znanja koje je primio korisnik je relativna vrijednost. Jedna te ista poruka može imati semantički sadržaj za kompetentnog korisnika i biti besmislena (semantički šum) za nekompetentnog korisnika.

Prilikom procjene semantičkog (sadržajnog) aspekta informacije potrebno je težiti slaganju vrijednosti S i S str.

Faktor sadržaja može poslužiti kao relativna mjera količine semantičkih informacija S, koji je definiran kao omjer količine semantičke informacije i njenog volumena:

Pragmatična mjera informacija

Ovom mjerom utvrđuje se korisnost informacije (vrijednosti) za korisnika za postizanje postavljenog cilja. Ova mjera je također relativna vrijednost, zbog osobitosti korištenja ovih informacija u određenom sustavu. Preporučljivo je mjeriti vrijednost informacija u istim jedinicama (ili njima bliskim) u kojima se mjeri ciljna funkcija.

Primjer 2.5. U ekonomskom sustavu pragmatična svojstva (vrijednost) informacije mogu se odrediti povećanjem ekonomskog učinka funkcioniranja koji se postiže korištenjem ovih informacija za upravljanje sustavom:

Inb (g) = P (g / b) -P (g),

gdje inb (g)- vrijednost informativne poruke b za upravljački sustav g,

N (g)-a priori očekivani ekonomski učinak funkcioniranja kontrolnog sustava g ,

P (g/b)- očekivani učinak funkcioniranja sustava g, pod uvjetom da se za kontrolu koriste informacije sadržane u poruci b.

Za usporedbu, uvedene mjere informiranja prikazane su u tablici 2.1.

Tablica 2.1. Informacijske jedinice i primjeri

KVALITETA INFORMACIJA

Mogućnost i učinkovitost korištenja informacija određuje takav osnovni potrošač pokazatelji kvalitete, kao reprezentativnost, smislenost, dostatnost, dostupnost, relevantnost, pravovremenost, točnost, pouzdanost, održivost.

• Reprezentativnost informacija je povezana s ispravnošću njezina odabira i formiranja kako bi se na odgovarajući način odrazila svojstva objekta. Ovdje su najvažnije:

• ispravnost koncepta na temelju kojeg je formuliran izvorni koncept;

• valjanost odabira bitnih obilježja i odnosa prikazane pojave.

• Kršenje reprezentativnosti informacija često dovodi do značajnih pogrešaka.

• Jedljivost informacija odražava semantički kapacitet, jednak omjeru količine semantičke informacije u poruci prema količini obrađenih podataka, t.j. C = Ic/Vd.

S povećanjem sadržaja informacija povećava se semantička širina pojasa informacijskog sustava, budući da se za dobivanje istih informacija mora pretvoriti manja količina podataka.

Uz koeficijent smislenosti C, koji odražava semantički aspekt, moguće je koristiti i koeficijent sadržaja informacije, koji karakterizira omjer količine sintaktičke informacije (prema Shanonu) i količine podataka Y = I / Vd.

• Dostatnost (potpunost) informacija znači da sadrži minimalan, ali dovoljan sastav (skup pokazatelja) za donošenje ispravne odluke. Pojam cjelovitosti informacije povezan je s njezinim semantičkim sadržajem (semantikom) i pragmatikom. Kao nepotpuna, t.j. nedostatne za donošenje prave odluke, a suvišne informacije smanjuju učinkovitost odluka koje donosi korisnik.

• Dostupnost informacija za percepciju korisnika osigurava se provedbom odgovarajućih postupaka za njezino primanje i transformaciju. Na primjer, u informacijskom sustavu informacije se pretvaraju u pristupačan i korisniku prikladan oblik. To se postiže, posebice, usklađivanjem njegovog semantičkog oblika s korisničkim tezaurusom.

• Relevantnost informacija je određena stupnjem očuvanosti vrijednosti informacije za menadžment u trenutku njezine upotrebe i ovisi o dinamici promjena njezinih karakteristika i o vremenskom intervalu koji je prošao od nastanka te informacije.

• Pravovremenost informacija znači njezin dolazak najkasnije u unaprijed određenom trenutku u vremenu, usklađenom s vremenom rješavanja problema.

• Točnost informacija je određena stupnjem blizine primljene informacije stvarnom stanju predmeta, procesa, pojave itd. Za informacije prikazane digitalnim kodom, poznata su četiri klasifikacijska koncepta točnosti:

• formalna točnost, mjerena vrijednošću jedinice najmanje značajne znamenke broja;

• stvarna točnost, određena vrijednošću jedinice posljednje znamenke broja, čija je točnost zajamčena;

• maksimalna točnost koja se može postići u specifičnim uvjetima funkcioniranja sustava;

• potrebna točnost, određena funkcionalnom svrhom indikatora.

Vjerodostojnost informacija je određena svojim svojstvom da odražava stvarne objekte s potrebnom točnošću. Pouzdanost informacija mjeri se razinom pouzdanosti tražene točnosti, t.j. vjerojatnost da se vrijednost parametra prikazana informacijama razlikuje od prave vrijednosti ovog parametra unutar tražene točnosti.

Održivost informacija odražava njezinu sposobnost da odgovori na promjene u izvornim podacima bez kršenja potrebne točnosti. Stabilnost informacije, kao i njezina reprezentativnost, posljedica je odabranog načina njezina odabira i formiranja.

Zaključno, treba napomenuti da su parametri kvalitete informacija kao što su reprezentativnost, smislenost, dostatnost, dostupnost, održivost u cijelosti određeni na metodološkoj razini razvoja informacijskih sustava. Parametri relevantnosti, pravovremenosti, točnosti i pouzdanosti u većoj su mjeri određeni i na metodološkoj razini, no na njihovu vrijednost značajno utječe i priroda funkcioniranja sustava, prvenstveno njegova pouzdanost. Istovremeno, parametri relevantnosti i točnosti strogo su povezani s parametrima pravovremenosti, odnosno pouzdanosti.

Sintaktička mjera informacije

Kao sintaktička mjera, količina informacija predstavlja količinu podataka.

O veličina podataka V d u poruci "u" mjeri se broj znakova (bitova) u ovoj poruci. Kao što smo spomenuli, u binarnom sustavu mjerna jedinica je bit. U praksi, uz ovu "najmanju" jedinicu mjerenja podataka, često se koristi i veća jedinica - bajt jednak 8 bita... Radi praktičnosti, kao mjerači se koriste kilo- (10 3), mega- (10 6), giga- (10 9) i tera- (10 12) bajtovi itd. Svima poznati bajtovi mjere volumen kratkih napisanih poruka, debelih knjiga, glazbenih djela, slika, ali i softverskih proizvoda. Jasno je da ova mjera ni na koji način ne može okarakterizirati što i zašto nose te jedinice informacija. Izmjerite u kilobajtima roman L.N. Tolstojev "Rat i mir" koristan je, na primjer, za razumijevanje može li stati na slobodan prostor na tvrdom disku. To je jednako korisno kao i mjerenje veličine knjige - njezine visine, debljine i širine - kako bi se procijenilo hoće li stati na policu za knjige ili je izvagati kako biste vidjeli hoće li portfelj izdržati kombiniranu težinu.

Tako. jedna sintaktička mjera informacija očito nije dovoljna za karakterizaciju poruke: u našem primjeru s vremenom, u potonjem slučaju, poruka prijatelja sadržavala je količinu podataka različitu od nule, ali nije sadržavala informacije koje su nam potrebne. Zaključak o korisnosti informacije proizlazi iz razmatranja sadržaja poruke. Za mjerenje semantičkog sadržaja informacije, t.j. njegovu količinu na semantičkoj razini, uvest ćemo pojam “tezaurusa primatelja informacije”.

Tezaurus je skup informacija i veza među njima, koje primatelj informacije ima. Možemo reći da je tezaurus akumulirano znanje primatelja.

U vrlo jednostavnom slučaju, kada je primatelj tehnički uređaj - osobno računalo, tezaurus je formiran "oružjem" računala - programi i uređaji koji su ugrađeni u njega koji omogućuju primanje, obradu i predstavljanje tekstualnih poruka na različitim jezicima ​korištenjem različitih abeceda, fontova i audio i video informacija s lokalne ili svjetske mreže. Ako vaše računalo nema karticu mrežnog sučelja, ne možete očekivati ​​da ćete primati poruke od drugih korisnika mreže u bilo kojem obliku. Nedostatak drajvera s ruskim fontovima neće dopustiti rad s porukama na ruskom itd.

Ako je primatelj osoba, njegov je tezaurus također svojevrsno intelektualno naoružanje osobe, arsenal njezina znanja. Također čini svojevrsni filter za dolazne poruke. Primljena poruka se obrađuje korištenjem raspoloživog znanja u svrhu dobivanja informacija. Ako je tezaurus vrlo bogat, tada je arsenal znanja dubok i raznolik, omogućit će vam da izvučete informacije iz gotovo svake poruke. Mali tezaurus s malo znanja može postati prepreka razumijevanju poruka koje zahtijevaju bolju pripremu.

Imajte na umu, međutim, da samo razumijevanje poruke nije dovoljno da utječe na donošenje odluka – ono mora sadržavati informacije potrebne za to, kojih nema u našem tezaurusu i koje želimo uključiti u njega. Što se tiče vremena, naš tezaurus nije imao najnovije, "ažurne" informacije o vremenu na području sveučilišta. Ako poruka koju primimo promijeni naš tezaurus, naš izbor rješenja može se promijeniti. Takva promjena u tezaurusu služi kao semantička mjera količine informacija, svojevrsna mjera korisnosti primljene poruke.

Formalno, količina semantičkih informacija ja sam, dalje uključen u tezaurus, određen je odnosom primateljevog tezaurusa S i, te sadržaj informacija prenesenih u poruci "u" S. Grafički prikaz ove ovisnosti prikazan je na slici 1.

Razmotrimo slučajeve kada je količina semantičkih informacija ja s jednak ili blizu nuli:

Za S i= 0 primatelj ne percipira dolaznu informaciju;

U 0< Si< S 0 получатель воспринимает, но не понимает поступившую в сообщении информацию;

Za S i- »∞primatelj ima sveobuhvatno znanje i dolazne informacije ne mogu nadopuniti njegov tezaurus.

Riža. Ovisnost količine semantičkih informacija o tezaurusu primatelja

Sa tezaurusom S i> S 0 količina semantičkih informacija ja s preuzeto iz priložene poruke β informacija Su početku brzo raste s rastom primateljevog vlastitog tezaurusa, i tada - počevši od neke vrijednosti S i - ... Pad količine informacija korisnih primatelju posljedica je činjenice da je baza znanja primatelja postala prilično solidna te ga je sve teže iznenaditi nečim novim.

To se može ilustrirati na primjeru studenata koji studiraju ekonomsku informatiku i čitaju materijale sa stranica o korporativnom IP-u. . U početku, pri formiranju prvih znanja o informacijskim sustavima, čitanje malo daje - ima mnogo nerazumljivih pojmova, kratica, čak ni naslovi nisu svi jasni. Upornost u čitanju knjiga, pohađanje predavanja i seminara, komunikacija sa stručnjacima pomažu u nadopunjavanju tezaurusa. S vremenom čitanje materijala stranice postaje ugodno i korisno, a do kraja vaše profesionalne karijere - nakon što napišete mnogo članaka i knjiga - dobivanje novih korisnih informacija s popularne stranice bit će mnogo rjeđe.

Možemo govoriti o optimalnom za ovu informaciju S tezaurus primatelja, u kojem će dobiti maksimalan broj informacija Is, kao i optimalne informacije u poruci "c" za ovaj tezaurus Sj. U našem primjeru, kada je primatelj računalo, optimalni tezaurus znači da njegov hardver i instalirani softver percipiraju i ispravno tumače za korisnika sve znakove sadržane u poruci "B" koji prenose značenje informacije S. Ako poruka sadrži znakove koji ne odgovaraju sadržaju tezaurusa, neke informacije će se izgubiti i vrijednost ja s smanjit će se.

S druge strane, ako znamo da primatelj ne može primati tekstove na ruskom (njegovo računalo nema potrebne drajvere), te strane jezike na kojima se naša poruka može poslati, ni on ni mi nismo učili da prenijeti potrebne informacije možemo posegnuti za transliteracijom - pisanjem ruskih tekstova pomoću slova strane abecede koja dobro percipira računalo primatelja. Time će se naše informacije uskladiti s računalnim tezaurusom primatelja. Poruka će izgledati ružno, ali primatelj će moći pročitati sve potrebne informacije.

Dakle, maksimalna količina semantičkih informacija je iz poruke β primatelj stječe pri dogovoru o njegovom semantičkom sadržaju S c tezaurus Si,(na Si = Sj opt). Informacije iz iste poruke mogu imati smislen sadržaj za kompetentnog korisnika i biti besmislene za nekompetentnog korisnika. Količina semantičkih informacija u poruci koju prima korisnik je individualna, personalizirana vrijednost - za razliku od sintaktičkih informacija. Međutim, semantičke informacije mjere se na isti način kao i sintaktičke informacije - u bitovima i bajtovima.

Relativna mjera količine semantičkih informacija je koeficijent sadržaja C, koji je definiran kao omjer količine semantičke informacije i njezinog volumena podataka V d, sadržano u poruci β:

C = Is / Vd

2. predavanje iz discipline "Informatika i ICT"

Sintaktička mjera informacije.

Ova mjera količine informacija operira s neosobnim informacijama koje ne izražavaju semantički odnos prema objektu. Volumen podataka Vd u ovom slučaju, poruka se mjeri brojem znakova (bitova) u poruci. U različitim brojevnim sustavima jedna znamenka ima različitu težinu i mjerna jedinica podataka se u skladu s tim mijenja.

Na primjer, u binarnom sustavu mjerna jedinica je bit (bit-binarna znamenka - bit). Bit je odgovor na jedno binarno pitanje (“da” ili “ne”; “0” ili “1”), koje se prenosi komunikacijskim kanalima pomoću signala. Dakle, količina informacija sadržanih u poruci u bitovima određena je brojem binarnih riječi prirodnog jezika, brojem znakova u svakoj riječi i brojem binarnih signala potrebnih za izražavanje svakog znaka.

U modernim računalima, uz minimalnu podatkovnu jedinicu "bit", naširoko se koristi povećana jedinica mjere "bajt", jednaka 8 bita. U decimalnom zapisu, jedinica mjere je “bit” (decimalno mjesto).

Količina informacija I na sintaktičkoj razini nemoguće je definirati bez razmatranja pojma neizvjesnosti stanja sustava (entropije sustava). Doista, dobivanje informacija o nekom sustavu uvijek je povezano s promjenom stupnja primateljevog neznanja o stanju ovog sustava, t.j. količina informacija mjeri se promjenom (smanjenjem) nesigurnosti stanja sustava.

Koeficijent (stupanj) sadržaja informacija(konciznost) poruke određena je omjerom količine informacija i količine podataka, t.j.

Y = I / Vd, i 0

Uz povećanje Y smanjuje se količina posla na transformaciji informacija (podataka) u sustavu. Stoga nastoje povećati informacijski sadržaj, za što se razvijaju posebne metode optimalnog kodiranja informacija.

Semantička mjera informacije

Za mjerenje semantičkog sadržaja informacije, t.j. Najveće priznanje dobila je njezina količina na semantičkoj razini, mjera tezaurusa, koja povezuje semantička svojstva informacije s korisnikovom sposobnošću primanja dolazne poruke. Za to se koristi koncept korisnički tezaurus.

Tezaurus je zbirka informacija koje drži korisnik ili sustav.

Ovisno o odnosu semantičkog sadržaja informacija S i korisnički tezaurus Sr količina semantičkih informacija se mijenja je, percipira korisnik i on ga u budućnosti uključuje u svoj tezaurus.

Priroda ove ovisnosti prikazana je na Sl. 1. Razmotrimo dva ograničavajuća slučaja kada je količina semantičkih informacija Is jednako 0:

na Sr= 0 korisnik ne percipira, ne razumije dolazne informacije;

Na Sr korisnik sve zna, a dolazne informacije mu nisu potrebne.

Tema 2. Osnove prezentacije i obrade informacija u računalu

Književnost

1. Informatika u ekonomiji: Udžbenik / Ur. BITI. Odintsova, A.N. Romanov. - M .: Sveučilišni udžbenik, 2008.

2. Računarstvo: Osnovni kolegij: Udžbenik / Ur. S.V. Simonovich. - SPb .: Petar, 2009.

3. Informatika. Opći kolegij: Udžbenik / Koautori: A.N. Dobro, M.A. Butakova, N.M. Nechitailo, A.V. Černov; Pod totalom. izd. U I. Kolesnikov. - M .: Daškov i K, 2009.

4. Informatika za ekonomiste: Udžbenik / Ur. Matjuška V.M. - M .: Infra-M, 2006.

5. Ekonomska informatika: Uvod u ekonomsku analizu informacijskih sustava.- M .: INFRA-M, 2005.

Mjere informacija (sintaktičke, semantičke, pragmatične)

Za mjerenje informacija mogu se koristiti različiti pristupi, no najrašireniji su statistički(vjerojatno), semantičke i n ragmatičan metode.

Statistički(vjerojatnu) metodu mjerenja informacija razvio je K. Shannon 1948. godine, koji je predložio da se količina informacija smatra mjerom nesigurnosti stanja sustava, koja se uzima kao rezultat dobivanja informacija. Kvantitativno izražena nesigurnost naziva se entropija. Ako je promatrač nakon primitka određene poruke dobio dodatne informacije o sustavu X, tada se nesigurnost smanjila. Dodatno primljena količina informacija definira se kao:

gdje je dodatna količina informacija o sustavu x primljeno u obliku poruke;

Početna nesigurnost (entropija) sustava x;

Konačna nesigurnost (entropija) sustava X, nakon primitka poruke.

Ako sustav x može biti u jednom od diskretnih stanja, čiji broj n, a vjerojatnost pronalaska sustava u svakom od njih jednaka je i zbroj vjerojatnosti svih stanja jednak je jedan, tada se entropija izračunava Shanononovom formulom:

gdje je entropija sustava X;

a- baza logaritma, koja određuje mjernu jedinicu informacije;

n- broj stanja (vrijednosti) u kojima sustav može biti.

Entropija je pozitivna veličina, a budući da su vjerojatnosti uvijek manje od jedan, a njihov logaritam negativan, znak minus u Shanononovoj formuli čini entropiju pozitivnom. Dakle, ista entropija, ali s suprotnim predznakom, uzima se kao mjera količine informacija.

Odnos između informacije i entropije može se shvatiti na sljedeći način: dobivanje informacija (istovremeno povećanje) znači smanjenje neznanja ili informacijske nesigurnosti (entropija)

Dakle, statistički pristup uzima u obzir vjerojatnost pojave poruka: poruka koja je manje vjerojatna smatra se informativnijom, t.j. najmanje očekivano. Količina informacija doseže svoju maksimalnu vrijednost ako su događaji jednako vjerojatni.

R. Hartley je predložio sljedeću formulu za mjerenje informacija:

I = log2n ,

gdje n- broj jednako vjerojatnih događaja;

ja- mjera informacije u poruci o pojavi jednog od n događaji

Mjerenje informacije se izražava u njenom volumenu. Najčešće se radi o količini računalne memorije i količini podataka koji se prenose komunikacijskim kanalima. Jedinica je takva količina informacija pri kojoj je nesigurnost prepolovljena, naziva se takva jedinica informacije malo .

Ako se prirodni logaritam () koristi kao baza logaritma u Hartleyevoj formuli, tada je jedinica mjerenja informacija nat ( 1 bit = ln2 ≈ 0,693 nat). Ako se broj 3 koristi kao baza logaritma, tada - trit, ako je 10, onda - dit (hartley).

U praksi se često koristi veća jedinica - bajt(bajt) jednako osam bitova. Ova jedinica je odabrana jer se može koristiti za kodiranje bilo kojeg od 256 znakova abecede računalne tipkovnice (256 = 28).

Osim bajtova, informacije se mjere u poluriječima (2 bajta), riječima (4 bajta) i dvostrukim riječima (8 bajta). Naširoko se koriste i veće jedinice informacija:

1 kilobajt (KB - kilobajta) = 1024 bajta = 210 bajtova,

1 megabajt (MB - megabajt) = 1024 KB = 220 bajtova,

1 gigabajt (GB - gigabajta) = 1024 MB = 230 bajtova.

1 terabajt (TB - terabajta) = 1024 GB = 240 bajtova,

1 petabajt (PB - petabajta) = 1024 TB = 250 bajtova.

Godine 1980. ruski matematičar Yu. Manin predložio je ideju o izgradnji kvantnog računala, u vezi s kojim je takva jedinica informacija kao što je kubit ( kvantni bit, kubit ) - "kvantni bit" - mjera za mjerenje količine memorije u teoretski mogućem obliku računala pomoću kvantnih nosača, na primjer, spinova elektrona. Kubit može imati ne dvije različite vrijednosti ("0" i "1"), već nekoliko, koje odgovaraju normaliziranim kombinacijama dva osnovna spinska stanja, što daje veći broj mogućih kombinacija. Dakle, 32 kubita mogu kodirati oko 4 milijarde stanja.

Semantički pristup. Sintaktička mjera nije dovoljna ako trebate odrediti ne količinu podataka, već količinu informacija potrebnih u poruci. U ovom slučaju se razmatra semantički aspekt koji omogućuje određivanje sadržajne strane informacije.

Za mjerenje semantičkog sadržaja informacije možete koristiti tezaurus njezinog primatelja (potrošača). Ideju o metodi tezaurusa predložio je N. Wiener, a razvio je naš domaći znanstvenik A.Yu. Schrader.

Tezaurus pozvao tijelo informacija dostupno primatelju informacije. Korelacija tezaurusa sa sadržajem primljene poruke omogućuje nam da saznamo koliko smanjuje nesigurnost.

Ovisnost količine semantičkih informacija poruke o primateljevom tezaurusu

Prema ovisnosti prikazanoj na grafikonu, ako korisnik nema nikakav tezaurus (znanje o suštini primljene poruke, tj. = 0), ili prisutnost takvog tezaurusa koji se nije promijenio kao rezultat primitka poruke (), tada je količina semantičkih informacija u njoj nula. Optimalni tezaurus bit će (), u kojem će količina semantičkih informacija biti maksimalna (). Na primjer, semantičke informacije u dolaznoj poruci za nepoznati strani jezik bit će nula, ali ista situacija bit će i u slučaju ako poruka više nije vijest, budući da korisnik već sve zna.

Pragmatična mjera informacija određuje njegovu korisnost u postizanju potrošačkih ciljeva. Da biste to učinili, dovoljno je utvrditi vjerojatnost postizanja cilja prije i nakon primanja poruke te ih usporediti. Vrijednost informacija (prema A.A. Kharkevichu) izračunava se po formuli:

gdje je vjerojatnost postizanja cilja prije primanja poruke;

Vjerojatnost postizanja cilja je polje primanja poruke;

Količina i kvaliteta informacija

Razine komunikacijskih problema

Pri provedbi informacijskih procesa informacija se uvijek prenosi u prostoru i vremenu od izvora informacije do primatelja (primatelja) pomoću signala. Signal - fizički proces (fenomen) koji nosi poruku (informaciju) o događaju ili stanju objekta promatranja.

Poruka- oblik prezentiranja informacija u obliku zbirke znakova (simbola) koji se koriste za prijenos.

Komunikacija kao skup znakova sa stajališta semiotike – znanosti koja proučava svojstva znakova i znakovnih sustava – može se proučavati na tri razine:

1) sintaktički, gdje se razmatraju unutarnja svojstva poruka, odnosno odnos između znakova, koji odražava strukturu danog znakovnog sustava.

2) semantičko, gdje se analizira odnos između znakova i predmeta, radnji, kvaliteta koje oni označavaju, odnosno semantički sadržaj poruke, njezin odnos prema izvoru informacije;

3) pragmatičan, gdje se razmatra odnos između poruke i primatelja, odnosno potrošački sadržaj poruke, njezin odnos prema primatelju.

Problemi sintaktičkoj razini odnose se na stvaranje teorijskih temelja za izgradnju informacijskih sustava. Na ovoj razini razmatraju se problemi dostave poruke primatelju kao skupa znakova, uzimajući u obzir vrstu medija i način prezentiranja informacija, brzinu prijenosa i obrade, veličinu kodova za prezentaciju informacija, pouzdanost. te točnost pretvorbe tih kodova itd., potpuno apstrahirajući od semantičkog sadržaja poruka i njihove namjene. Na ovoj razini, informacije koje se razmatraju samo sa sintaktičke točke gledišta obično se nazivaju podacima, budući da semantička strana nije važna.

Problemi semantička razina povezani su s formaliziranjem i uzimanjem u obzir značenja prenesenih informacija, određivanjem stupnja podudarnosti između slike objekta i samog objekta. Na ovoj razini analiziraju se informacije koje odražavaju informaciju, razmatraju semantičke veze, formiraju pojmovi i prikazi, otkriva se značenje, sadržaj informacija i vrši se njihova generalizacija.

Na pragmatičnoj razini zainteresirani za posljedice primanja i korištenja ovih informacija od strane potrošača. Problemi na ovoj razini povezani su s određivanjem vrijednosti i korisnosti korištenja informacija kada potrošač razvija rješenje za postizanje svog cilja. Glavna poteškoća ovdje je u tome što vrijednost i korisnost informacija može biti potpuno različita za različite primatelje, a osim toga ovisi o nizu čimbenika, poput pravovremenosti njihove dostave i korištenja.

Mjere informiranja

Informacijske mjere sintaktičke razine

Za mjerenje informacija na sintaktičkoj razini uvode se dva parametra: količina informacija (podataka) - V D(volumetrijski pristup) i količina informacija - ja(entropijski pristup).

Količina informacija V D. Prilikom provedbe informacijskih procesa, informacija se prenosi u obliku poruke, koja je skup simbola abecede. Ako se količina informacija sadržana u poruci od jednog znaka uzme kao jedinica, tada se količina informacija (podataka) V D u bilo kojoj drugoj poruci bit će jednak broju znakova (znamenaka) u ovoj poruci.

Dakle, u decimalnom brojevnom sustavu jedna znamenka ima težinu jednaku 10, pa će prema tome jedinica mjerenja informacija biti dit (decimalno mjesto). U ovom slučaju, poruka u obrascu n V D= P dit. Na primjer, četveroznamenkasti broj 2003 ima količinu podataka V D = 4 toč.

U binarnom sustavu, jedan bit ima težinu jednaku 2, te će prema tome jedinica informacije biti bit (bit (binarna znamenka)- binarna znamenka). U ovom slučaju, poruka u obrascu n-bitni broj ima količinu podataka V D = n malo. Na primjer, osmobitni binarni 11001011 ima veličinu podataka V D= 8 bita.

U modernom računarstvu, uz minimalnu mjernu jedinicu bitova podataka, naširoko se koristi povećana mjerna jedinica bajtova, jednaka 8 bita. Prilikom rada s velikim količinama informacija, za izračunavanje njihove količine koriste se veće mjerne jedinice, kao što su kilobajt (KB), megabajt (MB), gigabajt (GB), terabajt (TB):

1 kbajt = 1024 bajta = 2 10 bajta;

1 MB = 1024 kB = 2 20 bajtova = 1 048 576 bajtova;

1 GB = 1024 MB = 2 30 bajtova = 1,073,741,824 bajta; ...

1 TB = 1024 GB = 2 40 bajtova = 1 099 511 627 776 bajtova.

Količina informacija I (entropijski pristup). U teoriji informacija i kodiranja usvojen je entropijski pristup mjerenju informacija. Ovaj pristup temelji se na činjenici da je činjenica dobivanja informacija uvijek povezana sa smanjenjem raznolikosti ili nesigurnosti (entropije) sustava. Na temelju toga količina informacija u poruci definira se kao mjera smanjenja nesigurnosti stanja danog sustava nakon primitka poruke. Čim je promatrač identificirao nešto u fizičkom sustavu, entropija sustava se smanjivala, jer je sustav postajao uređeniji za promatrača.

Dakle, kod entropijskog pristupa, informacija se shvaća kao kvantitativna vrijednost nesigurnosti koja je nestala tijekom procesa (testiranje, mjerenje, itd.). U ovom slučaju, entropija se uvodi kao mjera nesigurnosti H, a količina informacija jednaka je:

gdje H trav - apriorna entropija o stanju sustava koji se proučava;

H aps je posteriorna entropija.

A posteriori- proizlaze iz iskustva (testovi, mjerenja).

Apriorno- pojam koji karakterizira znanje prije iskustva (test), i neovisno o njemu.

U slučaju kada se tijekom ispitivanja otkloni postojeća nesigurnost (dobije se specifičan rezultat, tj. H aps = 0), količina primljenih informacija poklapa se s početnom entropijom

Razmotrimo diskretni izvor informacija (izvor diskretnih poruka) kao sustav koji se proučava, pri čemu mislimo na fizički sustav koji ima konačan skup mogućih stanja. Ovo mnoštvo A= (a 1, a 2 , ..., a n) stanja sustava u teoriji informacija naziva se apstraktna abeceda ili abeceda izvora poruke.

Pojedinačne države a 1, a 2, ..., a „ nazivaju se slovima ili simbolima abecede.

Takav sustav može u bilo kojem trenutku nasumično pretpostaviti jedno od konačnih skupova mogućih stanja a i.

Budući da neke države izvor bira češće, a druge rjeđe, onda je u općem slučaju karakterizira cjelina A, odnosno kompletan skup stanja s vjerojatnostima njihovog pojavljivanja, koji zbrajaju jedno:

, i (2.2)

Uvedimo mjeru nesigurnosti u izboru izvornog stanja. Također se može smatrati mjerom količine informacija dobivenih uz potpunu eliminaciju nesigurnosti o ravnovjerojatnim stanjima izvora.

Zatim kod N = 1 dobivamo NA)= 0.

Ovu je mjeru predložio američki znanstvenik R. Hartley 1928. Baza logaritma u formuli (2.3) nije od temeljne važnosti i određuje samo skalu ili mjernu jedinicu. Ovisno o bazi logaritma, sljedeće jedinice mjerenja se koriste.

1. Bitovi - dok je baza logaritma 2:

(2.4)

2. Gnjide – dok je baza logaritma e:

3. Dits - dok je baza logaritma 10:

U informatici se formula (2.4) obično koristi kao mjera nesigurnosti. U ovom slučaju jedinica nesigurnosti naziva se binarna jedinica, odnosno bit, i predstavlja nesigurnost izbora dvaju jednako vjerojatnih događaja.

Formula (2.4) se može dobiti empirijski: da bi se uklonila nesigurnost u situaciji od dva jednako vjerojatna događaja, potreban je jedan eksperiment i, sukladno tome, jedan bit informacije, s nesigurnošću koja se sastoji od četiri jednako vjerojatna događaja, dovoljna su 2 bita informacije za pogađanje željenu činjenicu. Za određivanje karte iz špila od 32 karte dovoljno je 5 bitova informacija, odnosno dovoljno je postaviti pet pitanja s odgovorima "da" ili "ne" za određivanje željene karte.

Predložena mjera omogućuje rješavanje određenih praktičnih problema kada sva moguća stanja izvora informacija imaju istu vjerojatnost.

U općem slučaju, stupanj neizvjesnosti u realizaciji stanja izvora informacija ne ovisi samo o broju stanja, već i o vjerojatnosti tih stanja. Ako izvor informacija ima, na primjer, dva moguća stanja s vjerojatnostima 0,99 i 0,01, tada je nesigurnost izbora puno manja od nesigurnosti izvora koji ima dva jednako vjerojatna stanja, budući da je u ovom slučaju rezultat praktički unaprijed zaključen ( ostvarenje stanja, vjerojatnost koja je 0,99).

Američki znanstvenik K. Shannon generalizirao je koncept mjere neizvjesnosti izbora H u slučaju H ne ovisi samo o broju stanja, već i o vjerojatnosti tih stanja (vjerojatnosti p i odabir karaktera i ja, abeceda A). Ova mjera, koja je prosječna nesigurnost po stanju, naziva se entropija diskretnog izvora informacija:

(2.5)

Ako se opet usredotočimo na mjerenje nesigurnosti u binarnim jedinicama, tada bazu logaritma treba uzeti jednakom dva:

(2.6)

S jednako vjerojatnim izborima, vjerojatnost p i = 1 / N formula (2.6) pretvara se u formulu R. Hartleyja (2.3):

Predložena mjera s razlogom je nazvana entropija. Stvar je u tome da se formalna struktura izraza (2.5) poklapa s entropijom fizičkog sustava, koju je ranije odredio Boltzmann.

Koristeći formule (2.4) i (2.6), može se odrediti redundancija D izvorna abeceda poruke A,što pokazuje koliko se racionalno koriste simboli ove abecede:

gdje H max (A) - najveća moguća entropija, određena formulom (2.4);

NA) - entropija izvora, određena formulom (2.6).

Suština ove mjere leži u činjenici da se s jednako vjerojatnim izborom može osigurati isto informacijsko opterećenje znaka korištenjem manje abecede nego u slučaju nejednakog izbora.