Sintaktička mjera informacije
Kao sintaktička mjera, količina informacija predstavlja količinu podataka.
O veličina podataka V d u poruci "u" mjeri se broj znakova (bitova) u ovoj poruci. Kao što smo spomenuli, u binarnom sustavu mjerna jedinica je bit. U praksi, uz ovu "najmanju" jedinicu mjerenja podataka, često se koristi i veća jedinica - bajt jednak 8 bita... Radi praktičnosti, kao mjerači se koriste kilo- (10 3), mega- (10 6), giga- (10 9) i tera- (10 12) bajtovi itd. Svima poznati bajtovi mjere volumen kratkih napisanih poruka, debelih knjiga, glazbenih djela, slika, ali i softverskih proizvoda. Jasno je da ova mjera ni na koji način ne može okarakterizirati što i zašto nose te jedinice informacija. Izmjerite u kilobajtima roman L.N. Tolstojev "Rat i mir" koristan je, na primjer, za razumijevanje može li stati na slobodan prostor na tvrdom disku. To je jednako korisno kao i mjerenje veličine knjige - njezine visine, debljine i širine - kako biste procijenili hoće li stati na policu za knjige ili je izvagati kako biste vidjeli hoće li portfelj izdržati kombiniranu težinu.
Tako. jedna sintaktička mjera informacija očito nije dovoljna za karakterizaciju poruke: u našem primjeru s vremenom, u potonjem slučaju, poruka prijatelja sadržavala je količinu podataka različitu od nule, ali nije sadržavala informacije koje su nam potrebne. Zaključak o korisnosti informacije proizlazi iz razmatranja sadržaja poruke. Za mjerenje semantičkog sadržaja informacije, t.j. njegovu količinu na semantičkoj razini, uvest ćemo pojam “tezaurusa primatelja informacije”.
Tezaurus je skup informacija i veza među njima, koje primatelj informacije ima. Možemo reći da je tezaurus akumulirano znanje primatelja.
U vrlo jednostavnom slučaju, kada je primatelj tehnički uređaj - osobno računalo, tezaurus je formiran "oružjem" računala - programi i uređaji koji su ugrađeni u njega koji vam omogućuju primanje, obradu i prezentiranje tekstualnih poruka u različitim jezicima koji koriste različite abecede, fontove, kao i audio i video informacije iz lokalne ili svjetske mreže. Ako vaše računalo nema karticu mrežnog sučelja, ne možete očekivati da ćete primati poruke od drugih korisnika mreže u bilo kojem obliku. Nedostatak drajvera s ruskim fontovima neće dopustiti rad s porukama na ruskom itd.
Ako je primatelj osoba, njegov je tezaurus također svojevrsno intelektualno naoružanje osobe, arsenal njezina znanja. Također čini svojevrsni filter za dolazne poruke. Primljena poruka se obrađuje korištenjem raspoloživog znanja u svrhu dobivanja informacija. Ako je tezaurus vrlo bogat, tada je arsenal znanja dubok i raznolik, omogućit će vam da izvučete informacije iz gotovo svake poruke. Mali tezaurus s malo znanja može postati prepreka razumijevanju poruka koje zahtijevaju bolju pripremu.
Imajte na umu, međutim, da samo razumijevanje poruke nije dovoljno da utječe na donošenje odluka – ono mora sadržavati informacije potrebne za to, kojih nema u našem tezaurusu i koje želimo uključiti u njega. Što se tiče vremena, naš tezaurus nije imao najnovije, "ažurne" informacije o vremenu na području sveučilišta. Ako poruka koju primimo promijeni naš tezaurus, naš izbor rješenja može se promijeniti. Takva promjena u tezaurusu služi kao semantička mjera količine informacija, svojevrsna mjera korisnosti primljene poruke.
Formalno, količina semantičkih informacija ja sam, dalje uključen u tezaurus, određen je odnosom primateljevog tezaurusa S i, te sadržaj informacija prenesenih u poruci "u" S. Grafički prikaz ove ovisnosti prikazan je na slici 1.
Razmotrimo slučajeve kada je količina semantičkih informacija ja s jednak ili blizu nuli:
Za S i= 0 primatelj ne percipira dolaznu informaciju;
U 0< Si< S 0 получатель воспринимает, но не понимает поступившую в сообщении информацию;
Za S i- »∞primatelj ima sveobuhvatno znanje i dolazne informacije ne mogu nadopuniti njegov tezaurus.
Riža. Ovisnost količine semantičkih informacija o tezaurusu primatelja
Sa tezaurusom S i> S 0 količina semantičkih informacija ja s preuzeto iz priložene poruke β informacija Su početku brzo raste s rastom primateljevog vlastitog tezaurusa, i tada - počevši od neke vrijednosti S i - ... Pad količine informacija korisnih primatelju posljedica je činjenice da je baza znanja primatelja postala prilično solidna te ga je sve teže iznenaditi nečim novim.
To se može ilustrirati na primjeru studenata koji studiraju ekonomsku informatiku i čitaju materijale sa stranica o korporativnom IP-u. . U početku, pri formiranju prvih znanja o informacijskim sustavima, čitanje malo daje - ima mnogo nerazumljivih pojmova, kratica, čak ni naslovi nisu svi jasni. Upornost u čitanju knjiga, pohađanje predavanja i seminara, komunikacija sa stručnjacima pomažu u nadopunjavanju tezaurusa. S vremenom čitanje materijala stranice postaje ugodno i korisno, a do kraja vaše profesionalne karijere - nakon što napišete mnogo članaka i knjiga - dobivanje novih korisnih informacija s popularne stranice bit će mnogo rjeđe.
Možemo govoriti o optimalnom za ovu informaciju S tezaurus primatelja, u kojem će dobiti maksimalan broj informacija Is, kao i optimalne informacije u poruci "c" za ovaj tezaurus Sj. U našem primjeru, kada je primatelj računalo, optimalni tezaurus znači da njegov hardver i instalirani softver percipiraju i ispravno tumače za korisnika sve znakove sadržane u poruci "B" koji prenose značenje informacije S. Ako poruka sadrži znakove koji ne odgovaraju sadržaju tezaurusa, neke informacije će se izgubiti i vrijednost ja s smanjit će se.
S druge strane, ako znamo da primatelj ne može primati poruke na ruskom (njegovo računalo nema potrebne drajvere), te strane jezike na kojima se naša poruka može poslati, ni on ni mi nismo učili, za prijenos potrebnih informacija možemo posegnuti za transliteracijom - pisanjem ruskih tekstova pomoću slova strane abecede koja dobro percipira računalo primatelja. Time će se naše informacije uskladiti s računalnim tezaurusom primatelja. Poruka će izgledati ružno, ali primatelj će moći pročitati sve potrebne informacije.
Dakle, maksimalna količina semantičkih informacija je iz poruke β primatelj stječe pri dogovoru o njegovom semantičkom sadržaju S c tezaurus Si,(na Si = Sj opt). Informacije iz iste poruke mogu imati smislen sadržaj za kompetentnog korisnika i biti besmislene za nekompetentnog korisnika. Količina semantičkih informacija u poruci koju prima korisnik je individualna, personalizirana vrijednost - za razliku od sintaktičkih informacija. Međutim, semantičke informacije mjere se na isti način kao i sintaktičke informacije - u bitovima i bajtovima.
Relativna mjera količine semantičkih informacija je koeficijent sadržaja C, koji je definiran kao omjer količine semantičke informacije i njezinog volumena podataka V d, sadržano u poruci β:
C = Is / Vd
2. predavanje iz discipline "Informatika i ICT"
Informacijska interakcija. Metode prijenosa informacija. Klasifikacija informacija.
Informacijski koncept. Svojstva informacija. Oblici prezentiranja informacija.
Informacija (od lat. Informatio - "objašnjenje, prezentacija, svijest") - informacije o nečemu, bez obzira na oblik njihova predstavljanja.
Informacije se mogu podijeliti u vrste prema različitim kriterijima:
po načinu percepcije:
Vizualno - percipira se od strane organa vida.
Slušni - percipiraju se organima sluha.
Taktilni - percipiraju ga taktilni receptori.
Olfaktorni - percipiraju ga olfaktorni receptori.
Okus - percipira se okusnim pupoljcima.
po obliku prezentacije:
Tekst - prenosi se u obliku simbola namijenjenih označavanju znakova jezika.
Numerički - u obliku brojeva i znakova koji označavaju matematičke operacije.
Grafički - u obliku slika, objekata, grafikona.
Zvuk – usmeni ili u obliku bilježenja i prijenosa jezičnih leksema slušnim sredstvima.
po dogovoru:
Masivno - sadrži trivijalne informacije i djeluje s skupom pojmova koji su razumljivi većini društva.
Posebni - sadrži specifičan skup koncepata, kada se koriste, prenose se informacije koje možda nisu razumljive većini društva, ali su potrebne i razumljive unutar uže društvene skupine u kojoj se te informacije koriste.
Tajna - prenosi se na uski krug ljudi i kroz zatvorene (zaštićene) kanale.
Osobno (privatno) – skup podataka o osobi koji određuju društveni status i vrste društvenih interakcija unutar populacije.
po vrijednosti:
Relevantne - informacije koje su vrijedne u određenom trenutku.
Pouzdan - informacije primljene bez izobličenja.
Razumljivo – informacija izražena na jeziku koji je razumljiv osobi kojoj je namijenjena.
Potpuna - informacija dovoljna za donošenje ispravne odluke ili razumijevanja.
Korisno – korisnost informacija određuje subjekt koji je informaciju primio, ovisno o opsegu mogućnosti njezine uporabe.
istina:
pravi
U informatici su predmet proučavanja informacija upravo podaci: načini njihova stvaranja, pohranjivanja, obrade i prijenosa.
Prijenos informacije je proces njezina prostornog prijenosa od izvora do primatelja (adresata). Osoba je naučila prenositi i primati informacije čak i prije nego ih je pohranila. Govor je način prijenosa koji su naši daleki preci koristili u izravnom kontaktu (razgovoru) – koristimo ga i sada. Za prijenos informacija na velike udaljenosti potrebno je koristiti mnogo složenije informacijske procese.
Za provedbu takvog procesa informacije moraju biti na neki način formalizirane (prezentirane). Za predstavljanje informacija koriste se različiti znakovni sustavi - skupovi unaprijed dogovorenih semantičkih simbola: predmeti, slike, pisane ili tiskane riječi prirodnog jezika. Semantičke informacije o objektu, pojavi ili procesu prezentirane uz njihovu pomoć nazivaju se porukom.
Očito, da bi se poruka prenijela na daljinu, informacije se moraju prenijeti na neku vrstu mobilnog operatera. Mediji se mogu kretati svemirom pomoću vozila, kao što je slučaj s pismima poslanim poštom. Ova metoda osigurava potpunu pouzdanost prijenosa informacija, budući da primatelj prima izvornu poruku, ali za prijenos je potrebno znatno vrijeme. Od sredine 19. stoljeća postale su široko rasprostranjene metode prijenosa informacija, koristeći prirodno šireći medij informacija - elektromagnetske oscilacije (električne oscilacije, radio valovi, svjetlost). Uređaji koji provode proces prijenosa podataka formiraju komunikacijske sustave. Ovisno o načinu prezentiranja informacija, komunikacijski sustavi se mogu podijeliti na znakovne (telegraf, telefaks), zvučne (telefonske), video i kombinirane (televizija). Najrazvijeniji komunikacijski sustav u naše vrijeme je Internet.
Informacijske jedinice se koriste za mjerenje različitih karakteristika povezanih s informacijama.
Najčešće se mjerenje informacija odnosi na mjerenje kapaciteta računalne memorije (uređaja za pohranu podataka) i mjerenje količine podataka koji se prenose digitalnim komunikacijskim kanalima. Rjeđe se mjeri količina informacija.
Bit (engleski binary digit - binarni broj; također igra riječi: engleski bit - komad, čestica) je jedinica mjere količine informacija, jednaka jednom bitu u binarnom brojevnom sustavu. Označeno u skladu s GOST 8.417-2002
Claude Shannon je 1948. predložio korištenje riječi bit za označavanje najmanje jedinice informacije:
Bit je binarni logaritam vjerojatnosti jednakovjerojatnih događaja ili zbroj umnožaka vjerojatnosti binarnim logaritmom vjerojatnosti jednakovjerojatnih događaja; vidi informacijsku entropiju.
Bit - osnovna mjerna jedinica količine informacija, jednaka količini informacija sadržanih u eksperimentu koji ima dva jednako vjerojatna ishoda; vidi informacijsku entropiju. To je identično količini informacija u odgovoru na pitanje koja dopušta odgovore "da" ili "ne" i nikakve druge (odnosno količini informacija koja vam omogućuje da nedvosmisleno odgovorite na postavljeno pitanje).
Sintaktička mjera informacije
Pojavu informologije kao znanosti možemo pripisati kraju 50-ih godina našeg stoljeća, kada je američki inženjer R. Hartley pokušao uvesti kvantitativnu mjeru informacija koje se prenose komunikacijskim kanalima. Razmotrimo jednostavnu situaciju igre. Prije nego što primi poruku o rezultatu bacanja novčića, osoba je u stanju neizvjesnosti o ishodu sljedećeg bacanja. Partnerova poruka pruža informacije koje otklanjaju tu nesigurnost. Imajte na umu da je broj mogućih ishoda u opisanoj situaciji jednak 2, jednaki su (jednako vjerojatni) i svaki put kada je prenesena informacija potpuno otklonila nastalu nesigurnost. Hartley je uzeo "količinu informacija" prenesenih putem komunikacijskog kanala s obzirom na dva jednaka ishoda i otklanja nesigurnost prenošenjem jednom od njih, kao jedinicu informacija nazvanu "bit".
Semantička mjera informacije
Nova faza u teorijskoj ekspanziji pojma informacije povezana je s kibernetikom – znanošću o kontroli i komunikaciji u živim organizmima, društvu i strojevima. Ostajući na pozicijama Shannonovog pristupa, kibernetika formulira načelo jedinstva informacije i kontrole, što je posebno važno za analizu suštine procesa koji se odvijaju u samoupravnim, samoorganizirajućim biološkim i društvenim sustavima. Koncept razvijen u djelima N. Wienera pretpostavlja da je proces upravljanja u tim sustavima proces obrade (transformacije) nekim središnjim uređajem informacija primljenih iz izvora primarnih informacija (osjetnih receptora) i prijenosa u te dijelove sustava. sustav gdje ga njegovi elementi percipiraju kao nalog za izvođenje radnje. Po završetku same radnje, senzorni receptori su spremni za prijenos informacija o promijenjenoj situaciji kako bi se izvršio novi kontrolni ciklus. Tako je organiziran ciklički algoritam (slijed radnji) za upravljanje i kruženje informacija u sustavu. Ovdje je važno da glavnu ulogu ovdje igra sadržaj informacija koje prenose receptori i središnji uređaj. Informacija je, prema Wieneru, "oznaka sadržaja primljenog iz vanjskog svijeta u procesu naše prilagodbe na njega i naših osjetila koji mu se prilagođavaju".
Pragmatična mjera informacija
U pragmatičnim konceptima informacija ovaj aspekt je središnji, što dovodi do potrebe da se u obzir uzme vrijednost, korisnost, učinkovitost, ekonomičnost informacija, t.j. one njegove kvalitete koje presudno utječu na ponašanje samoorganizirajućih, samoupravnih, svrhovitih kibernetičkih sustava (bioloških, društvenih, čovjek-stroj).
Jedan od najsjajnijih predstavnika pragmatičnih teorija informacija je bihevioristički model komunikacije – bihevioristički model Ackoff-Milesa. Polazna točka u ovom modelu je ciljna težnja primatelja informacije za rješavanjem konkretnog problema. Primatelj je u "svrhovnom stanju" ako nečemu teži i ima alternativne načine nejednake učinkovitosti za postizanje cilja. Poruka poslana primatelju je informativna ako promijeni svoje "svrhovito stanje".
Budući da je “svrhovno stanje” karakterizirano slijedom mogućih radnji (alternativa), djelotvornošću radnje i značajem rezultata, poruka koja se prenosi primatelju može utjecati na sve tri komponente u različitom stupnju. U skladu s tim, prenesene informacije razlikuju se po vrstama na "informirajuće", "poučne" i "motivirajuće". Dakle, za primatelja pragmatična vrijednost poruke leži u tome što mu omogućuje da zacrta strategiju ponašanja u postizanju cilja konstruirajući odgovore na pitanja: što, kako i zašto učiniti na svakom sljedećem koraku? Za svaku vrstu informacija bihevioristički model nudi vlastitu mjeru, a ukupna pragmatična vrijednost informacije određena je kao funkcija razlike između tih količina u "svrhovnom stanju" prije i nakon njegove promjene u novo "svrhovito stanje" .
Količina i kvaliteta informacija
Razine komunikacijskih problema
Pri provedbi informacijskih procesa informacija se uvijek prenosi u prostoru i vremenu od izvora informacije do primatelja (primatelja) pomoću signala. Signal - fizički proces (fenomen) koji nosi poruku (informaciju) o događaju ili stanju objekta promatranja.
Poruka- oblik prezentiranja informacija u obliku zbirke znakova (simbola) koji se koriste za prijenos.
Komunikacija kao skup znakova sa stajališta semiotike – znanosti koja proučava svojstva znakova i znakovnih sustava – može se proučavati na tri razine:
1) sintaktički, gdje se razmatraju unutarnja svojstva poruka, odnosno odnos između znakova, koji odražava strukturu danog znakovnog sustava.
2) semantičko, gdje se analizira odnos između znakova i predmeta, radnji, kvaliteta koje oni označavaju, odnosno semantički sadržaj poruke, njezin odnos prema izvoru informacije;
3) pragmatičan, gdje se razmatra odnos između poruke i primatelja, odnosno potrošački sadržaj poruke, njezin odnos prema primatelju.
Problemi sintaktičkoj razini odnose se na stvaranje teorijskih temelja za izgradnju informacijskih sustava. Na ovoj razini razmatraju se problemi dostave poruke primatelju kao skupa znakova, uzimajući u obzir vrstu medija i način prezentiranja informacija, brzinu prijenosa i obrade, veličinu kodova za prezentaciju informacija, pouzdanost. te točnost pretvorbe tih kodova itd., potpuno apstrahirajući od semantičkog sadržaja poruka i njihove namjene. Na ovoj razini, informacije koje se razmatraju samo sa sintaktičke točke gledišta obično se nazivaju podacima, budući da semantička strana nije važna.
Problemi semantička razina povezani su s formaliziranjem i uzimanjem u obzir značenja prenesenih informacija, određivanjem stupnja podudarnosti između slike objekta i samog objekta. Na ovoj razini analiziraju se informacije koje odražavaju informaciju, razmatraju semantičke veze, formiraju pojmovi i prikazi, otkriva se značenje, sadržaj informacija i vrši se njihova generalizacija.
Na pragmatičnoj razini zainteresirani za posljedice primanja i korištenja ovih informacija od strane potrošača. Problemi na ovoj razini povezani su s određivanjem vrijednosti i korisnosti korištenja informacija kada potrošač razvija rješenje za postizanje svog cilja. Glavna poteškoća ovdje je u tome što vrijednost, korisnost informacija može biti potpuno različita za različite primatelje, a osim toga ovisi o nizu čimbenika, poput pravovremenosti njihove dostave i korištenja.
Mjere informiranja
Informacijske mjere sintaktičke razine
Za mjerenje informacija na sintaktičkoj razini uvode se dva parametra: količina informacija (podataka) - V D(volumetrijski pristup) i količina informacija - ja(entropijski pristup).
Količina informacija V D. Prilikom provedbe informacijskih procesa, informacija se prenosi u obliku poruke, koja je skup simbola abecede. Ako se količina informacija sadržana u poruci od jednog znaka uzme kao jedinica, tada se količina informacija (podataka) V D u bilo kojoj drugoj poruci bit će jednak broju znakova (znamenaka) u ovoj poruci.
Dakle, u decimalnom brojevnom sustavu jedna znamenka ima težinu jednaku 10, pa će prema tome jedinica mjerenja informacija biti dit (decimalno mjesto). U ovom slučaju, poruka u obrascu n V D= NS dit. Na primjer, četveroznamenkasti broj 2003 ima količinu podataka V D = 4 toč.
U binarnom sustavu, jedan bit ima težinu jednaku 2, te će prema tome jedinica informacije biti bit (bit (binarna znamenka)- binarna znamenka). U ovom slučaju, poruka u obrascu n-bitni broj ima količinu podataka V D = n malo. Na primjer, osmobitni binarni 11001011 ima veličinu podataka V D= 8 bita.
U modernom računarstvu, uz minimalnu mjernu jedinicu bitova podataka, naširoko se koristi povećana mjerna jedinica bajtova, jednaka 8 bita. Prilikom rada s velikim količinama informacija, za izračunavanje njihove količine koriste se veće mjerne jedinice, kao što su kilobajt (KB), megabajt (MB), gigabajt (GB), terabajt (TB):
1 kbajt = 1024 bajta = 2 10 bajta;
1 MB = 1024 kB = 2 20 bajtova = 1 048 576 bajtova;
1 GB = 1024 MB = 2 30 bajtova = 1,073,741,824 bajta; ...
1 TB = 1024 GB = 2 40 bajtova = 1 099 511 627 776 bajtova.
Količina informacija I (entropijski pristup). U teoriji informacija i kodiranja usvojen je entropijski pristup mjerenju informacija. Ovaj pristup temelji se na činjenici da je činjenica dobivanja informacija uvijek povezana sa smanjenjem raznolikosti ili nesigurnosti (entropije) sustava. Na temelju toga količina informacija u poruci definira se kao mjera smanjenja nesigurnosti stanja danog sustava nakon primitka poruke. Čim je promatrač identificirao nešto u fizičkom sustavu, entropija sustava se smanjivala, jer je sustav postajao uređeniji za promatrača.
Dakle, kod entropijskog pristupa, informacija se shvaća kao kvantitativna vrijednost nesigurnosti koja je nestala tijekom procesa (testiranje, mjerenje itd.). U ovom slučaju, entropija se uvodi kao mjera nesigurnosti H, a količina informacija jednaka je:
gdje H trav - apriorna entropija o stanju sustava koji se proučava;
H aps je posteriorna entropija.
A posteriori- proizlaze iz iskustva (testovi, mjerenja).
Apriorno- pojam koji karakterizira znanje prije iskustva (test), i neovisno o njemu.
U slučaju kada se tijekom ispitivanja otkloni postojeća nesigurnost (dobije se specifičan rezultat, tj. H aps = 0), količina primljenih informacija poklapa se s početnom entropijom
Razmotrimo diskretni izvor informacija (izvor diskretnih poruka) kao sustav koji se proučava, pri čemu mislimo na fizički sustav koji ima konačan skup mogućih stanja. Ovo mnoštvo A= (a 1, a 2 , ..., a n) stanja sustava u teoriji informacija naziva se apstraktna abeceda ili abeceda izvora poruke.
Pojedinačne države a 1, a 2, ..., a „ nazivaju se slovima ili simbolima abecede.
Takav sustav može u bilo kojem trenutku nasumično pretpostaviti jedno od konačnih skupova mogućih stanja a i.
Budući da neke države izvor bira češće, a druge rjeđe, onda je u općem slučaju karakterizira cjelina A, odnosno kompletan skup stanja s vjerojatnostima njihovog pojavljivanja, koji zbrajaju jedno:
, i (2.2)
Uvedimo mjeru nesigurnosti u izboru izvornog stanja. Također se može smatrati mjerom količine informacija dobivenih uz potpunu eliminaciju nesigurnosti o ravnovjerojatnim stanjima izvora.
Zatim kod N = 1 dobivamo NA)= 0.
Ovu je mjeru predložio američki znanstvenik R. Hartley 1928. Baza logaritma u formuli (2.3) nije od temeljne važnosti i određuje samo skalu ili mjernu jedinicu. Ovisno o bazi logaritma, sljedeće jedinice mjerenja se koriste.
1. Bitovi - dok je baza logaritma 2:
(2.4)
2. Gnjide – dok je baza logaritma e:
3. Dits - dok je baza logaritma 10:
U informatici se formula (2.4) obično koristi kao mjera nesigurnosti. U ovom slučaju, jedinica nesigurnosti naziva se binarna jedinica, ili bit, i predstavlja nesigurnost izbora dvaju jednako vjerojatnih događaja.
Formula (2.4) se može dobiti empirijski: da bi se uklonila nesigurnost u situaciji od dva jednako vjerojatna događaja, potreban je jedan eksperiment i, sukladno tome, jedan bit informacije, s nesigurnošću koja se sastoji od četiri jednako vjerojatna događaja, dovoljna su 2 bita informacije za pogađanje željenu činjenicu. Za određivanje karte iz špila od 32 karte dovoljno je 5 bitova informacija, odnosno dovoljno je postaviti pet pitanja s odgovorima "da" ili "ne" za određivanje željene karte.
Predložena mjera omogućuje rješavanje određenih praktičnih problema kada sva moguća stanja izvora informacija imaju istu vjerojatnost.
U općem slučaju, stupanj neizvjesnosti u realizaciji stanja izvora informacija ne ovisi samo o broju stanja, već i o vjerojatnosti tih stanja. Ako izvor informacija ima, na primjer, dva moguća stanja s vjerojatnostima 0,99 i 0,01, tada je nesigurnost izbora mnogo manja od nesigurnosti izvora koji ima dva jednako vjerojatna stanja, budući da je u ovom slučaju rezultat praktički unaprijed zaključen ( ostvarenje stanja, vjerojatnost koja je 0,99).
Američki znanstvenik K. Shannon generalizirao je koncept mjere neizvjesnosti izbora H u slučaju H ne ovisi samo o broju stanja, već i o vjerojatnosti tih stanja (vjerojatnosti p i odabir karaktera i ja, abeceda A). Ova mjera, koja je prosječna nesigurnost po stanju, naziva se entropija diskretnog izvora informacija:
(2.5)
Ako se opet usredotočimo na mjerenje nesigurnosti u binarnim jedinicama, tada bazu logaritma treba uzeti jednakom dva:
(2.6)
S jednako vjerojatnim izborima, vjerojatnost p i = 1 / N formula (2.6) pretvara se u formulu R. Hartleyja (2.3):
Predložena mjera s razlogom je nazvana entropija. Stvar je u tome da se formalna struktura izraza (2.5) poklapa s entropijom fizičkog sustava, koju je ranije odredio Boltzmann.
Koristeći formule (2.4) i (2.6), može se odrediti redundancija D izvorna abeceda poruke A,što pokazuje koliko se racionalno koriste simboli ove abecede:
gdje H max (A) - najveća moguća entropija, određena formulom (2.4);
UKLJUČENO) - entropija izvora, određena formulom (2.6).
Suština ove mjere leži u činjenici da se s jednako vjerojatnim izborom može osigurati isto informacijsko opterećenje znaka korištenjem manje abecede nego u slučaju nejednakog izbora.
Klasifikacija mjera
Mjere informiranja
Oblici adekvatnosti informacija
Adekvatnost informacija može se izraziti u tri oblika: semantičkom, sintaktičkom, pragmatičkom.
Sintaktička adekvatnost. Ona odražava formalne i strukturne karakteristike informacije i ne utječe na njezin semantički sadržaj. Na sintaktičkoj razini uzima se u obzir vrsta medija i način prezentiranja informacija, brzina prijenosa i obrade, veličina kodova za njezino predstavljanje, pouzdanost i točnost pretvorbe tih kodova itd. u ovom slučaju semantička strana nije bitna.
Semantička (semantička) adekvatnost. Ovaj oblik određuje stupanj korespondencije između slike predmeta i samog predmeta. Semantički aspekt uključuje uzimanje u obzir semantičkog sadržaja informacije. Na ovoj razini analiziraju se informacije koje odražavaju informaciju, razmatraju semantičke veze. U informatici se između kodova za prezentaciju informacija uspostavljaju semantičke veze. Ovaj oblik služi za formiranje pojmova i predstava, za prepoznavanje značenja, sadržaja informacije i njezine generalizacije.
Pragmatična (potrošačka) adekvatnost odražava odnos informacije i njezinog potrošača, usklađenost informacija s ciljem upravljanja, koji se provodi na njegovoj osnovi. Pragmatična svojstva informacije očituju se samo u prisutnosti jedinstva informacije (objekta), korisnika i cilja upravljanja. Pragmatični aspekt razmatranja povezan je s vrijednošću, korisnošću korištenja informacija u razvoju potrošačkog rješenja za postizanje svog cilja.
Za mjerenje informacija uvode se dva parametra: količina informacija I i količina podataka V. Ovi parametri imaju različite izraze i interpretaciju ovisno o razmatranom obliku adekvatnosti. Svaki oblik adekvatnosti ima svoju mjeru količine informacija i količine podataka (slika 2.1).
Volumen podataka V d u poruci se mjeri brojem znakova (bitova) u ovoj poruci. U različitim brojevnim sustavima jedna znamenka ima različitu težinu i mjerna jedinica podataka se mijenja u skladu s tim:
- u binarnom sustavu mjerna jedinica je bit (bit - binarna znamenka);
- u decimalnom zapisu mjerna jedinica je dit (decimalno mjesto).
Riža. 2.1. Mjere informiranja
Količina informacija I na sintaktičkoj razini ne može se definirati bez razmatranja koncepta neizvjesnosti stanja sustava (entropije sustava). Doista, dobivanje informacija o sustavu uvijek je povezano s promjenom stupnja primateljevog neznanja o stanju tog sustava. Razmotrimo ovaj koncept.
Neka potrošač prije primanja informacija ima neke preliminarne (a priori) informacije o sustavu a. Mjera njegovog neznanja o sustavu je funkcija H (a), koja ujedno služi i kao mjera nesigurnosti stanja sustava.
Nakon što je primio neku poruku b, primatelj je dobio neke dodatne informacije I b (a), što je smanjilo njegovo prethodno neznanje tako da je a posteriori (nakon primanja poruke b) nesigurnost stanja sustava postala H b (a).
Tada će se količina informacija I b (a) o sustavu primljena u poruci b odrediti kao
I b (a) = H (a) -H b (a),
oni. količina informacija mjeri se promjenom (smanjenjem) nesigurnosti stanja sustava.
Ako konačna nesigurnost sustava H b (a) nestane, tada će početno nepotpuno znanje biti zamijenjeno punim znanjem i količinom informacija I b (a) = H (a). Drugim riječima, entropija sustava H (a) može se promatrati kao mjera informacija koje nedostaju.
Entropija sustava H (a), koji ima N mogućih stanja, prema Shanonovoj formuli je
,
gdje je P i vjerojatnost da je sustav u i-tom stanju.
Za slučaj kada su sva stanja sustava jednako vjerojatna, t.j. njihove su vjerojatnosti jednake P i =, njegova je entropija određena relacijom
.
Informacije se često kodiraju brojčanim kodovima u jednom ili drugom brojevnom sustavu, što je posebno važno kada se informacije prikazuju u računalu. Naravno, isti broj znamenki u različitim brojevnim sustavima može prenijeti različit broj stanja prikazanog objekta, što se može predstaviti kao relacija
gdje je N broj različitih prikazanih stanja;
m - baza brojevnog sustava (raznolikost simbola koji se koriste u abecedi);
n je broj znamenki (znakova) u poruci.
Najčešće korišteni logaritmi su binarni i decimalni. Mjerne jedinice u ovim slučajevima bit će, odnosno bitovi.
Koeficijent (stupanj) sadržaja informacija(konciznost) poruke određena je omjerom količine informacija i količine podataka, t.j.
Y = 1 / V d, i 0 S povećanjem Y, količina posla za transformaciju informacija (podataka u sustavu) se smanjuje. Stoga nastoje povećati informacijski sadržaj, za što se razvijaju posebne metode optimalnog kodiranja informacija. Za mjerenje semantičkog sadržaja informacije, t.j. Najveće priznanje dobila je njezina količina na semantičkoj razini, mjera tezaurusa, koja povezuje semantička svojstva informacije s korisnikovom sposobnošću primanja dolazne poruke. Za to se koristi koncept tezaurus korisnik. Tezaurus je zbirka informacija koje drži korisnik ili sustav. Ovisno o odnosu između semantičkog sadržaja informacije S i korisničkog tezaurusa S p, mijenja se količina semantičkih informacija I c, koju percipira korisnik i koju potom uključuje u svoj tezaurus. Priroda ove ovisnosti prikazana je na Sl. 2.2. Razmotrimo dva ograničavajuća slučaja kada je količina semantičke informacije I c Potrošač stječe maksimalnu količinu semantičkih informacija I c kada je njegov semantički sadržaj S usklađen s njegovim tezaurusom S p (S p = S p opt), kada su dolazne informacije razumljive korisniku i nose mu dotad nepoznate (odsutne u njegovom tezaurus) informacija. Posljedično, količina semantičkih informacija u poruci, količina novog znanja koje je primio korisnik je relativna vrijednost. Jedna te ista poruka može imati semantički sadržaj za kompetentnog korisnika i biti besmislena (semantički šum) za nekompetentnog korisnika. Prilikom procjene semantičkog (smislenog) aspekta informacije potrebno je nastojati uskladiti vrijednosti S i S p. Faktor sadržaja C može poslužiti kao relativna mjera količine semantičke informacije, koja se definira kao omjer količine semantičke informacije i njezinog volumena: Sintaktička mjera informacije. Ova mjera količine informacija operira s neosobnim informacijama koje ne izražavaju semantički odnos prema objektu. Volumen podataka Vd u ovom slučaju, poruka se mjeri brojem znakova (bitova) u poruci. U različitim brojevnim sustavima jedna znamenka ima različitu težinu i mjerna jedinica podataka se u skladu s tim mijenja. Na primjer, u binarnom sustavu mjerna jedinica je bit (bit-binarna znamenka - bit). Bit je odgovor na jedno binarno pitanje (“da” ili “ne”; “0” ili “1”), koje se prenosi komunikacijskim kanalima pomoću signala. Dakle, količina informacija sadržanih u poruci u bitovima određena je brojem binarnih riječi prirodnog jezika, brojem znakova u svakoj riječi i brojem binarnih signala potrebnih za izražavanje svakog znaka. U modernim računalima, uz minimalnu podatkovnu jedinicu "bit", naširoko se koristi povećana jedinica mjere "bajt", jednaka 8 bita. U decimalnom zapisu, jedinica mjere je “bit” (decimalno mjesto). Količina informacija I na sintaktičkoj razini nemoguće je definirati bez razmatranja pojma neizvjesnosti stanja sustava (entropije sustava). Doista, dobivanje informacija o nekom sustavu uvijek je povezano s promjenom stupnja primateljevog neznanja o stanju ovog sustava, t.j. količina informacija mjeri se promjenom (smanjenjem) nesigurnosti stanja sustava. Koeficijent (stupanj) sadržaja informacija(konciznost) poruke određena je omjerom količine informacija i količine podataka, t.j. Y = I / Vd, i 0 Uz povećanje Y smanjuje se količina posla na transformaciji informacija (podataka) u sustavu. Stoga nastoje povećati informacijski sadržaj, za što se razvijaju posebne metode optimalnog kodiranja informacija. Semantička mjera informacije Za mjerenje semantičkog sadržaja informacije, t.j. Najveće priznanje dobila je njezina količina na semantičkoj razini, mjera tezaurusa, koja povezuje semantička svojstva informacije s korisnikovom sposobnošću primanja dolazne poruke. Za to se koristi koncept korisnički tezaurus. Tezaurus je zbirka informacija koje drži korisnik ili sustav. Ovisno o odnosu semantičkog sadržaja informacija S i korisnički tezaurus Sr količina semantičkih informacija se mijenja je, percipira korisnik i on ga u budućnosti uključuje u svoj tezaurus. Priroda ove ovisnosti prikazana je na Sl. 1. Razmotrimo dva ograničavajuća slučaja kada je količina semantičkih informacija Is jednako 0: na Sr= 0 korisnik ne percipira, ne razumije dolazne informacije; Na Sr korisnik sve zna, a dolazne informacije mu nisu potrebne.
Riža. 2.2. Ovisnost količine semantičkih informacija koje percipira potrošač
jednako 0:
