Sintaktička mjera informacije
Kao sintaktička mjera, količina informacija predstavlja količinu podataka.
O volumen podataka V d u poruci "in" se mjeri brojem znakova (cifara) u ovoj poruci. Kao što smo spomenuli, u binarnom sistemu jedinica mjere je bit. U praksi se uz ovu "najmanju" jedinicu mjerenja podataka češće koristi veća jedinica - bajt jednak 8 bita. Radi praktičnosti, kao brojila se koriste kilo- (10 3), mega- (10 6), giga- (10 9) i tera- (10 12) bajtovi, itd. U poznatim bajtovima mjeri se obim kratkih pisanih poruka, debelih knjiga, muzičkih djela, slika i softverskih proizvoda. Jasno je da ova mjera ni na koji način ne može okarakterisati šta i zašto ove jedinice informacija nose. Izmjerite u kilobajtima roman L.N. Tolstojev "Rat i mir" je koristan, na primjer, za razumijevanje da li može stati na slobodan prostor na tvrdom disku. Ovo je jednako korisno kao i mjerenje veličine knjige - njene visine, debljine i širine - da biste vidjeli hoće li stati na policu za knjige ili vagati da biste vidjeli hoće li aktovka izdržati ukupnu težinu.
Dakle. jedna sintaktička mjera informacija očito nije dovoljna da okarakterizira poruku: u našem primjeru vremena, u posljednjem slučaju, poruka prijatelja sadržavala je količinu podataka različitu od nule, ali nije sadržavala informacije koje su nam potrebne. Zaključak o korisnosti informacija proizilazi iz razmatranja sadržaja poruke. Za mjerenje semantičkog sadržaja informacije, tj. njenu količinu na semantičkom nivou, uvodimo koncept „tezaurusa primaoca informacije“.
Tezaurus je zbirka informacija i veza između njih koje primatelj informacije ima. Možemo reći da je tezaurus akumulirano znanje primaoca.
U vrlo jednostavnom slučaju, kada je primalac tehnički uređaj - personalni računar, tezaurus je formiran "naoružavanjem" računara - programa i uređaja koji su ugrađeni u njega koji vam omogućavaju da primate, obrađujete i prezentujete tekstualne poruke u različitim jezicima koristeći različite alfabete, fontove, kao i audio i video informacije iz lokalne ili svjetske mreže. Ako računar nije opremljen mrežnom karticom, ne možete očekivati da na njemu primate poruke od drugih korisnika mreže u bilo kom obliku. Nedostatak drajvera sa ruskim fontovima neće vam omogućiti da radite sa porukama na ruskom itd.
Ako je primalac osoba, njegov tezaurus je i svojevrsno intelektualno naoružanje osobe, arsenal njegovog znanja. Takođe čini neku vrstu filtera za dolazne poruke. Dolazna poruka se obrađuje korištenjem postojećeg znanja kako bi se dobila informacija. Ako je tezaurus vrlo bogat, onda je arsenal znanja dubok i raznolik, omogućit će vam da izvučete informacije iz gotovo svake poruke. Mali tezaurus koji sadrži oskudnu količinu znanja može postati prepreka razumijevanju poruka koje zahtijevaju bolju pripremu.
Imajte na umu, međutim, da samo razumijevanje poruke nije dovoljno da utječe na donošenje odluka – ona mora sadržavati informacije potrebne za to, kojih nema u našem tezaurusu i koje želimo uključiti u njega. U slučaju vremena, naš tezaurus nije imao najnovije, „ažurne“ informacije o vremenu na području univerziteta. Ako primljena poruka promijeni naš tezaurus, može se promijeniti i izbor rješenja. Takva promjena u tezaurusu služi kao semantička mjera količine informacija, svojevrsna mjera korisnosti primljene poruke.
Formalno, količina semantičkih informacija ja sam , dalje uključen u tezaurus određuje se odnosom primaočevog tezaurusa S i, te sadržaj informacija prenesenih u poruci "in" S. Grafički prikaz ove zavisnosti je prikazan na Sl.1.
Razmotrite slučajeve kada je količina semantičkih informacija I s jednako ili blizu nule:
Za S i= 0 primalac ne percipira dolaznu informaciju;
U 0< Si< S 0 получатель воспринимает, но не понимает поступившую в сообщении информацию;
Za S i-» ∞ Primalac ima iscrpno znanje i pristigle informacije ne mogu upotpuniti njegov tezaurus.
Rice. Zavisnost količine semantičkih informacija o tezaurusu primaoca
Sa tezaurusom S i>S0 količina semantičkih informacija I s Primljeno iz ugrađene poruke β informacije Su početku brzo raste sa rastom primateljevog sopstvenog tezaurusa, i tada - počevši od neke vrijednosti S i - pada . Pad količine informacija korisnih primaocu je zbog činjenice da je baza znanja primaoca postala prilično solidna i sve je teže iznenaditi ga nečim novim.
Ovo se može ilustrirati na primjeru studenata koji studiraju ekonomsku informatiku i čitaju materijale sa korporativnih IP web stranica. . U početku, kada se formiraju prva znanja o informacionim sistemima, čitanje daje malo – puno nerazumljivih pojmova, skraćenica, čak ni naslovi nisu svi jasni. Upornost u čitanju knjiga, pohađanje predavanja i seminara, komunikacija sa profesionalcima pomažu u popunjavanju tezaurusa. Vremenom, čitanje materijala sa sajta postaje prijatno i korisno, a do kraja vaše profesionalne karijere - nakon što ste napisali mnogo članaka i knjiga - dobijanje novih korisnih informacija sa popularnog sajta će se dešavati mnogo rjeđe.
Možemo govoriti o optimalnom za ovu informaciju S tezaurus primaoca, na kojem će dobiti maksimalan broj informacija Is, kao i optimalne informacije u poruci "in" za ovaj tezaurus sj. U našem primjeru, kada je primalac računar, optimalni tezaurus znači da njegov hardver i instalirani softver percipiraju i ispravno tumače za korisnika sve simbole sadržane u poruci „do“ koji prenose značenje informacije. S. Ako poruka sadrži znakove koji ne odgovaraju sadržaju tezaurusa, neke informacije će se izgubiti i vrijednost I s smanjiti.
S druge strane, ako znamo da primalac nije u mogućnosti da prima tekstove na ruskom (njegov kompjuter nema potrebne drajvere), te stranim jezicima na kojima se naša poruka može poslati, ni on ni mi nismo učili da prenijeti potrebne informacije možemo pribjeći transliteraciji - pisanju ruskih tekstova pomoću slova stranog alfabeta koje dobro percipira računar primatelja. Na taj način ćemo uskladiti naše podatke sa kompjuterskim tezaurusom primaoca. Poruka će izgledati ružno, ali primalac će moći pročitati sve potrebne informacije.
Dakle, maksimalna količina semantičkih informacija je iz poruke β primalac stiče dogovorom o njegovom semantičkom sadržaju S c tezaurus si,(u Si = Sjopt). Informacije iz iste poruke mogu biti značajne za kompetentnog korisnika i biti besmislene za nekompetentnog korisnika. Količina semantičkih informacija u poruci koju prima korisnik je individualna, personalizirana vrijednost, za razliku od sintaksičkih informacija. Međutim, semantičke informacije mjere se na isti način kao i sintaktičke informacije - u bitovima i bajtovima.
Relativna mjera količine semantičkih informacija je faktor sadržaja C, koji je definiran kao omjer količine semantičke informacije i njenog volumena podataka. V d , sadržano u poruci β:
C \u003d Is / Vd
Predavanje 2 iz discipline "Informatika i IKT"
Informacijska interakcija. Načini prijenosa informacija. Klasifikacija informacija.
Koncept informacije. Svojstva informacija. Oblici prezentacije informacija.
Informacija (od latinskog informatio - "razjašnjenje, prezentacija, svijest") - informacije o nečemu, bez obzira na oblik njihovog predstavljanja.
Informacije se mogu podijeliti u vrste prema različitim kriterijima:
prema načinu percepcije:
Vizuelno - opažaju organi vida.
Slušno - opažaju organi sluha.
Taktilni - percipiraju taktilni receptori.
Olfaktorni - percipiraju ga olfaktorni receptori.
Ukus - percipiran od strane ukusnih pupoljaka.
u obliku prezentacije:
Tekst - prenosi se u obliku simbola namijenjenih označavanju leksema jezika.
Numerički - u obliku brojeva i znakova koji označavaju matematičke operacije.
Grafika - u obliku slika, objekata, grafikona.
Zvuk - usmeno ili u obliku bilježenja i prenošenja jezičnih leksema slušnim putem.
po dogovoru:
Masa - sadrži trivijalne informacije i radi sa skupom koncepata razumljivih većini društva.
Poseban – sadrži specifičan skup koncepata, kada se koristi, prenosi se informacija koja možda nije jasna većini društva, ali je neophodna i razumljiva unutar uže društvene grupe u kojoj se te informacije koriste.
Tajna - prenosi se na uski krug ljudi i kroz zatvorene (sigurne) kanale.
Lični (privatni) – skup informacija o osobi koja određuje društveni položaj i vrste društvenih interakcija unutar populacije.
po vrijednosti:
Relevantne - informacije koje su vrijedne u datom trenutku.
Pouzdano - informacije primljene bez izobličenja.
Razumljivo – informacija izražena na jeziku koji je razumljiv osobi kojoj je namijenjena.
Potpuna - informacija dovoljna za donošenje ispravne odluke ili razumijevanja.
Korisno – korisnost informacija određuje subjekt koji je informaciju primio, u zavisnosti od obima mogućnosti za njeno korišćenje.
istina:
tačno
U informatici su predmet informacija upravo podaci: načini njihovog stvaranja, skladištenja, obrade i prenošenja.
Prijenos informacije je proces njenog prostornog prijenosa od izvora do primaoca (primatelja). Čovjek je naučio da prenosi i prima informacije čak i ranije nego da ih pohranjuje. Govor je način prenošenja koji su naši daleki preci koristili u direktnom kontaktu (razgovoru) - koristimo ga i sada. Za prijenos informacija na velike udaljenosti moraju se koristiti mnogo složeniji informacijski procesi.
Za implementaciju takvog procesa, informacije moraju biti formalizirane (prezentovane) na neki način. Za predstavljanje informacija koriste se različiti znakovni sistemi - skupovi unaprijed određenih semantičkih simbola: objekti, slike, pisane ili štampane riječi prirodnog jezika. Semantičke informacije o nekom objektu, pojavi ili procesu predstavljene uz njihovu pomoć nazivaju se porukom.
Očigledno, da bi se poruka prenijela na daljinu, informacije se moraju prenijeti na neku vrstu mobilnog operatera. Nosioci se mogu kretati u svemiru uz pomoć vozila, kao što je slučaj sa pismima poslanim poštom. Ova metoda osigurava potpunu pouzdanost prijenosa informacija, budući da primalac prima originalnu poruku, ali zahtijeva značajno vrijeme za prijenos. Od sredine 19. stoljeća postale su široko rasprostranjene metode prijenosa informacija koje koriste prirodno šireći nosilac informacija - elektromagnetne oscilacije (električne oscilacije, radio valovi, svjetlost). Uređaji koji realizuju proces prenosa podataka iz komunikacionih sistema. U zavisnosti od načina prezentovanja informacija, komunikacioni sistemi se mogu podeliti na znakovne (telegraf, telefaks), zvučne (telefonske), video i kombinovane (televizija). Najrazvijeniji komunikacioni sistem u našem vremenu je Internet.
Informacijske jedinice se koriste za mjerenje različitih karakteristika povezanih s informacijama.
Najčešće se mjerenje informacija odnosi na mjerenje kapaciteta računarske memorije (uređaja za skladištenje podataka) i mjerenje količine podataka koji se prenose digitalnim komunikacijskim kanalima. Retko se meri količina informacija.
Bit (eng. binary digit - binarni broj; takođe i igra reči: eng. bit - komad, čestica) - jedinica mere količine informacija, jednaka jednoj cifri u binarnom brojevnom sistemu. Označen prema GOST 8.417-2002
Claude Shannon je 1948. godine predložio korištenje riječi bit za označavanje najmanje jedinice informacije:
Bit je binarni logaritam vjerovatnoće jednakovjerovatnih događaja ili zbir proizvoda vjerovatnoće i binarni logaritam vjerovatnoće jednakovjerovatnih događaja; vidi informacijsku entropiju.
Bit - osnovna jedinica mjerenja količine informacija, jednaka količini informacija sadržanih u eksperimentu, koji ima dva jednako vjerovatna ishoda; vidi informacijsku entropiju. Ovo je identično količini informacija u odgovoru na pitanje koja omogućava odgovore "da" ili "ne" i nijedan drugi (odnosno, takva količina informacija koja vam omogućava da nedvosmisleno odgovorite na postavljeno pitanje).
Sintaktička mjera informacije
Pojava informologije kao nauke može se pripisati kraju 50-ih godina našeg stoljeća, kada je američki inženjer R. Hartley pokušao uvesti kvantitativnu mjeru informacija koje se prenose komunikacijskim kanalima. Zamislite jednostavnu situaciju u igri. Prije nego što dobije poruku o rezultatu bacanja novčića, osoba je u stanju neizvjesnosti o ishodu sljedećeg bacanja. Partnerova poruka pruža informacije koje otklanjaju ovu nesigurnost. Imajte na umu da je broj mogućih ishoda u opisanoj situaciji jednak 2, jednaki su po pravima (jednako vjerovatni) i svaki put kada je prenesena informacija potpuno otklonila nastalu nesigurnost. Hartley je uzeo “količinu informacija” prenošenih putem komunikacijskog kanala u vezi s dva jednaka ishoda i uklanjanjem nesigurnosti tako što je jedan od njih dao kao jedinicu informacija, nazvanu “bit”.
Semantička mjera informacije
Nova faza u teorijskoj ekspanziji pojma informacije povezana je sa kibernetikom - naukom o kontroli i komunikaciji u živim organizmima, društvu i mašinama. Zadržavajući se na pozicijama Šenonovog pristupa, kibernetika formuliše princip jedinstva informacije i kontrole, što je posebno važno za analizu suštine procesa koji se odvijaju u samoupravnim, samoorganizovanim biološkim i društvenim sistemima. Koncept razvijen u radovima N. Wienera pretpostavlja da je proces upravljanja u navedenim sistemima proces obrade (transformacije) nekim centralnim uređajem informacija primljenih iz izvora primarnih informacija (senzornih receptora) i prenošenja u te dijelove sistem u kojem ga njegovi elementi doživljavaju kao naredbu.da izvrši neku radnju. Po završetku same akcije, senzorni receptori su spremni da prenesu informacije o promenjenoj situaciji kako bi izvršili novi kontrolni ciklus. Tako je organizovan ciklični algoritam (sekvenca radnji) za upravljanje i kruženje informacija u sistemu. Važno je da tu glavnu ulogu igra sadržaj informacija koje prenose receptori i centralni uređaj. Informacija je, prema Wieneru, "oznaka sadržaja primljenog iz vanjskog svijeta u procesu naše adaptacije na njega i prilagođavanja naših osjećaja njemu."
Pragmatična mjera informacija
U pragmatičnim konceptima informacija ovaj aspekt je centralni, što dovodi do potrebe da se u obzir uzme vrijednost, korisnost, efikasnost, ekonomičnost informacija, tj. one njegove kvalitete koje presudno utiču na ponašanje samoorganizirajućih, samoupravnih, svrsishodnih kibernetičkih sistema (bioloških, društvenih, čovjek-mašina).
Jedan od najsjajnijih predstavnika pragmatičnih teorija informacija je bihejvioralni model komunikacije - bihevioralni model Ackoff-Milesa. Polazna tačka u ovom modelu je ciljna težnja primaoca informacije da reši konkretan problem. Primalac je u „ciljno orijentisanom stanju“ ako nečemu teži i ima alternativne načine nejednake efikasnosti da postigne cilj. Poruka poslana primaocu je informativna ako promijeni svoje "svrsishodno stanje".
S obzirom da se „svrsishodno stanje” karakteriše nizom mogućih radnji (alternativa), efektivnošću radnje i značajem rezultata, poruka koja se prenosi primaocu može uticati na sve tri komponente u različitom stepenu. U skladu s tim, prenošene informacije se po vrstama razlikuju na „informišuće“, „upućujuće“ i „motivirajuće“. Dakle, za primaoca je pragmatična vrijednost poruke to što mu omogućava da zacrta strategiju ponašanja u postizanju cilja konstruirajući odgovore na pitanja: šta, kako i zašto učiniti na svakom sljedećem koraku? Za svaku vrstu informacija, bihevioralni model nudi vlastitu mjeru, a ukupna pragmatična vrijednost informacije definirana je kao funkcija razlike između ovih količina u "svrhovnom stanju" prije i nakon njegove promjene u novo "svrhovno stanje" .
Količina i kvalitet informacija
Nivoi komunikacijskih problema
Prilikom implementacije informacionih procesa uvijek dolazi do prijenosa informacija u prostoru i vremenu od izvora informacije do primaoca (prijemnika) pomoću signala. Signal - fizički proces (fenomen) koji nosi poruku (informaciju) o događaju ili stanju objekta posmatranja.
Poruka- oblik predstavljanja informacija u obliku skupa znakova (simbola) koji se koriste za prenos.
Poruka kao skup znakova sa stanovišta semiotike - nauke koja proučava svojstva znakova i znakovnih sistema - može se proučavati na tri nivoa:
1) sintaktički, gdje se razmatraju interna svojstva poruka, odnosno odnosi između znakova koji odražavaju strukturu datog znakovnog sistema.
2) semantičko, gdje se analizira odnos između znakova i predmeta, radnji, kvaliteta koje oni označavaju, odnosno semantički sadržaj poruke, njen odnos prema izvoru informacije;
3) pragmatičan, gdje se razmatra odnos između poruke i primaoca, odnosno potrošački sadržaj poruke, njen odnos prema primaocu.
Problemi sintaksičkom nivou odnose se na stvaranje teorijskih osnova za izgradnju informacionih sistema. Na ovom nivou razmatraju se problemi dostave poruke primaocu kao skupa znakova, uzimajući u obzir vrstu medija i način prezentovanja informacija, brzinu prenosa i obrade, veličinu kodova za predstavljanje informacija, pouzdanost. i tačnost konverzije ovih kodova itd., potpuno apstrahujući od semantičkog sadržaja poruka i njihove namjene. Na ovom nivou, informacije koje se razmatraju samo sa sintaktičkih pozicija obično se nazivaju podacima, pošto semantička strana u ovom slučaju nije bitna.
Problemi semantičkom nivou povezani su sa formalizacijom i uzimanjem u obzir značenja prenesenih informacija, određivanjem stepena korespondencije između slike objekta i samog objekta. Na ovom nivou analiziraju se informacije koje informacije odražavaju, razmatraju semantički odnosi, formiraju pojmovi i ideje, otkriva se značenje i sadržaj informacije i vrši njena generalizacija.
Na pragmatičnom nivou zainteresovani za posledice dobijanja i korišćenja ovih informacija od strane potrošača. Problemi na ovom nivou odnose se na utvrđivanje vrijednosti i korisnosti korištenja informacija u donošenju odluke potrošača za postizanje svog cilja. Glavna poteškoća ovdje je u tome što vrijednost, korisnost informacija može biti potpuno različita za različite primaoce i, osim toga, ovisi o nizu faktora, kao što je, na primjer, pravovremenost njihove dostave i korištenja.
Informativne mjere
Mjere informacija o sintaksičkom nivou
Za mjerenje informacija na sintaksičkom nivou uvode se dva parametra: količina informacija (podataka) - V D(volumetrijski pristup) i količina informacija - I(entropijski pristup).
Količina informacija V D. Prilikom implementacije informacijskih procesa, informacija se prenosi u obliku poruke, koja je skup znakova nekog alfabeta. Ako se količina informacija sadržana u poruci od jednog znaka uzme kao jedan, tada se količina informacija (podataka) V D u bilo kojoj drugoj poruci će biti jednak broju znakova (cifara) u ovoj poruci.
Dakle, u decimalnom brojevnom sistemu, jedna cifra ima težinu jednaku 10, i, shodno tome, jedinica informacije će biti dit (decimalna cifra). U ovom slučaju, poruka u obrascu n V D= P dit. Na primjer, četverocifreni broj 2003 ima veličinu podataka V D = 4 dit.
U binarnom brojevnom sistemu, jedna cifra ima težinu jednaku 2, i, shodno tome, jedinica informacije će biti bit (bit (binarna cifra)- binarna znamenka). U ovom slučaju, poruka u obrascu n-bitni broj ima volumen podataka V D \u003d n bit. Na primjer, osmobitni binarni kod 11001011 ima veličinu podataka V D= 8 bita.
U modernoj kompjuterskoj tehnologiji, uz minimalnu jedinicu podataka bitova, široko se koristi i uvećana jedinica bajta, jednaka 8 bita. Kada radite sa velikim količinama informacija, za izračunavanje njihove količine koriste se veće mjerne jedinice, kao što su kilobajti (kbajti), megabajti (MB), gigabajti (GB), terabajti (TB):
1 kbajt = 1024 bajta = 2 10 bajtova;
1 MB = 1024 kB = 220 bajtova = 1048576 bajtova;
1 GB = 1024 MB = 230 bajtova = 1,073,741,824 bajtova; .
1 TB = 1024 GB = 240 bajtova = 1,099,511,627,776 bajtova.
Količina informacija I (entropijski pristup). U teoriji informacija i kodiranja usvojen je entropijski pristup mjerenju informacija. Ovaj pristup se zasniva na činjenici da je činjenica dobijanja informacija uvek povezana sa smanjenjem diverziteta ili neizvesnosti (entropije) sistema. Na osnovu toga, količina informacija u poruci se definiše kao mjera za smanjenje neizvjesnosti stanja datog sistema nakon prijema poruke. Čim je posmatrač identifikovao nešto u fizičkom sistemu, entropija sistema se smanjivala, jer je sistem postajao sve uređeniji za posmatrača.
Dakle, kod entropijskog pristupa, informacija se shvata kao kvantitativna vrijednost nesigurnosti koja je nestala u toku bilo kojeg procesa (testiranja, mjerenja, itd.). U ovom slučaju, entropija se uvodi kao mjera neizvjesnosti H, a količina informacija je:
gdje H apr - apriorna entropija o stanju sistema koji se proučava;
Happs- a posteriori entropija.
A posteriori- dolazi iz iskustva (testovi, mjerenja).
A priori- koncept koji karakteriše znanje koje prethodi iskustvu (test), i nezavisno od njega.
U slučaju kada se tokom ispitivanja otkloni postojeća nesigurnost (dobije se specifičan rezultat, tj. Happs = 0), količina primljene informacije poklapa se sa početnom entropijom
Razmotrimo diskretni izvor informacija (izvor diskretnih poruka) kao sistem koji se proučava, pri čemu mislimo na fizički sistem koji ima konačan skup mogućih stanja. Ovaj set ALI= (a 1, a 2 , ..., a p ) stanja sistema u teoriji informacija naziva se apstraktna abeceda ili abeceda izvora poruke.
Odvojene države a 1 , a 2 ,..., a „ nazivaju se slovima ili simbolima abecede.
Takav sistem može nasumično uzeti jedno od konačnih skupova mogućih stanja u svakom trenutku vremena i ja .
Budući da neke države izvor bira češće, dok su druge rjeđe, u opštem slučaju karakteriše ga ansambl ALI, tj. kompletan skup stanja sa vjerovatnoćama njihovog pojavljivanja, koji se zbrajaju u jedno:
, i (2.2)
Hajde da uvedemo mjeru nesigurnosti u izboru stanja izvora. Takođe se može smatrati mjerom količine informacija dobijenih uz potpunu eliminaciju neizvjesnosti o ravnovjerovatnim stanjima izvora.
Zatim u N=1 dobijamo NA)= 0.
Ovu meru je predložio američki naučnik R. Hartley 1928. Osnova logaritma u formuli (2.3) nije od fundamentalnog značaja i određuje samo skalu ili jedinicu mere. U zavisnosti od baze logaritma, sledeće jedinice mjerenja se koriste.
1. Bitovi - dok je osnova logaritma 2:
(2.4)
2. Gnjide - dok je osnova logaritma e:
3. Dita - dok je osnova logaritma 10:
U informatici, formula (2.4) se obično koristi kao mjera nesigurnosti. U ovom slučaju, jedinica nesigurnosti naziva se binarna jedinica, ili bit, i predstavlja neizvjesnost izbora između dva jednako vjerovatna događaja.
Formula (2.4) se može dobiti empirijski: da bi se otklonila nesigurnost u situaciji od dva jednako vjerovatna događaja, potrebno je jedno iskustvo i, shodno tome, jedan bit informacije, pri čemu se nesigurnost sastoji od četiri jednako vjerovatna događaja, dovoljna su 2 bita informacije da pogodi željenu činjenicu. Za određivanje karte iz špila od 32 karte dovoljno je 5 bitova informacija, odnosno dovoljno je postaviti pet pitanja sa da ili ne da bi se odredila željena karta.
Predložena mjera omogućava rješavanje određenih praktičnih problema kada sva moguća stanja izvora informacija imaju istu vjerovatnoću.
U opštem slučaju, stepen neizvesnosti u implementaciji stanja izvora informacija ne zavisi samo od broja stanja, već i od verovatnoće tih stanja. Ako izvor informacija ima, na primjer, dva moguća stanja sa vjerovatnoćama 0,99 i 0,01, tada je njegova nesigurnost izbora mnogo manja od one izvora koji ima dva jednako vjerovatna stanja, jer je u ovom slučaju rezultat praktički unaprijed zaključen ( ostvarenje stanja, vjerovatnoća koja je jednaka 0,99).
Američki naučnik K. Shannon generalizirao je koncept mjere neizvjesnosti izbora H u slučaju kada H ne zavisi samo od broja stanja, već i od verovatnoće ovih stanja (verovatnoće p i izbor karaktera a i, abeceda A). Ova mjera, koja je u prosjeku nesigurnost po stanju, naziva se entropija diskretnog izvora informacija:
(2.5)
Ako se ponovo fokusiramo na mjerenje nesigurnosti u binarnim jedinicama, tada bazu logaritma treba uzeti jednakom dva:
(2.6)
Na jednako vjerovatnim izborima, vjerovatnoća p i =1/N formula (2.6) se transformiše u formulu R. Hartleyja (2.3):
Predložena mjera nije slučajno nazvana entropija. Stvar je u tome da se formalna struktura izraza (2.5) poklapa sa entropijom fizičkog sistema, koju je ranije definisao Boltzmann.
Koristeći formule (2.4) i (2.6), možemo odrediti redundanciju D izvorna abeceda poruke ALI, koji pokazuje koliko se racionalno koriste simboli date abecede:
gdje H max (A) - maksimalna moguća entropija, određena formulom (2.4);
NA) - entropija izvora, određena formulom (2.6).
Suština ove mjere je da se sa jednako vjerojatnim izborom može obezbijediti isto informacijsko opterećenje znaka korištenjem abecede manjeg obima nego u slučaju nejednako vjerovatnog izbora.
Klasifikacija mjera
Informativne mjere
Oblici adekvatnosti informacija
Adekvatnost informacija može se izraziti u tri oblika: semantičkom, sintaksičkom, pragmatičkom.
sintaktička adekvatnost. Ona odražava formalne strukturne karakteristike informacije i ne utiče na njen semantički sadržaj. Na sintaksičkom nivou uzimaju se u obzir vrsta medija i način prezentovanja informacija, brzina prenosa i obrade, veličine kodova za njihovo predstavljanje, pouzdanost i tačnost konverzije ovih kodova itd. Informacije. razmatra se samo sa sintaktičkih pozicija obično se naziva podacima, jer nije bitna semantička strana.
Semantička (semantička) adekvatnost. Ovaj oblik određuje stepen korespondencije između slike objekta i samog objekta. Semantički aspekt uključuje uzimanje u obzir semantičkog sadržaja informacije. Na ovom nivou analiziraju se informacije koje odražavaju informaciju, razmatraju semantički odnosi. U informatici se uspostavljaju semantičke veze između kodova za predstavljanje informacija. Ovaj oblik služi za formiranje pojmova i ideja, otkrivanje značenja, sadržaja informacija i njihovo generaliziranje.
Pragmatična (potrošačka) adekvatnost odražava odnos između informacije i njenog potrošača, korespondenciju informacije sa ciljem upravljanja, koji se ostvaruje na njenoj osnovi. Pragmatična svojstva informacije se manifestuju samo ako postoji jedinstvo informacije (objekta), korisnika i cilja upravljanja. Pragmatični aspekt razmatranja vezan je za vrijednost, korisnost korištenja informacija kada potrošač donosi odluku da postigne svoj cilj.
Za mjerenje informacija uvode se dva parametra: količina informacija I i količina podataka V. Ovi parametri imaju različite izraze i interpretacije u zavisnosti od razmatranog oblika adekvatnosti. Svaki oblik adekvatnosti odgovara vlastitoj mjeri količine informacija i količine podataka (slika 2.1).
Obim podataka V d u poruci se mjeri brojem znakova (cifara) u ovoj poruci. U različitim brojevnim sistemima, jedna znamenka ima različitu težinu i jedinica podataka se u skladu s tim mijenja:
- u binarnom brojevnom sistemu jedinica mjere je bit (bit - binarna cifra - binarna cifra);
- u decimalnom brojevnom sistemu, jedinica mjere je dit (decimalno mjesto).
Rice. 2.1. Informativne mjere
Količina informacija I na sintaksičkom nivou ne može se definisati bez razmatranja koncepta nesigurnosti stanja sistema (entropije sistema). Zaista, dobijanje informacija o sistemu uvek je povezano sa promenom stepena neznanja primaoca o stanju ovog sistema. Hajde da razmotrimo ovaj koncept.
Neka potrošač ima neke preliminarne (a priori) informacije o sistemu a prije nego što dobije informacije. Mjera njegovog neznanja o sistemu je funkcija H(a), koja ujedno služi i kao mjera neizvjesnosti stanja sistema.
Nakon što je primio neku poruku b, primalac je dobio neke dodatne informacije I b (a), što je smanjilo njegovo apriorno neznanje tako da je aposteriorna (nakon primanja poruke b) nesigurnost stanja sistema postala H b (a).
Tada se količina informacija I b (a) o sistemu primljena u poruci b definira kao
I b (a) \u003d H (a) - H b (a),
one. količina informacija se mjeri promjenom (smanjenjem) neizvjesnosti stanja sistema.
Ako konačna nesigurnost sistema H b (a) nestane, tada će početno nepotpuno znanje biti zamijenjeno potpunim znanjem i količinom informacija I b (a) = H(a). Drugim riječima, entropija sistema H(a) se može smatrati mjerom informacija koje nedostaju.
Entropija sistema H(a), koji ima N mogućih stanja, prema Šenonovoj formuli, jednaka je
,
gdje je P i vjerovatnoća da je sistem u i-tom stanju.
Za slučaj kada su sva stanja sistema podjednako vjerovatna, tj. njihove vjerovatnoće su jednake P i = , njegova entropija je određena relacijom
.
Često su informacije kodirane numeričkim kodovima u jednom ili drugom brojevnom sistemu, a to je posebno tačno kada se informacije predstavljaju u računaru. Naravno, isti broj cifara u različitim brojevnim sistemima može prenijeti različit broj stanja prikazanog objekta, koji se može predstaviti kao relacija
gdje je N broj mogućih prikazanih stanja;
m - osnova brojevnog sistema (različiti simboli koji se koriste u abecedi);
n je broj bitova (karaktera) u poruci.
Najčešće korišteni su binarni i decimalni logaritmi. Jedinice mjere u ovim slučajevima će biti bit i dio.
Koeficijent (stepen) informativnosti(konciznost) poruke određuje se odnosom količine informacija i količine podataka, tj.
Y=1/V d, i 0 Sa povećanjem Y smanjuje se obim posla na transformaciji informacija (podataka u sistemu). Stoga nastoje povećati sadržaj informacija, za što se razvijaju posebne metode optimalnog kodiranja informacija. Za mjerenje semantičkog sadržaja informacije, tj. Od njegove količine na semantičkom nivou, najpoznatija je mera tezaurusa, koja povezuje semantička svojstva informacije sa sposobnošću korisnika da primi dolaznu poruku. Za to se koristi koncept tezaurus korisnik. Tezaurus je zbirka informacija koju korisnik ili sistem ima. U zavisnosti od odnosa između semantičkog sadržaja informacije S i korisničkog tezaurusa S p , mijenja se količina semantičkih informacija I c , koje korisnik percipira i uključuje u budućnosti u svoj tezaurus. Priroda ove zavisnosti je prikazana na Sl. 2.2. Razmotrimo dva ograničavajuća slučaja, kada je količina semantičke informacije I c Potrošač stječe maksimalnu količinu semantičkih informacija Ic kada je njegov semantički sadržaj S usklađen sa njegovim tezaurusom S p (S p = S p opt), kada je dolazna informacija razumljiva korisniku i nosi mu ranije nepoznatu (nedostaje u njegovom tezaurus) informacije. Stoga je količina semantičkih informacija u poruci, količina novog znanja koje je primio korisnik, relativna vrijednost. Ista poruka može imati semantički sadržaj za kompetentnog korisnika i biti besmislena (semantički šum) za nekompetentnog korisnika. Prilikom evaluacije semantičkog (smislenog) aspekta informacije potrebno je nastojati uskladiti vrijednosti S i S p. Relativna mjera količine semantičke informacije može biti faktor sadržaja C, koji je definiran kao omjer količine semantičke informacije i njenog volumena: Sintaktička mjera informacije. Ova mjera količine informacija operira s bezličnim informacijama koje ne izražavaju semantički odnos prema objektu. Volumen podataka Vd u ovom slučaju, poruka se mjeri brojem znakova (cifara) u poruci. U različitim brojevnim sistemima, jedna cifra ima različitu težinu i jedinica podataka se u skladu s tim mijenja. Na primjer, u binarnom sistemu, jedinica mjere je bit (bit binarne cifre - binarna cifra). Bit je odgovor na jedno binarno pitanje (“da” ili “ne”; “0” ili “1”) koje se prenosi putem komunikacijskih kanala pomoću signala. Dakle, količina informacija sadržanih u poruci u bitovima određena je brojem binarnih riječi prirodnog jezika, brojem znakova u svakoj riječi, brojem binarnih signala potrebnih za izražavanje svakog znaka. U savremenim računarima, uz minimalnu jedinicu podataka "bit", uveliko se koristi i uvećana mjerna jedinica "bajt", jednaka 8 bita. U decimalnom brojevnom sistemu, jedinica mjere je “bit” (decimalno mjesto). Količina informacija I na sintaksičkom nivou nemoguće je odrediti bez razmatranja koncepta nesigurnosti stanja sistema (entropije sistema). Zaista, dobijanje informacija o sistemu uvijek je povezano sa promjenom stepena neznanja primaoca o stanju ovog sistema, tj. količina informacija se mjeri promjenom (smanjenjem) neizvjesnosti stanja sistema. Koeficijent (stepen) informativnosti(konciznost) poruke određuje se odnosom količine informacija i količine podataka, tj. Y= I / Vd, sa 0 Sa povećanjem Y smanjen je obim posla na transformaciji informacija (podataka) u sistemu. Stoga nastoje povećati sadržaj informacija, za što se razvijaju posebne metode optimalnog kodiranja informacija. Semantička mjera informacije Za mjerenje semantičkog sadržaja informacije, tj. Od njegove količine na semantičkom nivou, najpoznatija je mera tezaurusa, koja povezuje semantička svojstva informacije sa sposobnošću korisnika da primi dolaznu poruku. Za to se koristi koncept korisnikov tezaurus. Tezaurus je zbirka informacija koju korisnik ili sistem ima. Ovisno o odnosu semantičkog sadržaja informacija S i korisnički tezaurus Sp količina semantičkih informacija se mijenja Ic, koje korisnik percipira i uključuje u budućnosti u svoj tezaurus. Priroda ove zavisnosti je prikazana na Sl. 1. Razmotrimo dva ograničavajuća slučaja, kada je količina semantičke informacije Ic je 0: at Sp= 0 korisnik ne percipira, ne razumije dolazne informacije; At Sp korisnik sve zna, i nisu mu potrebne dolazne informacije.
Rice. 2.2. Ovisnost količine semantičkih informacija koju percipira potrošač
je 0:
