1928. Američki inženjer Ralph Hartley smatra proces dobijanja informacija kao odabir jedne poruke iz konačnog datog skupa od N jednako vjerovatnih događaja.
Hartleyeva formula:
gdje je K količina informacija, N je broj jednako vjerovatnih događaja.
Hartleyeva formula se također može napisati na sljedeći način: N=2k
Pošto pojava svakog od N događaja ima istu vjerovatnoću P, onda:
gdje je P vjerovatnoća da će se događaj dogoditi.
Tada se formula može napisati drugačije:
Godine 1948. američki naučnik Claude Shannon predložio je drugačiju formulu za određivanje količine informacija, uzimajući u obzir moguću nejednaku vjerovatnoću događaja u skupu.
Šenonova formula:
K = - (p1 *log2 p1+ p2 *log 2p 2 + p 3 *log 2p 3 +…+ pi * log2 pi),
gdje je pi vjerovatnoća da je i-ta poruka odabrana u skupu od N poruka.
Ova formula se takođe može napisati:
Moderna nauka o svojstvima informacija i obrascima informacijskih procesa naziva se teorija informacija. Sadržaj pojma „informacije“ može se otkriti na primjeru dva povijesno prva pristupa mjerenju količine informacija: pristupa Hartleya i Shannon-a: prvi se temelji na teoriji skupova i kombinatorici, a drugi na teorija vjerovatnoće.
Informacije se mogu razumjeti i interpretirati u različitim problemima i predmetnim oblastima na različite načine. Kao rezultat toga, postoje različiti pristupi definisanju mjerenja informacija i različiti načini uvođenja mjere količine informacija.
Količina informacija je numerička vrijednost koja adekvatno karakteriše ažuriranu informaciju u smislu raznolikosti, složenosti, strukture (urednosti), izvjesnosti i izbora stanja prikazanog sistema.
Ako razmatramo sistem koji može uzeti jedno od n mogućih stanja, onda je stvarni zadatak procijeniti ovaj izbor, ishod. Takva procjena može biti mjera informacija (događaja).
Mjera je kontinuirana realna nenegativna funkcija definirana na skupu događaja i koja je aditivna.
Mjere mogu biti statične i dinamičke, ovisno o vrsti informacija koje dozvoljavaju procjenu: statične (ne ažurirane; zapravo, poruke se procjenjuju bez uzimanja u obzir resursa i oblika ažuriranja) ili dinamičke (ažurirane, tj. troškovi resursa za ažuriranje su takođe evaluirane informacije).
Postoje različiti pristupi određivanju količine informacija. Najčešće korištene su volumetrijske i probabilističke.
Volumenski pristup.
Binarni brojevni sistem se koristi jer je u tehničkom uređaju najjednostavnije implementirati dva suprotna fizička stanja: magnetizirano/nemagnetizirano, uključeno/isključeno, napunjeno/nenabijeno i dr.
Količina informacija snimljenih u binarnim znakovima u memoriji računara ili na eksternom mediju za skladištenje izračunava se jednostavno brojem binarnih znakova potrebnih za takav zapis. U ovom slučaju, broj bitova koji nije cijeli broj nije moguć.
Radi lakšeg korišćenja, uvedene su veće jedinice količine informacija od bitova. Dakle, binarna riječ od osam znakova sadrži jedan bajt informacije, 1024 bajta čine kilobajt (KB), 1024 kilobajta čine megabajt (MB), a 1024 megabajta čine gigabajt (GB).
Entropijski (vjerovatni) pristup.
Ovaj pristup je usvojen u teoriji informacija i kodiranja. Ova metoda mjerenja zasniva se na sljedećem modelu: primalac poruke ima određenu ideju o mogućem nastanku određenih događaja. Ove ideje su uglavnom nepouzdane i izražene su vjerovatnoćama s kojima on očekuje ovaj ili onaj događaj. Opšta mjera nesigurnosti naziva se entropija. Entropiju karakteriše određena matematička zavisnost od ukupne verovatnoće nastanka ovih događaja.
Količina informacija u poruci određena je koliko se ova mjera smanjila nakon prijema poruke: što je veća entropija sistema, to je veći stepen njegove nesigurnosti. Dolazna poruka u potpunosti ili djelimično otklanja ovu nesigurnost; stoga se količina informacija može mjeriti koliko se entropija sistema smanjila nakon prijema poruke. Ista entropija, ali sa suprotnim predznakom, uzima se kao mjera količine informacija.
Pristup R. Hartleya zasniva se na fundamentalnim teoretskim, u suštini kombinatornim osnovama, kao i na nekoliko intuitivno jasnih i sasvim očiglednih pretpostavki.
Ako postoji mnogo elemenata i jedan od njih je odabran, tada se komunicira ili generiše određena količina informacija. Ova informacija je da ako prije odabira nije bilo poznato koji će element biti odabran, onda nakon odabira postaje poznat. Potrebno je pronaći tip funkcije koja povezuje količinu informacija dobijenih pri odabiru određenog elementa iz skupa sa brojem elemenata u ovom skupu, tj. svojom snagom.
Ako se skup elemenata iz kojih se vrši izbor sastoji od jednog elementa, onda je jasno da je njegov izbor unaprijed određen, tj. nema neizvjesnosti izbora - nula količina informacija.
Ako se skup sastoji od dva elementa, tada je neizvjesnost izbora minimalna. U ovom slučaju količina informacija je minimalna.
Što je više elemenata u setu, veća je nesigurnost izbora, više informacija.
Dakle, logaritamska mjera informacije koju je predložio Hartley istovremeno zadovoljava uslove monotonosti i aditivnosti. Sam Hartley je došao do svoje mjere na osnovu heurističkih razmatranja sličnih onima koji su upravo navedeni, ali je sada rigorozno dokazano da logaritamska mjera za količinu informacija nedvosmisleno slijedi iz ova dva uvjeta koja je on postulirao.
Godine 1948., istražujući problem racionalnog prijenosa informacija preko bučnog komunikacijskog kanala, Claude Shannon je predložio revolucionarni probabilistički pristup razumijevanju komunikacija i stvorio prvu istinski matematičku teoriju entropije. Njegove senzacionalne ideje brzo su postale osnova za razvoj dva glavna polja: teorije informacija, koja koristi koncept vjerovatnoće i ergodičke teorije za proučavanje statističkih karakteristika podataka i komunikacionih sistema, i teorije kodiranja, koja koristi uglavnom algebarske i geometrijske alate za razviti efikasne kodove.
Claude Shannon je sugerirao da je dobit u informacijama jednaka gubitku nesigurnosti i postavio zahtjeve za njeno mjerenje:
- 1. mjera mora biti kontinuirana; to jest, promena u vrednosti vrednosti verovatnoće za mali iznos bi trebalo da izazove malu rezultujuću promenu funkcije;
- 2. u slučaju kada su sve opcije (slova u gornjem primjeru) jednako vjerovatne, povećanjem broja opcija (slova) uvijek treba povećati vrijednost funkcije;
- 3. Trebalo bi biti moguće napraviti izbor (u našem primjeru slova) u dva koraka, pri čemu bi vrijednost funkcije konačnog rezultata trebala biti zbir funkcija međurezultata.
Dakle, funkcija entropije mora zadovoljiti uslove:
definisano i kontinuirano za svakoga,
gdje za sve i. (Lako je vidjeti da ova funkcija ovisi samo o distribuciji vjerovatnoće, ali ne i o abecedi).
Za pozitivne cijele brojeve, sljedeća nejednakost mora vrijediti:
Za pozitivne cijele brojeve, pri čemu, jednakost mora vrijediti:
entropija širine informacija
Shannon je utvrdio da bi mjerenje entropije primijenjeno na izvor informacija moglo odrediti minimalni kapacitet kanala potreban za pouzdan prijenos informacija u obliku kodiranih binarnih brojeva. Da bi se izvela Šenonova formula, potrebno je izračunati matematičko očekivanje „količine informacija“ sadržane u slici iz izvora informacija. Šenonova mjera entropije izražava neizvjesnost implementacije slučajne varijable. Dakle, entropija je razlika između informacije sadržane u poruci i dijela informacije koji je točno poznat (ili dobro predviđen) u poruci. Primjer za to je redundantnost jezika - postoje očigledni statistički obrasci u izgledu slova, parova uzastopnih slova, trojki itd.
Formule Hartleya i Shanona.
Godine 1928. američki inženjer R. Hartley predložio je naučni pristup evaluaciji poruka. Formula koju je predložio bila je sljedeća:
I = log 2 K
gdje je K broj jednako vjerovatnih događaja; I je broj bitova u poruci tako da se desio bilo koji od K događaja. OndaK=2 I .
Ponekad se Hartleyeva formula piše ovako:
I = log 2 K = log 2 (1 / R) = - log 2 R
pošto svaki od K događaja ima jednako vjerojatan ishod p = 1 / K, tada je K = 1 / p.
Zadatak.
Lopta se nalazi u jednoj od tri urne: A, B ili C. Odredite koliko bitova informacija sadrži poruka koja se nalazi u urni B.
Rješenje.
Ova poruka sadrži I = log 2 3 = 1,585 bita informacija.
Ali nemaju sve situacije istu vjerovatnoću implementacije. Mnogo je takvih situacija u kojima se vjerovatnoće realizacije razlikuju. Na primjer, ako bace asimetričan novčić ili "pravilo sendviča".
“Jednom, kad sam bio dijete, ispao mi je sendvič. Gledajući me kako s krivicom brišem mrlju od ulja koja je ostala na podu, stariji brat me je uvjeravao:
- ne brini, zakon sendviča je proradio.
- Kakav je ovo zakon? - Pitao sam.
- Zakon koji kaže: "Sendvič uvijek slijeće puterom nadole." Međutim, ovo je šala”, nastavio je brat. - Nema zakona. Samo što se sendvič zaista čudno ponaša: većina putera završi na dnu.
„Hajde da bacimo sendvič još nekoliko puta i proverimo“, predložio sam. - Ionako ćeš ga morati baciti.
Provjerili smo. Od deset puta, osam puta sendvič je pao puterom nadole.
A onda sam pomislio: da li je moguće unapred znati da li će sendvič pasti puterom nadole ili gore?
Naše eksperimente je prekinula naša majka..."
(Odlomak iz knjige “Tajna velikih komandanata”, V. Abchuk).
Godine 1948. američki inženjer i matematičar K. Shannon predložio je formulu za izračunavanje količine informacija za događaje s različitim vjerovatnoćama.
Ako je I količina informacija,
K je broj mogućih događaja,
R i - vjerovatnoće pojedinačnih događaja,
tada se količina informacija za događaje sa različitim vjerovatnoćama može odrediti formulom:
I = - ZbirR i log 2 R i ,
gdje i uzima vrijednosti od 1 do K.
Hartleyeva formula se sada može smatrati posebnim slučajem Shanonove formule:
I = - Zbir 1 /TOlog 2 (1 / TO) = I = log 2 TO.
U slučaju jednako vjerovatnih događaja, količina dobijenih informacija je maksimalna.
Fiziolozi i psiholozi su naučili odrediti količinu informacija koju osoba može percipirati putem čula, zadržati u pamćenju i procesirati. Informacije se mogu predstaviti u različitim oblicima: zvukom, simbolima itd. Gore opisani metod za određivanje količine informacija primljenih u porukama koje smanjuju nesigurnost našeg znanja razmatra informacije iz perspektive njihovog sadržaja, novine i razumljivosti za ljude. Sa ove tačke gledišta, u iskustvu bacanja kockice, ista količina informacija sadržana je u porukama „dva“, „strana sa dve tačke je pala gore“ i u vizuelnoj slici kocke koja pada.
Prilikom prenošenja i pohranjivanja informacija pomoću različitih tehničkih uređaja, informaciju treba posmatrati kao niz znakova (brojeva, slova, kodova boja tačaka na slici), ne uzimajući u obzir njihov sadržaj.
S obzirom da je abeceda (skup simbola znakovnog sistema) događaj, onda se pojava jednog od simbola u poruci može smatrati jednim od stanja događaja. Ako je vjerovatnoća da će se znakovi pojaviti, onda možemo izračunati koliko bitova informacija svaki znak nosi. Informativni kapacitet znakova je određen njihovim brojem u abecedi. Što se abeceda sastoji od više simbola, to više informacija nosi jedan znak. Ukupan broj simbola abecede obično se naziva moć abecede.
Molekuli DNK (deoksiribonukleinske kiseline) sastoje se od četiri različite komponente (nukleotida) koje formiraju genetsku abecedu. Informativni kapacitet znaka ove abecede je:
4 = 2 I , tj. I = 2 bita.
Svako slovo ruske abecede (ako pretpostavimo da je e = ë) nosi 5 bitova informacije (32 = 2 I ).
Ovakvim pristupom, kao rezultat poruke o rezultatu bacanja kocke, dobijamo različitu količinu informacija.Da biste je izračunali, potrebno je pomnožiti broj znakova sa količinom informacija koje nosi jedan znak.
Količina informacija koju poruka kodirana pomoću znakovnog sistema sadrži jednaka je količini informacija koju jedan znak nosi pomnoženoj sa brojem znakova u poruci.
Primjer 1. Korištenje Hartleyeve formule za izračunavanje količine informacija. Koliko bitova informacija poruka prenosi?
stiže li voz na jedan od 8 kolosijeka?
Hartleyeva formula:I = log 2 N ,
gdje je N broj jednako vjerojatnih ishoda događaja koji se spominju u poruci,
I – količina informacija u poruci.
I = log 2 8 = 3(bita) Odgovor: 3 bita.
Modificirana Hartleyeva formula za neekvivalentne događaje. Budući da pojava svakog od N mogućih događaja ima istu vjerovatnoću
p=1/N , ToN=1/p i formula izgleda tako
I = log 2 N= log 2 (1/p) = - log 2 str
Kvantitativni odnos između vjerovatnoće događaja (p) i količine informacija u poruci o njemu (I) izražava se formulom:
I = log 2 (1/p)
Vjerovatnoća događaja se izračunava pomoću formulep=K/N , K – vrijednost koja pokazuje koliko se puta dogodio događaj koji nas zanima; N je ukupan broj mogućih ishoda i događaja. Ako se vjerovatnoća smanji, količina informacija se povećava.
Primjer 2. U razredu ima 30 ljudi. Za test iz matematike dobio sam 6 A, 15 B, 8 C i 1 D. Koliko bitova informacija sadrži poruka da je Ivanov dobio "B"?
Kvantitativni odnos između vjerovatnoće događaja (p) i količine informacija o njemu (I)I = log 2 (1/p) = - log 2 str
vjerovatnoća događaja 15/30
količina informacija u poruci =log 2 (30/15)=log 2 2=1.
Odgovor: 1 bit.
Koristeći Shanonovu formulu. Opšti slučaj izračunavanja količine informacija u poruci o jednom od N, ali nejednako vjerovatnih događaja. Ovaj pristup je predložio K. Shannon 1948. godine.
Osnovne informativne jedinice:
Isr - prosječni broj bitova informacije po slovu;M - broj karaktera u poruci
I – količina informacija o poruci
str i -vjerovatnost pojavljivanja znaka i u poruci; i - broj simbola;
I
sri
= -
ZnačenjeI sri i str i = 1/N.
Primjer 3. Koliko bitova informacija nosi nasumično generirana poruka "far", ako se u prosjeku na svakih hiljadu slova u ruskim tekstovima slovo "a" pojavljuje 200 puta, slovo "f" - 2 puta, slovo "r" - 40 puta.
Pretpostavićemo da se verovatnoća pojavljivanja simbola u poruci poklapa sa učestalošću njegovog pojavljivanja u tekstovima. Stoga se slovo “a” javlja sa prosječnom frekvencijom od 200/1000 = 0,2; Verovatnoća da se slovo „a“ pojavi u tekstu (str a ) može se smatrati približno jednakim 0,2;
slovo “f” se javlja sa frekvencijom od 2/1000=0,002; slovo “p” - sa frekvencijom 40/1000=0,04;
Isto tako, str R = 0,04, str f = 0,002. Zatim se ponašamo prema K. Shanonu. Uzimamo binarni logaritam vrijednosti 0,2 i ono što dobijemo nazivamo količinom informacije koju prenosi jedno slovo “a” u dotičnom tekstu. Za svako slovo ćemo izvršiti potpuno istu operaciju. Tada je količina intrinzične informacije koju nosi jedno slovo jednakalog 2 1/p i = - log 2 str i , Pogodnije je koristiti prosječnu količinu informacija po znaku abecede kao mjeru količine informacija.
I sri = -
ZnačenjeI sri dostiže maksimum za jednako verovatne događaje, odnosno kada su svi p i
str i = 1/N.
U ovom slučaju, Shanonova formula se pretvara u Hartleyjevu formulu.
I = M*I sri =4*(-(0,002*log 2 0,002+0,2* log 2 0,2+0,04* log 2 0,04+0,2* log 2 0,2))=4*(-(0,002*(-8,967)+0,2*(-2,322)+0,04*(-4,644)+0,2*(-2,322)))=4*(-(-0,018-0,46-0,19-0,46))=4*1,1325=4,53
Odgovor: 4,53 bita
Prilikom sastavljanja tabele moramo uzeti u obzir:
Unos podataka (kako je navedeno u uslovu).
Izračunavanje ukupnog broja mogućih ishoda (formula N=K 1 +K 2 +…+K i).
Izračunavanje vjerovatnoće svakog događaja (formula str i= K i/N).
Izračunavanje količine informacija o svakom događaju koji se dogodi (formula I i=log 2 (1/str i)).
Izračunavanje količine informacija za događaje sa različitim vjerovatnoćama (Shannonova formula).
napredak:
1 . Napravite tabelarni model za izračunavanje količine informacija.
2 . Koristeći tabelarni model, izvršite proračune za zadatak br. 2 (slika 3), rezultat proračuna zapišite u svesku.
Zadatak br. 3
Kutija sadrži kocke: 10 crvenih, 8 zelenih, 5 žutih, 12 plavih. Izračunajte vjerovatnoću da dobijete kocku svake boje i količinu informacija koja će se dobiti.
Zadatak br. 4
Neprozirna vrećica sadrži 10 bijelih, 20 crvenih, 30 plavih i 40 zelenih loptica. Koliko informacija će biti sadržano u vizuelnoj poruci o boji uklonjene lopte?
Godine 1928. američki inženjer R. Hartley predložio je naučni pristup evaluaciji poruka. Formula koju je predložio bila je sljedeća:
I = log 2 K,
gdje je K broj jednako vjerovatnih događaja; I je broj bitova u poruci tako da se desio bilo koji od K događaja. Tada je K=2 I .
Ponekad se Hartleyeva formula piše ovako:
I = log 2 K = log 2 (1 / r) = - log 2 r,
pošto svaki od K događaja ima jednako vjerojatan ishod p = 1 / K, tada je K = 1 / p.
Zadatak.
Lopta se nalazi u jednoj od tri urne: A, B ili C. Odredite koliko bitova informacija sadrži poruka koja se nalazi u urni B.
Takva poruka sadrži I = log 2 3 = 1,585 bita informacija.
Ali nemaju sve situacije istu vjerovatnoću implementacije. Mnogo je takvih situacija u kojima se vjerovatnoće realizacije razlikuju. Na primjer, ako bace asimetričan novčić ili "pravilo sendviča".
“Jednom, kad sam bio dijete, ispao mi je sendvič. Gledajući me kako s krivicom brišem mrlju od ulja koja je ostala na podu, stariji brat me je uvjeravao:
Ne brini, zakon sendviča je proradio.
Kakav je ovo zakon? - Pitao sam.
Zakon koji kaže: "Sendvič uvijek slijeće puterom stranom prema dolje." Međutim, ovo je šala", nastavio je brat. "Nema zakona." Sendvič se zapravo ponaša prilično čudno: većina putera završi na dnu.
Hajde da bacimo sendvič još par puta i proverimo”, predložio sam. - Ionako ćeš ga morati baciti.
Provjerili smo. Od deset puta, osam puta sendvič je pao puterom nadole.
A onda sam pomislio: da li je moguće unapred znati da li će sendvič pasti puterom nadole ili gore?
Naše eksperimente je prekinula naša majka..."
(Odlomak iz knjige “Tajna velikih komandanata”, V. Abchuk).
Godine 1948. američki inženjer i matematičar K. Shannon predložio je formulu za izračunavanje količine informacija za događaje s različitim vjerovatnoćama.
Ako je I količina informacija,
K je broj mogućih događaja,
pi - vjerovatnoće pojedinačnih događaja,
tada se količina informacija za događaje sa različitim vjerovatnoćama može odrediti formulom:
I = - Zbir r i log 2 r i ,
gdje i uzima vrijednosti od 1 do K.
Hartleyeva formula se sada može smatrati posebnim slučajem Shanonove formule:
I = - Zbir 1 / K log 2 (1 / K) = I = log 2 K.
U slučaju jednako vjerovatnih događaja, količina dobijenih informacija je maksimalna.
Zadaci.
1. Odredite količinu informacija dobijenih tokom implementacije jednog od događaja, ako je bačen
a) asimetrična tetraedarska piramida;
b) simetrična i uniformna tetraedarska piramida.
Rješenje.
a) Bacićemo asimetričnu tetraedarsku piramidu.
Vjerovatnoća pojedinačnih događaja će biti sljedeća:
p1 = 1 / 2,
p2 = 1/4,
p3 = 1/8,
p4 = 1/8,
tada se količina informacija primljena nakon implementacije jednog od ovih događaja izračunava po formuli:
I = -(1/2 log 2 1/2 + 1/4 log 2 1/4 + 1/8 log 2 1/8 + 1/8 log 2 1/8) = 1/2 + 2/4 + + 3 / 8 + 3 / 8 = 14/8 = 1,75 (bitovi).
b) Sada izračunajmo količinu informacija koja će se dobiti pri bacanju simetrične i uniformne tetraedarske piramide:
I = log 2 4 = 2 (bit).
2. Vjerovatnoća prvog događaja je 0,5, a drugog i trećeg 0,25. Koliko ćemo informacija dobiti nakon implementacije jednog od njih?
3. Koliko informacija će se dobiti kada se igra rulet sa 32 sektora?
4. Koliko se različitih brojeva može kodirati pomoću 8 bita?
Rješenje: I=8 bita, K=2 I =2 8 =256 različitih brojeva.
Fiziolozi i psiholozi su naučili odrediti količinu informacija koju osoba može percipirati putem čula, zadržati u pamćenju i procesirati. Informacije se mogu predstaviti u različitim oblicima: zvukom, simbolima itd. Gore opisani metod za određivanje količine informacija primljenih u porukama koje smanjuju nesigurnost našeg znanja razmatra informacije iz perspektive njihovog sadržaja, novine i razumljivosti za ljude. Sa ove tačke gledišta, u iskustvu bacanja kockice, ista količina informacija sadržana je u porukama „dva“, „strana sa dve tačke je pala gore“ i u vizuelnoj slici kocke koja pada.
Prilikom prenošenja i pohranjivanja informacija pomoću različitih tehničkih uređaja, informaciju treba posmatrati kao niz znakova (brojeva, slova, kodova boja tačaka na slici), ne uzimajući u obzir njihov sadržaj.
S obzirom da je abeceda (skup simbola znakovnog sistema) događaj, onda se pojava jednog od simbola u poruci može smatrati jednim od stanja događaja. Ako je vjerovatnoća da će se znakovi pojaviti, onda možemo izračunati koliko bitova informacija svaki znak nosi. Informativni kapacitet znakova je određen njihovim brojem u abecedi. Što se abeceda sastoji od više simbola, to više informacija nosi jedan znak. Ukupan broj simbola abecede obično se naziva moć abecede.
Molekuli DNK (deoksiribonukleinske kiseline) sastoje se od četiri različite komponente (nukleotida) koje formiraju genetsku abecedu. Informativni kapacitet znaka ove abecede je:
4 = 2 I, tj. I = 2 bita.
Ovakvim pristupom, kao rezultat poruke o rezultatu bacanja kocke, dobijamo različitu količinu informacija.Da biste je izračunali, potrebno je pomnožiti broj znakova sa količinom informacija koje nosi jedan znak.
Količina informacija koju poruka kodirana pomoću znakovnog sistema sadrži jednaka je količini informacija koju jedan znak nosi pomnoženoj sa brojem znakova u poruci.
Pozicioni sistemi brojeva
Sistem brojeva je skup tehnika za imenovanje i pisanje brojeva. U bilo kom brojevnom sistemu biraju se određeni simboli koji predstavljaju brojeve (oni se nazivaju u brojevima), a preostali brojevi se dobijaju kao rezultat bilo koje operacije nad ciframa datog brojevnog sistema.
Sistem se zove pozicioni, ako se vrijednost svake cifre (njena težina) mijenja ovisno o njenoj poziciji (poziciji) u nizu cifara koji predstavljaju broj.
Zove se broj jedinica bilo kog ranga kombinovanih u jedinicu višeg ranga baza pozicionog brojevnog sistema. Ako je broj takvih cifara jednak P, tada se poziva brojni sistem P-ichny. Osnova brojevnog sistema je ista kao i broj cifara koji se koriste za pisanje brojeva u tom brojevnom sistemu.
Pisanje proizvoljnog broja x V P-arnog pozicionog brojevnog sistema se bazira na predstavljanju ovog broja kao polinom
x = a n P n + a n -1 P n -1 + ... +a 1 P 1 +a 0 P 0 +a -1 P -1 + ... + a -m P -m
Aritmetičke operacije nad brojevima u bilo kom pozicijskom brojevnom sistemu izvode se po istim pravilima kao i decimalni sistem, budući da se sve zasnivaju na pravilima za izvođenje operacija nad odgovarajućim polinomima. U ovom slučaju trebate koristiti samo one tablice sabiranja i množenja koje odgovaraju datoj bazi P sisteme brojeva.
Prilikom pretvaranja brojeva iz decimalnog sistema brojeva u osnovni sistem P> 1, obično se koristi sljedeći algoritam:
1) ako se prevede cijeli dio broja, onda se dijeli sa P, nakon čega se pamti ostatak podjele. Rezultirajući količnik je opet podijeljen sa P, ostatak se pamti. Postupak se nastavlja sve dok količnik ne postane nula. Ostaci od podjele po P izdaju se obrnutim redoslijedom od prijema;
2) ako se razlomak broja prevede, onda se množi sa P, nakon čega se cijeli dio pamti i odbacuje. Novo dobijeni razlomak se množi sa P itd. Postupak se nastavlja sve dok razlomak ne postane nula. Cjelobrojni dijelovi se pišu iza decimalnog zareza onim redoslijedom kojim su primljeni. Rezultat može biti ili konačni ili periodični razlomak u sistemu brojeva radiksa P. Stoga, kada je razlomak periodičan, morate zaustaviti množenje u nekom koraku i zadovoljiti se približnim prikazom originalnog broja u sistemu sa bazom P.
Primjeri
1. Pretvorite ovaj broj iz decimalnog brojevnog sistema u binarni:
a) 464 (10); b) 380.1875 (10) ; c) 115,94 (10) (dobijete pet decimalnih mjesta u binarnom prikazu).
Rješenje.
464 | 0 380 | 0 |1875 115 | 1 |94
232 | 0 190 | 0 0|375 57 | 1 1|88
116 | 0 95 | 1 0|75 28 | 0 1|76
58 | 0 47 | 1 1|5 14 | 0 1|52
a) 29 | 1 b) 23 | 1 1|0 c) 7 | 1 1|04
14 | 0 11 | 1 3 | 1 0|08
7 | 1 5 | 1 1 | 1 0|16
a) 464 (10) = 111010000 (2) ; b) 380,1875 (10) = 101111100,0011 (2) ; c) 115,94 (10) » 1110011,11110 (2) (u ovom slučaju je dobijeno šest decimalnih mjesta, nakon čega je rezultat zaokružen).
Ako je potrebno pretvoriti broj iz binarnog sistem brojeva u brojevni sistem čija je osnova stepen dvojke, dovoljno je kombinovati cifre binarnog broja u grupe od onoliko cifara koliko je eksponent, i koristiti algoritam ispod. Na primjer, ako se prijevod vrši u oktalnom sistemu, tada će grupe sadržavati tri znamenke (8 = 2 3). Dakle, u cijelom dijelu ćemo grupirati s desna na lijevo, u razlomku - slijeva na desno. Ako u posljednjoj grupi nedostaju brojevi, dodajte nule: u cijelom dijelu - lijevo, u razlomku - desno. Svaka grupa se tada zamjenjuje odgovarajućom cifrom novog sistema. Korespondencije su date u tabelama.
Najvažniji sistemi brojeva.
| Binarno (Radise 2) | oktal (baza 8) | Decimala (osnova 10) | Heksadecimalni (baza 16) | ||
| trijade | tetrads | ||||
| 0 1 | 0 1 2 3 4 5 6 7 | 000 001 010 011 100 101 110 111 | 0 1 2 3 4 5 6 7 8 9 | 0 1 2 3 4 5 6 7 8 9 A B C D E F | 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 |
Ova formula, kao i Hartleyeva formula, koristi se u informatici za izračunavanje ukupne količine informacija s različitim vjerovatnoćama.
Primjer različitih nejednakih vjerovatnoća je izlazak ljudi iz kasarne u vojnoj jedinici. Vojnik, oficir, pa čak i general može napustiti kasarnu. Ali raspored vojnika, oficira i generala u kasarni je drugačiji, što je očigledno, jer će biti najviše vojnika, zatim oficira po broju, a najrjeđi tip će biti generali. Budući da vjerovatnoće nisu jednake za sve tri vrste vojske, da bismo izračunali koliko će informacija uzeti takav događaj, koristimo Šenonova formula.
Za druge jednako vjerovatne događaje, kao što je bacanje novčića (vjerovatnoća da će se pojaviti glava ili rep je ista - 50%), koristi se Hartleyeva formula.
Pogledajmo sada primjenu ove formule koristeći poseban primjer:
Koja poruka sadrži najmanje informacija (broj u bitovima):
- Vasilij je pojeo 6 slatkiša, od kojih su 2 bila žutika.
- Na računaru postoji 10 foldera, traženi fajl je pronađen u folderu 9.
- Baba Luda je napravila 4 pite sa mesom i 4 pite sa kupusom. Gregory je pojeo 2 pite.
- Afrika ima 200 dana suvog vremena i 165 dana monsunske kiše. Afrikanac je lovio 40 dana u godini.
U ovom zadatku obratimo pažnju na činjenicu da je opcije 1, 2 i 3 lako prebrojati, jer su događaji podjednako vjerovatni. A za ovo ćemo koristiti Hartleyjevu formulu I = log 2 N(Sl. 1) Ali sa tačkom 4 u kojoj je jasno da raspored dana nije ujednačen (prevlast prema suvom vremenu), šta bi onda trebalo da radimo u ovom slučaju? Za takve događaje koristi se Shanonova formula ili entropija informacija: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),(Sl.3)
FORMULA ZA KOLIČINU INFORMACIJE (HARTLEY FORMULA, SLIKA 1)
pri čemu:
- I - količina informacija
- p je vjerovatnoća da će se ovaj događaj dogoditi
Događaji koji nas zanimaju za naš problem jesu
- Bila su dva žutika od šest (2/6)
- Postojao je jedan folder u kojem je pronađen traženi fajl u odnosu na ukupan broj (1/10)
- Bilo je ukupno osam pita, od kojih je Grgur pojeo dvije (2/8)
- i posljednjih četrdeset dana lova u odnosu na dvije stotine sušnih dana i četrdeset dana lova u odnosu na sto šezdeset pet kišnih dana. (40/200) + (40/165)
tako dobijamo da:
FORMULA VEROVATNOSTI ZA DOGAĐAJ.
Gdje je K događaj koji nas zanima, a N ukupan broj ovih događaja, također da provjerite, vjerovatnoća određenog događaja ne može biti veća od jedan. (jer uvijek ima manje vjerovatnih događaja)
SHANNONOVA FORMULA ZA IZRAČUNANJE INFORMACIJE (SLIKA 3)
Vratimo se našem zadatku i izračunajmo koliko informacija sadrži.
Usput, prilikom izračunavanja logaritma zgodno je koristiti web stranicu - https://planetcalc.ru/419/#
- Za prvi slučaj - 2/6 = 0,33 = a zatim Log 2 0,33 = 1,599 bita
- Za drugi slučaj - 1/10 = 0,10 Log 2 0,10 = 3,322 bita
- Za treći - 2/8 = 0,25 = Log 2 0,25 = 2 bita
- Za četvrti - 40/200 + 40/165 = 0,2 i 0,24, respektivno, onda izračunavamo pomoću formule -(0,2 * log 2 0,2) + -(o.24 * log 2 0,24) = 0,95856 bita
Dakle, odgovor na naš problem je bio 4.
Informacije mogu postojati u obliku:
tekstovi, crteži, crteži, fotografije;
svjetlosni ili zvučni signali;
radio talasi;
električni i nervni impulsi;
magnetski snimci;
geste i izrazi lica;
mirisi i osjećaji okusa;
hromozomi, preko kojih se nasljeđuju karakteristike i svojstva organizama itd.
Objekti, procesi, pojave materijalnih ili nematerijalnih svojstava, posmatrani sa stanovišta njihovih informacijskih svojstava, nazivaju se informacionim objektima.
1.4. Kako se informacije prenose?
Informacija se prenosi u obliku poruka od nekog izvora informacija do primaoca putem komunikacijskog kanala između njih. Izvor šalje prenesenu poruku koja je kodirana u odaslani signal. Ovaj signal se šalje preko komunikacijskog kanala. Kao rezultat, primljeni signal se pojavljuje na prijemniku, koji se dekodira i postaje primljena poruka.
Poruka koja sadrži informacije o vremenskoj prognozi prenosi se do prijemnika (TV gledatelja) od izvora - meteorologa - putem komunikacijskog kanala - televizijske predajne opreme i TV-a.
Živo biće sa svojim čulnim organima (oko, uho, koža, jezik itd.) percipira informacije iz vanjskog svijeta, obrađuje ih u određeni niz nervnih impulsa, prenosi impulse duž nervnih vlakana, pohranjuje ih u memoriju u obliku stanja neuralnih struktura mozga, reprodukuje u obliku zvučnih signala, pokreta itd., koristi se u procesu svog života.
Prijenos informacija putem komunikacijskih kanala često je praćen smetnjama, što uzrokuje izobličenje i gubitak informacija.
1.5. Kako se mjeri količina informacija?
Koliko informacija je sadržano u djelima velikih pjesnika, pisaca, pjesnika ili u ljudskom genetskom kodu? Nauka ne daje odgovore na ova pitanja i, po svoj prilici, neće uskoro dati odgovore. Da li je moguće objektivno izmjeriti količinu informacija? Najvažniji rezultat teorije informacija je sljedeći zaključak:
U određenim, veoma širokim uslovima, moguće je zanemariti kvalitativne karakteristike informacije, izraziti njenu količinu kao broj, a takođe i uporediti količinu informacija sadržanih u različitim grupama podataka.
Trenutno su pristupi definisanju pojma „količine informacija“ postali široko rasprostranjeni, zasnovani na činjenici da se informacija sadržana u poruci može labavo tumačiti u smislu njene novine ili, drugim rečima, smanjivanja nesigurnosti našeg znanja. o objektu. Ovi pristupi koriste matematičke koncepte vjerovatnoće I logaritam
Pristupi određivanju količine informacija. Hartley i Shannon formule.
Američki inženjer R. Hartley 1928. proces dobijanja informacija smatran je izborom jedne poruke iz konačnog unapred određenog skupa od N jednako verovatnih poruka, a količina informacija koju sam sadržala u odabranoj poruci definisana je kao binarni logaritam od N.
Hartleyeva formula: I = log 2 N
Recimo da trebate pogoditi jedan broj iz skupa brojeva od jedan do sto. Koristeći Hartleyjevu formulu, možete izračunati koliko je informacija potrebno za ovo: I = log 2 100 = 6,644. Dakle, poruka o ispravno pogodenom broju sadrži količinu informacija približno jednaku 6.644 jedinice informacija.
Dajmo drugima primjere jednako vjerovatnih poruka:
prilikom bacanja novčića: "Palo je na pamet", "glave su pale";
na stranici knjige: "broj slova je paran", "broj slova je neparan".
Hajde sada da utvrdimo da li su poruke podjednako verovatne "Prva žena koja je napustila vrata zgrade" I "Čovek će prvi napustiti vrata zgrade". Nemoguće je nedvosmisleno odgovoriti na ovo pitanje. Sve zavisi o kakvoj zgradi je reč. Ako je ovo, na primjer, kino, onda je vjerovatnoća da prvi napusti vrata ista za muškarca i ženu, a ako je ovo vojna kasarna, onda je za muškarca ta vjerovatnoća mnogo veća nego za ženu.
Za probleme ove vrste američki naučnik Claude Shannon predložio je 1948. drugu formulu za određivanje količine informacija, uzimajući u obzir moguću nejednaku vjerovatnoću poruka u skupu.
Šenonova formula: I = - (str 1 log 2 str 1 +p 2 log 2 str 2 + . . . +p N log 2 str N ), gdje je str i- vjerovatnoća da je to tačno i Ova poruka je odabrana u skupu od N poruka.
Lako je to vidjeti ako su vjerovatnoće str 1 , ..., str N su jednaki, onda je svaki od njih jednak 1/N, a Shanonova formula se pretvara u Hartleyjevu formulu.
Pored dva razmatrana pristupa određivanju količine informacija, postoje i drugi. Važno je zapamtiti da su svi teorijski rezultati primjenjivi samo na određeni raspon slučajeva, koji su navedeni u početnim pretpostavkama.
Kao jedinicu informacija, Claude Shannon je predložio da se uzme jedna bit (engleski. bit - bi nary digit - binarna znamenka).
Bitu teoriji informacija- količinu informacija koja je potrebna za razlikovanje između dvije jednako vjerovatne poruke (kao što su "glave" - "repove", "parne" - "neparne" itd.). U računarstvu Bit je najmanji “dio” računarske memorije potreban za pohranjivanje jednog od dva znaka “0” i “1” koji se koriste za internu mašinsku reprezentaciju podataka i instrukcija.
Bit je premala jedinica mjere. U praksi se češće koristi veća jedinica - bajt, jednako osam bitova. Točno osam bitova je potrebno da se kodira bilo koji od 256 znakova abecede kompjuterske tastature (256 = 2 8).
Čak i veće izvedene jedinice informacija također se široko koriste:
1 kilobajt (KB) = 1024 bajta = 2 10 bajtova,
1 megabajt (MB) = 1024 KB = 2 20 bajtova,
1 gigabajt (GB) = 1024 MB = 2 30 bajtova.
U posljednje vrijeme, zbog povećanja obima obrađenih informacija, izvedene su jedinice kao što su:
1 terabajt (TB) = 1024 GB = 2 40 bajtova,
1 petabajt (PB) = 1024 TB = 2 50 bajtova.
Po jedinici informacija može se izabrati količina informacija koja je potrebna da se napravi razlika između, na primjer, deset jednako vjerojatnih poruka. Ovo neće biti binarna (bit), već decimalna (dit) jedinica informacija.
