Količina informacija kao mjera smanjenja nesigurnosti znanja. Informacija koju osoba dobije može se smatrati mjerom smanjenja nesigurnosti znanja. Ako određena poruka dovodi do smanjenja nesigurnosti našeg znanja, onda možemo reći da takva poruka sadrži informaciju.
Poruke obično sadrže informacije o nekim događajima. Količina informacija za događaje s različitim vjerovatnoćama određena je formulom:
ili iz eksponencijalne jednadžbe:
Primjer 2.1. Nakon ispita iz informatike koji su polagali vaši prijatelji, objavljuju se ocjene („2“, „3“, „4“ ili „5“). Koji količina informacija nosit će poruku o ocjeni učenika A koji je naučio samo polovinu tiketa i poruku o ocjeni učenika B koji je naučio sve karte.
Iskustvo pokazuje da su za učenika A sve četiri ocene (događaja) podjednako verovatne, a onda se količina informacija koju poruka ocene može izračunati pomoću formule 2.2:
I = log 2 4 = 2 bita
Na osnovu iskustva također možemo pretpostaviti da je za učenika B najvjerovatnija ocjena "5" (p 1 = 1/2), vjerovatnoća ocjene "4" je upola manja (p 2 = 1/4) , a vjerovatnoća ocjena "2" i "3" je još uvijek dva puta manja (p 3 = p 4 = 1/8). Budući da događaji nisu jednako vjerovatni, koristit ćemo formulu 2.1 da izračunamo količinu informacija u poruci:
I = -(1/2Elog 2 1/2 + 1/4Elog 2 1/4 + 1/8Elog 2 1/8 + 1/8Elog 2 1/8) bit = 1,75 bita
Proračuni su pokazali da sa jednako verovatnim događajima dobijamo više informacija nego sa nejednako verovatnim događajima.
Primjer 2.2. Neprozirna vrećica sadrži 10 bijelih, 20 crvenih, 30 plavih i 40 zelenih klikera. Koliko informacija će sadržavati vizualna poruka o boji izvučene lopte.
Kako broj loptica različitih boja nije isti, vizuelne poruke o boji loptice izvađene iz vreće se takođe razlikuju i jednake su broju loptica date boje podeljen sa ukupnim brojem loptica:
p b = 0,1; p k \u003d 0,2; p z = 0,3; p c = 0,4
Događaji nisu jednako vjerovatni, stoga, da bismo odredili količinu informacija sadržanih u poruci o boji balona, koristimo formulu 2.1:
I = -(0,1 log 2 0,1+ 0,2 log 2 0,2 + 0,3 log 2 0,3 + 0,4 log 2 0,4) bit
Primjer 2.3. Koliko je pitanja dovoljno da postavite svom sagovorniku da biste sa sigurnošću odredili mjesec u kojem je rođen?
Mi ćemo smatrati 12 mjeseci kao 12 mogućih događaja. Ako pitate za određeni mjesec rođenja, onda ćete možda morati postaviti 11 pitanja (ako je na prvih 11 pitanja odgovoreno negativno, onda 12. pitanje nije potrebno, jer će biti tačno).
Ispravno je postavljati "binarna" pitanja, tj. pitanja na koja se može odgovoriti samo sa “Da” ili “Ne”. Na primjer, "Jeste li rođeni u drugoj polovini godine?". Svako takvo pitanje dijeli skup opcija u dva podskupa: jedan odgovara odgovoru "Da", a drugi - odgovoru "Ne".
Ispravna strategija je postavljanje pitanja na takav način da broj opcije svaki put udvostručen. Tada će broj mogućih događaja u svakom od dobijenih podskupova biti isti i njihovo nagađanje je jednako vjerovatno. U ovom slučaju, na svakom koraku će se nositi odgovor ("Da" ili "Ne"). maksimalni iznos informacije (1 bit).
Prema formuli 2.2 i korištenjem kalkulatora dobijamo:
I = log 2 12 "3,6 bita
Broj primljenih bitova informacija odgovara broju postavljenih pitanja, ali broj pitanja ne može biti necijeli broj. Zaokružujemo na veći cijeli broj i dobijamo odgovor: uz pravu strategiju, ne morate postaviti više od 4 pitanja.
Jedinice za mjerenje količine informacija
Jedinice za mjerenje količine informacija. 1 bit se uzima kao jedinica količine informacija - količine informacija sadržanih u poruci, što smanjuje nesigurnost znanja za polovinu.
Prihvaćeno sledeći sistem mjerne jedinice količine informacija:
1 bajt = 8 bitova
1 KB = 2 10 bajtova
1 MB = 2 10 KB = 2 20 bajtova
1 GB = 2 10 MB = 2 20 KB = 2 30 bajtova
Određivanje količine informacija predstavljenih korištenjem znakovnih sistema
Ako simbole abecede posmatramo kao skup mogućih poruka (događaja) N, onda se količina informacija koju jedan znak nosi može odrediti iz formule 2.1. Ako posmatramo pojavu svakog znaka abecede u tekstu kao jednako vjerovatne događaje, tada se formula 2.2 ili jednačina 2.3 može koristiti za određivanje količine informacija.
Količina informacija koju nosi jedan znak abecede je veća, što je više znakova uključeno u ovo pismo, tj. veća je snaga abecede.
Količina informacija sadržanih u poruci kodiranoj pomoću znakovnog sistema jednaka je količini informacija koju nosi jedan znak, pomnoženoj sa brojem znakova u poruci.
Primjer 2.5. Kolika je snaga abecede kojom je napisana poruka koja sadrži 2048 znakova, ako je njena zapremina 1,25 kbajta.
Pretvorite veličinu poruke u bitove:
I = 10 240 bita
Odredite broj bitova po karakteru:
10240 bita: 2048 = 5 bita
Koristeći formulu 2.3, odredite broj znakova u abecedi.
Podaci o autoruČetvergova Yu. N.
Mjesto rada, pozicija:
MOU „Prosjek sveobuhvatne škole br. 1 Porhova, učitelj
Pskov region
Karakteristike časa (časova)
Nivo obrazovanja:
Srednje (potpuno) opšte obrazovanje
Ciljna publika:
učitelj (učitelj)
Casovi):
Stavke:
Informatika i IKT
Svrha lekcije:
Ponavljanje, učvršćivanje, kontrola znanja i vještina
Vrsta lekcije:
Lekcija za integrisanu primenu studenata ZUN-a
Učenici u razredu (publika):
Korištena metodološka literatura:
Pourochnye razvoj u informatici. 10. razred. O. L. Sokolova;
Polovna oprema:
Program "Kalkulator"
Kalkulator
Tema. Količina informacija. Hartley i Shannon formule
Napredak lekcije
Ponavljanje gradiva obrađenog na lekciji. Dodatak. (10 minuta)
Kartice za obuku. grupni rad(20 minuta)
Rješavanje problema. Rad u paru (10 minuta)
Test. (40 minuta)
Međusobna provjera. Radite na greškama.
Osnovna znanja, vještine i kompetencije
Znanje:
Koji su događaji podjednako verovatni, a koji nisu.
Kako pronaći vjerovatnoću događaja;
Kako pronaći količinu informacija u poruci za različite događaje.
Vještine:
Razlikovati podjednako verovatne i nejednako verovatne događaje;
Pronađite količinu informacija za različite događaje.
kompetencije:
Saradnja
Komunikacija
Kreativnost i radoznalost
Kritičko razmišljanje (vrednosni sud)
Ponavljanje gradiva obrađenog na lekcijiKoji su događaji podjednako vjerovatni, a koji ne?
Godine 1928. američki inženjer R. Hartley predložio je naučni pristup evaluaciji poruka. Formula koju je predložio bila je sljedeća:
I = log 2 K ,
gdje je K broj jednako vjerovatnih događaja; I je broj bitova u poruci, tako da se desio bilo koji od K događaja. Tada je K=2 I .
Ponekad se Hartleyeva formula piše ovako:
I \u003d log 2 K \u003d log 2 (1 / p) \u003d - log 2 p,
budući da svaki od K događaja ima jednako vjerojatan ishod p = 1 / K, tada je K = 1 / p.
Lopta se nalazi u jednoj od tri urne: A, B ili C. Odredite koliko bitova informacija sadrži poruka koja se nalazi u urni B.
Rješenje.
Takva poruka sadrži I = log 2 3 = 1,585 bita informacija.
Ali nemaju sve situacije iste vjerovatnoće realizacije. Mnogo je takvih situacija u kojima se vjerovatnoće realizacije razlikuju. Na primjer, ako se baci asimetrični novčić ili "pravilo sendviča".
„Jednom mi je kao djetetu ispao sendvič. Gledao me kako brišem sa krivnje uljna mrlja ostavljen na podu, stariji brat me je uvjeravao:
Ne brinite, to je zakon sendviča koji je uspio.
Kakav je ovo zakon? Pitao sam.
Zakon koji kaže: "Sendvič uvijek pada puterom nadole." Međutim, ovo je šala - nastavi brat.- Nema zakona. Samo što se sendvič zaista čudno ponaša: većina putera je na dnu.
Pustimo sendvič još par puta, provjerimo, - predložio sam. - Ionako ćeš ga morati baciti.
Provjereno. Od deset puta osam, sendvič je pao puterom nadole.
A onda sam pomislio: da li je moguće unapred znati kako će sendvič pasti sa puterom dole ili gore?
Naše eksperimente je prekinula majka..."
(Odlomak iz knjige "Tajna velikih generala", V. Abchuk).
Godine 1948. američki inženjer i matematičar K Shannon predložio je formulu za izračunavanje količine informacija za događaje s različitim vjerovatnoćama.
Ako je I količina informacija,
K - broj mogućih događaja, p i - vjerovatnoće pojedinačnih događaja,
tada se količina informacija za događaje sa različitim vjerovatnoćama može odrediti formulom:
I = - Zbir p i log 2 p i , gdje i uzima vrijednosti od 1 do K.
Hartleyeva formula se sada može posmatrati kao poseban slučaj Shannon formule:
I \u003d - Zbir 1 / K log 2 (1 / K) = I \u003d log 2 K.
Za jednako vjerovatne događaje, količina dobijenih informacija je maksimalna.
Kako pronaći vjerovatnoću događaja?
Ako je informacija sadržana u nekoj poruci nova, razumljiva za osobu, ona dopunjuje njegovo znanje, tj. dovode do smanjenja nesigurnosti znanja, tada poruka sadrži informaciju.
1 bit - količina informacija sadržanih u poruci, što smanjuje nesigurnost znanja za 2 puta.
Primjer
Prilikom bacanja novčića moguća su 2 događaja (slučaja) - novčić će pasti glavom ili repom, a oba događaja su podjednako vjerovatna (sa velikim brojem bacanja, broj slučajeva pada novčića glavom i repom je isti) . Nakon primanja poruke o rezultatu pada novčića, nesigurnost znanja se smanjila za 2 puta, pa je stoga količina primljenih informacija u ovom slučaju 1 bit.
Kako pronaći količinu informacija u poruci za različite događaje?
Proračun količine informacija za jednako vjerovatne događaje.
Ako su događaji jednako vjerovatni, tada se količina informacija može izračunati pomoću formule:
N = 2 I
gdje je N - broj mogućih događaja,
I je količina informacija u bitovima.
Formulu je predložio američki inženjer R. Hartley 1928. godine.
Zadatak 1.U kutiji su 32 olovke, sve olovke različite boje. Crveni je izvučen nasumično. Koliko je informacija dobijeno iz ovoga?
Rješenje.
Pošto je crtanje olovke bilo koje boje od 32 olovke u kutiji jednako vjerovatno, broj mogućih događaja
jednako 32.
N = 32, I = ?
N = 2 I , 32 = 2 5 , I = 5 bita .
odgovor: 5 bita
Proračun količine informacija za događaje sa različitim vjerovatnoćama.
Postoje mnoge situacije u kojima mogući događaji imaju različite vjerovatnoće realizacije. Razmotrite primjere takvih događaja.
1. U kutiji se nalazi 20 olovaka, od toga 15 crvenih i 5 crnih. Vjerojatnost da se nasumično nacrta crvena olovka veća je od crne.
2. Ako sendvič slučajno padne, veća je vjerovatnoća da će pasti s uljem nadolje (teža strana) nego s uljem gore.
3. U ribnjaku živi 8.000 karaša, 2.000 štuka i 40.000 gavarica. Najviše Velika šansa za ribara - uhvatiti gavca u ovom ribnjaku, na drugom mjestu - karasa, na trećem - štuku.
Količina informacija u poruci o nekom događaju zavisi od njegove vjerovatnoće. Što je manja vjerovatnoća događaja, to više informacija to nosi.
P=K/N , gdje je K broj slučajeva realizacije jednog od ishoda događaja, N - ukupan broj mogući ishodi nekog od događaja
2
I = log 2 (1/ p ), gdje je I - količinu informacija, str - vjerovatnoća događaja
Zadatak 1 . U kutiji se nalazi 50 loptica, od kojih je 40 bijelih i 10 crnih. Odredite količinu informacija u poruci o nasumično izvlačenju bijele i crne kugle.
Rješenje.
Verovatnoća izvlačenja bele lopte
P 1 = 40/50 = 0,8
Vjerovatnoća izvlačenja crne lopte P 2 = 10/50 = 0,2
Količina informacija o izvlačenju bijele lopte I 1 = log 2 (1 / 0,8) = log 2 1,25 = log 1,25 / log 2 " 0,32 bit
Količina informacija o izvlačenju crne lopte
I 2 \u003d log 2 (1 / 0,2) \u003d log 2 5 = log5 / log2» 2.32 bit
Odgovori: 0.32bit, 2.32bit
Šta je logaritam?
Logaritam broja prema bazi b je eksponent na koji se broj mora podići a da dobijem broj b.
a logab = b, a > 0, b > 0, a ≠ 1
Analiza problema
Odredite količinu informacija primljenih tokom implementacije jednog od događaja ako se izbace
a) asimetrična tetraedarska piramida;
b) simetrična i jednolična tetraedarska piramida.
Rješenje.
A) Bacićemo asimetričnu tetraedarsku piramidu.
Vjerovatnoća pojedinačnih događaja će biti sljedeća:
p1 = 1 / 2,
p2 = 1/4,
p3 = 1/8,
p4 = 1/8,
tada se količina informacija primljena nakon implementacije jednog od ovih događaja izračunava po formuli:
I = -(1/2 log 2 1/2 + 1/4 log 2 1/4 + 1/8 log 2 1/8 + 1/8 log 2 1/8) = 1/2 + 2/4 + 3 / 8 + 3 / 8 = 14/8 = 1,75 (bit).
b) Sada izračunajmo količinu informacija koja će se dobiti kada se baci simetrična i uniformna tetraedarska piramida:
I = log 2 4 = 2 (bit).
2. Vjerovatnoća prvog događaja je 0,5, a drugog i trećeg 0,25. Koliko ćemo informacija dobiti nakon implementacije jednog od njih?
3. Koliko informacija će se dobiti kada se igra rulet sa 32 sektora?
4. Koliko razni brojevi može se kodirati sa 8 bita?
Rješenje: I=8 bita, K=2 I =2 8 =256 različitih brojeva.
Zadatak 2.U jezeru žive šaran i smuđ. Procjenjuje se da ima 1500 šarana i 500 grgeča.Koliko podataka ima u izvještajima da je ribar ulovio karaša, smuđa, ulovio ribu?
Rješenje.
Događaji hvatanja karaša ili smuđa nisu jednako vjerovatni, jer je u jezeru manje smuđa nego karaša.
Ukupan broj karaša i smuđa u ribnjaku je 1500 + 500 = 2000.
Vjerovatnoća da se nađete na mamacu za karasa
p1 = 1500/2000 = 0,75 grgeča p 2 = 500/2000 = 0,25.
I 1 = log 2 (1/ p I ), I 1 = log 2 (1/ p 2 ), gdje je P 1 i P 2 - vjerovatnoće ulova karaša i smuđa, respektivno.
I 1 = log 2 (1 / 0,75) » 0,43 bita, I 2 = log 2 (1 / 0,25) =2 bita - količina informacija u poruci za ulov karasa i grgeča.
Količina informacija u poruci za ulov ribe (šaran ili smuđ) izračunava se pomoću Shannon formule
I = - p 1 log 2 p 1 - p 2 log 2 p 2
I = - 0,75*log 2 0,75 - 0,25*log 2 0,25 = - 0,75*(log0,75/log2)-0,25*(log0,25/log2) =
0,311 + 0,5 = 0,811
odgovor:poruka sadrži 0,811 bita informacija
Karte za vježbanje (20 minuta)
№1
1. U kutiji su bile 32 olovke u boji. Koliko informacija prenosi poruka da je crvena olovka izvađena iz kutije?
2. Poruka da vaš prijatelj živi na 9. spratu nosi 4 bita informacija. Koliko spratova ima kuća?
3. Koliko će kilobajta činiti poruku od 384 znaka abecede od 16 znakova?
4. Kompjuterski otkucana knjiga sadrži 250 stranica; 40 redova po stranici, 60 znakova po redu. Koliko informacija ima u knjizi?
5. Upišite sljedeće brojeve binarni sistem računajući: 37 i 52.
№2
2. U školskoj biblioteci ima 8 polica sa knjigama. Svaki stalak ima 4 police. Bibliotekar je rekao Vasji da je knjiga koja mu je potrebna na petoj polici na drugoj polici odozgo. Koliko je informacija bibliotekarka dala Vasji?
4. Koliko informacija sadrži poruka koja smanjuje nesigurnost znanja za 2 puta?
5. Zapišite sljedeće brojeve u binarnom obliku: 12 i 49.
1. Prilikom pogađanja cijelog broja u određenom rasponu primljeno je 8 bitova informacija. Koliko brojeva sadrži ovaj raspon?
2. Prišli ste semaforu kada je svijetlo crveno. Nakon toga se upalilo žuto svjetlo. Koliko ste informacija dobili?
3. Pleme Pulti ima abecedu od 16 znakova. Multi pleme koristi abecedu od 32 znaka. Plemenske vođe su razmijenile pisma. Pismo plemena Pulti sadržavalo je 90 znakova, a slovo plemena Multi 70 znakova. Uporedite količinu informacija sadržanih u pismima.
4. Koliko će kilobajta činiti poruku od 384 znaka abecede od 8 znakova?
5. Binarno zapišite sljedeće brojeve: 33 i 15.
2. Poruka zauzima 2 stranice i sadrži 1/16 Kb informacija. Svaka stranica sadrži 256 znakova. Koliko informacija nosi jedno slovo korišćene abecede?
3. Poruka napisana slovima abecede od 128 znakova sadrži 11 znakova. Koliko informacija nosi?
4. U kutiji se nalaze 64 olovke u boji. Koliko informacija sadrži poruka da je zelena olovka izvađena iz kutije?
5. Binarno zapišite sljedeće brojeve: 17 i 42.
1. Koliko će informacija dobiti drugi igrač nakon prvog poteza prvog igrača u igri tic-tac-toe na 4x4 terenu?
2. U bubnju lutrije ima 8 loptica. Koliko informacija sadrži poruka o prvom izvučenom broju, na primjer, ispao je broj 2?
3. Broj bitova informacija u poruci „Miša je zauzeo jedno od 16 mesta na informatičkoj olimpijadi“?
4. Raster grafički fajl sadrži crno-bijela slika sa 16 gradacija sive boje veličine 10x10 tačaka. Koliki je obim informacija ove datoteke?
5. Binarno zapišite sljedeće brojeve: 28 i 51.
1. Abeceda plemena Multi sastoji se od 8 slova. Koliko informacija sadrži poruka od 13 znakova?
2. Rasterska grafička datoteka sadrži crno-bijelu sliku (bez sivih tonova) veličine 100x100 piksela. Koliki je obim informacija ove datoteke?
3. Prilikom pogađanja cijelog broja u određenom rasponu primljeno je 5 bitova informacije. Koliko brojeva sadrži ovaj raspon?
4. Primljen je telegram: "Upoznajte auto 6". Poznato je da se voz sastoji od 16 vagona. Koliko je informacija primljeno?
5. Binarno zapišite sljedeće brojeve: 23 i 38.
1. Baca se simetrična tetraedarska piramida. Koliko informacija dobijamo u vizuelnoj poruci o njegovom padu na jedno od lica?
2. Koliki je obim informacija teksta koji sadrži riječ ENCODING u 8-bitnom kodiranju?
3. Boja (sa paletom od 256 boja) bitmap grafička slika ima veličinu 10x10 tačaka. Koliko memorije će zauzeti ova slika?
4. Poruka da vaš prijatelj živi na 8. spratu nosi 4 bita informacija. Koliko spratova ima kuća?
5. Binarno zapišite sljedeće brojeve: 19 i 46.
1. Postoji izbor jedne karte iz špila od 32 karte. Koliko informacija dobijemo u vizuelnoj poruci o izboru određene kartice?
2. Za koliko informacija je potrebno binarno kodiranje svaki znak u skupu od 256 znakova?
3. Tekst zauzima 0,5 Kbyte memorije računara. Koliko znakova sadrži ovaj tekst?
4. Abeceda plemena Pulti sastoji se od 128 slova. Koliko informacija nosi jedno slovo ove abecede?
5. Binarno zapišite sljedeće brojeve: 11 i 35.
1. „Je li tvoj prijatelj kod kuće?“ upitan je učenik u školi. “Ne”, odgovorio je. Koliko informacija sadrži odgovor?
2. Poruka zauzima 3 stranice od 25 redova. Svaki red sadrži 60 znakova. Koliko znakova ima u korištenoj abecedi ako cijela poruka sadrži 1125 bajtova?
3. U kutiji se nalazi 16 šarenih loptica. Koliko informacija sadrži poruka da je žuta lopta izvađena iz kutije?
4. Prilikom pogađanja cijelog broja u određenom rasponu, primljeno je 5 bitova informacija. Koliko brojeva sadrži ovaj raspon?
5. Binarno zapišite sljedeće brojeve: 13 i 41.
1. Koliki je broj bitova informacija u poruci „Vanja je zauzela jedno od 8 mjesta na informatičkoj olimpijadi“?
2. Kompjuterski otkucana knjiga sadrži 150 stranica; 40 redova po stranici, 60 znakova po redu. Koliko informacija ima u knjizi? Definirajte u KB.
3. Kada se pogađa cijeli broj u rasponu od 1 do N, primljeno je 8 bitova informacija. Čemu je jednako N?
4. Poruka napisana slovima abecede od 32 znaka sadrži 30 znakova. Koliko informacija nosi?
5. Binarno zapišite sljedeće brojeve: 16 i 39.
1. Abeceda plemena Multi sastoji se od 16 slova. Koliko informacija nosi jedno slovo ove abecede?
2. Poruka da vaš prijatelj živi na 8. spratu nosi 5 bitova informacija. Koliko spratova ima kuća?
3. Pronađite maksimalan broj knjiga (svaka duga 200 stranica, 60 redova po stranici, 80 znakova po redu) potpuno postavljenih na laserski disk sa kapacitetom od 600 MB.
4. Koliko informacija je potrebno da se pogodi jedan od 64 broja?
5. Binarno zapišite sljedeće brojeve: 14 i 53.
1. Primljen je telegram: "Upoznajte auto 4". Poznato je da se voz sastoji od 8 vagona. Koliko je informacija primljeno?
2. Volumen poruke koja sadrži 2048 karaktera bio je 1/512 MB. Koja je veličina abecede (koliko znakova u abecedi?) kojom je napisana poruka?
3. "Silazite li na sljedećoj stanici?" upitao je čovjek u autobusu. „Da“, odgovorio je. Koliko informacija sadrži odgovor?
4. Poruka napisana slovima abecede od 16 znakova sadrži 25 znakova. Koliko informacija sadrži odgovor?
5. Binarno zapišite sljedeće brojeve: 26 i 47.
1. Koliko kilobajta ima poruka koja sadrži 12288 bita?
2. Koliko informacija sadrži poruka koja smanjuje nesigurnost znanja za 4 puta?
3. Koliko znakova sadrži poruka, napisana abecedom od 16 znakova, ako je njena zapremina bila 1/16 MB?
4. Grupa školaraca je došla na bazen koji ima 8 staza za plivanje. Trener je rekao da će grupa plivati u stazi broj 4. Koliko informacija su učenici dobili iz ove poruke?
5. Binarno zapišite sljedeće brojeve: 18 i 25.
1. Prišli ste semaforu kada je bilo upaljeno žuto svjetlo. Nakon toga je postalo zeleno. Koliko ste informacija dobili?
2. Za pisanje teksta korištena je abeceda od 256 znakova. Svaka stranica sadrži 30 redova od 60 znakova po redu. Koliko informacija sadrži 6 stranica teksta?
3. U bubnju lutrije se nalaze 64 kuglice. Koliko informacija sadrži poruka o prvom izvučenom broju (na primjer, ispao je broj 32)?
4. Prilikom pogađanja cijelog broja u određenom rasponu primljeno je 7 bitova informacija. Koliko brojeva sadrži ovaj raspon?
5. Binarno zapišite sljedeće brojeve: 27 i 56.
1. Poruka da Petya živi u prvom ulazu nosi 2 bita informacije. Koliko je trijemova u kući?
2. Poruka napisana slovima abecede od 128 znakova sadrži 40 znakova. Koliko informacija nosi?
3. Informativna poruka od 1,5 KB sadrži 3072 karaktera. Koliko znakova ima u abecedi kojom je napisana ova poruka?
4. Koliko će kilobajta činiti poruku od 284 znaka abecede od 16 znakova?
5. Zapišite sljedeće brojeve u binarnom obliku: 10 i 29.
1. Koliko će informacija dobiti drugi igrač nakon prvog poteza prvog igrača u igri tic-tac-toe na 4x4 terenu?
2. Koliko bajtova informacija sadrži 1 MB?
3. Koliki je bio broj mogućih događaja ako smo nakon implementacije jednog od njih dobili količinu informacija jednaku 7 bita?
4. Za pisanje poruke korištena je abeceda od 64 znaka. Svaka stranica sadrži 30 redova. Cijela poruka sadrži 8775 bajtova informacija i zauzima 6 stranica. Koliko znakova po redu?
5. Binarno zapišite sljedeće brojeve: 22 i 59.
1. Poruka napisana slovima abecede od 128 znakova sadrži 40 znakova. Koliko informacija nosi?
2. Koliko će informacija dobiti drugi igrač u igri "Pogodi broj" sa pravom strategijom, ako je prvi pogodio broj u rasponu od 1 do 64?
3. Za pisanje teksta korištena je abeceda od 256 znakova. Svaka stranica sadrži 30 redova od 70 znakova po redu. Koliko informacija sadrže 3 stranice teksta?
4. Tekst zauzima 0,25 KB memorije računara. Koliko znakova sadrži ovaj tekst?
5. Binarno zapišite sljedeće brojeve: 32 i 51.
1. Koliko bitova informacija je sadržano u 1 KB?
2. Prvo pleme ima abecedu od 16 znakova. Drugo pleme koristi abecedu od 32 znaka. Plemenske vođe su razmijenile pisma. Pismo iz prvog plemena sadržavalo je 90 znakova, a pismo iz drugog plemena 80 znakova. Uporedite količinu informacija sadržanih u pismima.
3. Koliko informacija će se dobiti kada se igra rulet sa 32 sektora?
4. Informacije se prenose brzinom od 2,5 Kb/s. Koliko informacija će se prenijeti za 20 minuta?
5. Zapišite sljedeće brojeve u binarnom obliku: 21 i 48.
Rješavanje zadataka po izboru (20 minuta)
№1
Poruka je napisana abecedom koja sadrži 8 znakova. Koliko informacija nosi jedno slovo ove abecede? Rješenje: I = log 2 8 = 3 bita.
odgovor: 3 bita.
№2
Količina informacija jednog karaktera neke poruke jednaka je 6 bita. Koliko znakova ima u abecedi sa kojom je ova poruka/sastavljena? Rješenje: N=2 I = 2 6 = 64 znaka.
odgovor: 64 karaktera.
№3
Količina informacija jednog karaktera neke poruke je jednaka 5 bits. Koje su granice (maksimalna i minimalna vrijednost) snage abecede s kojom je ova poruka sastavljena?
Rješenje: N = 2 I = 2 5 = 32 — maksimalna vrijednost abecedne moći. Ako postoji barem još jedan znak, tada će biti potrebno 6 bita za kodiranje.
Minimalna vrijednost je 17 znakova, jer za manje znakova, 4 bita će biti dovoljna. odgovor: 4 bita.
№4
Poruka napisana slovima abecede od 128 znakova koja sadrži 30 znakova. Koliko informacija nosi?
Dato: N = 128, K = 30.
Pronađite: 1 t - ?
Rješenje:
1) I t \u003d KI, nepoznato I;
2) I = log 2 N = log 2 l 28 \u003d 7 bita - volumen jednog znaka;
3) I m = 30 * 7 = 210 bita - volumen cijele poruke.
odgovor:210 bita je ukupna veličina poruke.
№5
Poruka sastavljena pomoću abecede od 32 znaka sadrži 80 znakova. Druga poruka je napisana abecedom od 64 znaka i sadrži 70 znakova. Uporedite količine informacija sadržanih u porukama.
Dato: N 1 = 32, K 1 = 80, N 2 \u003d 64, K 2 \u003d 70.
Pronađite: I t1 I t2
Rješenje:
I ) I 1 = log 2 Nl = log 2 32 = 5 bita - volumen jednog znaka prve poruke;
Svi smo navikli da se sve oko sebe može izmjeriti. Možemo odrediti masu paketa, dužinu stola, brzinu automobila. Ali kako odrediti količinu informacija sadržanih u poruci? Odgovor na pitanje nalazi se u članku.
Dakle, hajde da prvo odaberemo poruku. Neka bude " Štampač je uređaj za izlaz informacija.". Naš zadatak je utvrditi koliko informacija je sadržano u ovu poruku. Drugim riječima, koliko memorije je potrebno za pohranjivanje.
Određivanje količine informacija u poruci
Da bismo riješili problem, moramo odrediti koliko informacija nosi jedan znak poruke, a zatim pomnožiti ovu vrijednost sa brojem znakova. A ako možemo prebrojati broj znakova, onda je potrebno izračunati težinu karaktera. Da bismo to učinili, izračunavamo broj razne znakova u poruci. Da vas podsjetim da su znakovi interpunkcije, razmaci također simboli. Osim toga, ako poruka sadrži ista mala slova i kurzivno slovo— računamo ih kao dva različita lika. Hajde da počnemo.
Rečju Štampač 6 različitih karaktera ( R pojavljuje se dvaput i broji se jednom), zatim 7. znak prostor i deveti crtica. Pošto je već postojao razmak, ne računamo ga nakon crtice. Rečju uređaj 10 karaktera, ali različito - 7, od slova With, t i o se ponavljaju. Osim toga, pisma t i R već u reči Štampač. Tako ispada da u riječi uređaj 5 razni simboli. Dalje računajući na ovaj način, dobijamo da u poruci ima 20 različitih karaktera.
2i=N
Zamena u njemu N broj različitih znakova, saznajemo koliko informacija jedan karakter nosi u bitovima. U našem slučaju formula će izgledati ovako:
2 i =20
Prisjetimo se i shvatimo da je i u rasponu od 4 do 5 (jer je 2 4 =16, a 2 5 =32). A pošto je bit minimalan i ne može biti razlomak, zaokružujemo i u velika strana do 5. Inače, ako pretpostavimo da je i=4, mogli bismo kodirati samo 2 4 =16 karaktera, a imamo ih 20. Dakle, dobijamo da je i=5, odnosno svaki znak u našoj poruci nosi 5 bitova informacija.
Ostaje da izbrojimo koliko karaktera u našoj poruci. Ali sada ćemo računati svi simboli da li se ponavljaju ili ne. Dobijamo da se poruka sastoji od 39 karaktera. A pošto je svaki znak 5 bitova informacije, onda množenjem 5 sa 39 dobijamo:
5 bita x 39 znakova = 195 bita
Ovo je odgovor na pitanje problema - u poruci se nalazi 195 bitova informacija. I, sumirajući, može se pisati algoritam za pronalaženje količine informacija u poruci:
- izbrojati broj različitih znakova.
- zamjenom ove vrijednosti u formulu 2i=N pronađite težinu jednog znaka (zaokruženo)
- izračunajte ukupan broj znakova i pomnožite ovaj broj sa težinom jednog znaka.
Da bi mogli porediti raznih izvora poruke i razne linije i komunikacionih kanala, potrebno je uvesti neku kvantitativnu meru koja vam omogućava da procenite informacije sadržane u poruci i koje prenosi signal. Takvu mjeru u obliku količine informacija uveo je K. Shannon na osnovu koncepta izbora, što mu je omogućilo da izgradi prilično opću matematičku teoriju komunikacije.
Razmotrimo glavne ideje ove teorije u primjeni na diskretni izvor, koji proizvodi niz elementarnih poruka. Pokušajmo pronaći pogodnu mjeru količine informacija sadržanih u određenoj poruci. Glavna ideja teorije informacija je da ova mjera nije određena specifičnim sadržajem date poruke, već činjenicom da izvor bira datu elementarnu komunikaciju iz konačnog skupa. Ova ideja je opravdana činjenicom da je na njenoj osnovi bilo moguće dobiti niz dalekosežnih i istovremeno netrivijalnih rezultata koji se dobro slažu sa intuitivnim idejama o prenošenju informacija. Glavni od ovih rezultata će biti predstavljeni u nastavku.
Dakle, ako izvor odabere jednu elementarnu poruku () iz skupa abecede, tada količina informacija koju daje ne ovisi o specifičnom sadržaju ovog elementa, već o tome kako je ovaj izbor napravljen. Ako je odabrani element poruke unaprijed određen, onda je prirodno pretpostaviti da su informacije sadržane u njemu jednake nuli. Stoga ćemo pretpostaviti da se izbor slova dešava sa određenom vjerovatnoćom . Ova vjerovatnoća može, općenito, ovisiti o tome koji je niz prethodio datom slovu. Prihvatamo da je količina informacija sadržana u elementarnoj poruci kontinuirana funkcija ovu vjerovatnoću, a mi ćemo pokušati odrediti oblik ove funkcije tako da ona zadovoljava neke od najjednostavnijih intuitivnih ideja o informacijama.
U tu svrhu izvršićemo jednostavnu transformaciju poruke, koja se sastoji u tome da svaki par „slova“ koje je izvor sekvencijalno kreira, smatraćemo kao jedno uvećano „slovo“. Takvu transformaciju nazivamo proširenjem abecede. Skup uvećanih "slova" formira abecedu volumena, budući da se iza svakog elementa abecede, općenito, može odabrati bilo koji od elemenata. Neka postoji vjerovatnoća da će izvor izvršiti sekvencijalni izbor elemenata i . Zatim, uzimajući u obzir par kao slovo nove abecede, može se tvrditi da ovaj par sadrži količinu informacija.
Prirodno je zahtijevati da količina informacija sadržana u paru slova zadovolji uvjet aditivnosti, odnosno jednaka je zbiru količine informacija sadržanih u svakom od slova i originalnom alfabetu. Informacija sadržana u pismu jednaka je , gdje je vjerovatnoća odabira slova nakon svih slova koja mu prethode. Da bi se odredile informacije sadržane u pismu, potrebno je uzeti u obzir vjerovatnoću odabira slova nakon pisma, uzimajući u obzir i sva slova koja su prethodila pismu. Označavamo ovu uslovnu vjerovatnoću kao . Tada će količina informacija u pismu biti izražena funkcijom .
S druge strane, vjerovatnoća odabira para slova po pravilu množenja vjerovatnoća je
Zahtjev za aditivnošću količine informacija u operaciji povećanja abecede dovodi do jednakosti
Neka i . Zatim za bilo koji i 
jednačina se mora poštovati
Isključujemo slučajeve ili iz razmatranja, jer, zbog konačnog broja slova abecede, ove jednakosti znače da je izbor para slova po izvoru nemoguć događaj.
Jednakost (1.3) je funkcionalna jednadžba iz koje se može odrediti oblik funkcije. Razlikujemo obje strane jednačine (1.3) s obzirom na p:
.
Pomnožimo oba dijela rezultirajuće jednadžbe sa p i zatim uvedemo oznaku
(1.4)
Ova jednadžba bi trebala vrijediti za bilo koji i bilo koji . Posljednje ograničenje nije bitno, budući da je jednačina (1.4) simetrična u odnosu na i stoga mora biti zadovoljena za bilo koji par pozitivnih vrijednosti argumenata koji ne prelaze jedan. Ali to je moguće samo ako oba dijela (1.4) predstavljaju neku konstantnu vrijednost , odakle
Integracijom rezultirajuće jednačine nalazimo
, (1.5)
gdje je proizvoljna konstanta integracije.
Formula (1.5) definira klasu funkcija koje izražavaju količinu informacija pri odabiru slova sa vjerovatnoćom , i zadovoljavaju uvjet aditivnosti. Za određivanje integracijske konstante koristimo gornji uslov prema kojem se unaprijed unapred definisani element poruka, tj. ima vjerovatnoću , ne sadrži informaciju. Dakle, , Odakle odmah slijedi da je . - baza prirodnih logaritama), ili, drugim riječima, jednaka je informaciji sadržanoj u poruci da se dogodio događaj čija je vjerovatnoća bila jednaka
s obzirom na to da se logaritam uzima u bilo kojoj bazi, sve dok je ta baza očuvana tokom cijelog problema koji se rješava.
Zbog svojstva aditivnosti informacija, izrazi (1.6) omogućavaju da se odredi količina informacija ne samo u pismu poruke, već iu bilo kojoj proizvoljno dugoj poruci. Potrebno je samo uzeti kao vjerovatnoću odabira ove poruke od svih mogućih, uzimajući u obzir prethodno odabrane poruke.
Glavni sadržaj teme: Postoje dva pristupa mjerenju informacija: smisleni i abecedni. Alfabetski pristup se koristi za mjerenje količine informacija u tekstu predstavljenom kao niz znakova iz neke abecede. Ovaj pristup nije povezan sa sadržajem teksta. Količina informacija u ovom slučaju naziva se količina informacija teksta. Sa stanovišta smislenog pristupa mjerenju informacija, rješava se pitanje količine informacija u poruci koju primi osoba.
Praktičan rad 2. Rješavanje problema pomoću Hartleyeve formule
Cilj: određivanje količine informacija u smislenom pristupu.
1) osoba primi poruku o nekom događaju; istovremeno je neizvesnost ljudskog znanja o očekivanom događaju unapred poznata. Neizvjesnost znanja može se izraziti ili brojem mogućih varijanti događaja, ili vjerovatnoćom očekivanih varijanti događaja;
2) kao rezultat prijema poruke otklanja se nesigurnost saznanja: od određenog mogućeg broja opcija izabrana je jedna;
3) formula izračunava količinu informacija u primljenoj poruci, izraženu u bitovima.
Formula koja se koristi za izračunavanje količine informacija ovisi o situacijama, koje mogu biti dvije:
1. Sve moguće varijante događaja su podjednako vjerovatne. Njihov broj je konačan i jednak N.
2. Vjerovatnoće (p) mogućih varijanti događaja su različite i unaprijed su poznate: (p i ), i = 1..N.
Ako su događaji jednako vjerojatni, tada su vrijednosti i i N međusobno povezane Hartleyjevom formulom:
2 i = N (1), gdje je
i je količina informacija u poruci da se dogodio jedan od N jednakovjerovatnih događaja, mjereno u bitovima.
N je broj mogućih varijanti događaja.
Hartleyeva formula je eksponencijalna jednačina. Ako je i nepoznata vrijednost, tada će rješenje jednadžbe (1) biti:
Formule (1) i (2) su identične jedna drugoj.
Oprema:
1. Analizirajte sljedeće primjere problema s rješenjima. Zapišite u svesku.
Zadatak 1. Pronađite količinu informacija u jednoj poruci.
Rješenje:
N=1 => 2 i =1 => i=0 bit
Zadatak 2. Izmjerite količinu informacija kada odgovarate na pitanje: "Koje padavine se očekuju sutra?"
Rješenje:
N=4 => 2 i =4 => i=2 bita
Zadatak 3. Primljena je poruka, veličine 10 bita. Koliko se poruka može napraviti iz primljenih podataka?
Rješenje:
i=10 => 2 10 =1024 => N=1024 poruka
1. Koliko informacija sadrži poruka da je pikova dama uzeta iz špila karata?
2. Koliko informacija sadrži poruka o bacanju lica sa brojem 3 na šestostranoj kocki?
3. Neko je začeo prirodni broj u rasponu od 1 do 32. Koji je minimalni broj pitanja koja trebate postaviti da biste bili sigurni da ste pogodili željeni (označeni) broj. Odgovori mogu biti samo "da" ili "ne".
4. (Problem oko krivotvorenog novčića). Postoji 27 novčića, od kojih je 26 pravih i jedan lažni. Koji je minimalni broj vaganja na vagi za koji se može garantovano odrediti jedan krivotvoreni novčić od 27, koristeći činjenicu da je lažni novčić lakši od pravog. Vaga s polugom ima dvije čašice i uz njihovu pomoć jedino je moguće utvrditi da li je sadržaj čaša isti po težini, a ako nije, onda sadržaj koji od čaša je teži.
5. Koliko pitanja treba postaviti i kako ih formulisati da biste saznali s koje od 16 pruga polazi vaš voz?
6. Koliko će informacija dobiti prvi igrač nakon prvog poteza drugog igrača u igri "tik-tak-toe" na polju 4 x 4?
7. Nakon implementacije jednog od mogućih događaja, dobili smo količinu informacija jednaku 15 bita. Koliko je mogućih događaja bilo u početku?
8. Odredite strategiju za pogađanje jedne karte iz špila od 32 karte za igranje(nedostaju sve četiri šestice) ako se na pitanja odgovori sa "da" ili "ne".
9. Prilikom igranja kockica koristi se kocka sa šest strana. Koliko bitova informacija igrač dobije svaki put kada se kockica baci?
10. Poruka da vaš prijatelj živi na 6. spratu nosi 4 bita informacija. Koliko je spratova u kući.
11. Informativni kapacitet poruke da je zelena loptica izvađena iz korpe, u kojoj leži određeni broj raznobojnih loptica, nosi 0,375 bajtova informacije. Koliko je lopti bilo u košu.
12. U biblioteci ima 16 polica. Na svakom stalku ima 8 polica. Bibliotekarka je rekla Olji da se knjiga koja je zanima nalazi na 3. stalku, na 2. polici odozgo. Koliko je informacija Olya dobila?
13. U vrećici je 30 loptica, od toga 10 bijelih i 20 crnih. Koliko informacija prenosi poruka da su dobili bijelu kuglu, crnu kuglu?
14. U razredu ima 30 ljudi. Per test iz matematike je primljeno 6 petica, 15 četvorki, 8 trojki i 1 dvojka. Koliko informacija ima u poruci da je Ivanov dobio B?
15. U korpi su 32 loptice vune. Među njima su 4 crvene. Koliko informacija nosi poruka da su izvadili klupko crvene vune?
16. U kutiji se nalaze 64 olovke u boji. Poruka da je izvađena bijela olovka nosi 4 bita informacije. Koliko je bijelih olovaka bilo u korpi?
17. U kutiji se nalaze rukavice (bijele i crne). Među njima su 2 para crnih. Poruka da je par crnih rukavica izvađen iz kutije nosi 4 bita informacija. Koliko je pari rukavica bilo u kutiji?
1. Koji princip je u osnovi mjerenja količine informacija?
2. Kako se u kibernetičkom pristupu određuje jedinica količine informacija?
3. Šta se uzima kao minimalna jedinica količine informacija u smislu smanjenja nesigurnosti znanja za 2 puta?
4. U kojim slučajevima se koristi Hartleyeva formula?
Praktični rad 3. Izračunavanje količine informacija na osnovu probabilistički pristup
Cilj: poboljšanje vještine određivanja količine informacija na osnovu vjerovatnog pristupa
Kratka teorijska pozadina: vidi praksu 2.
Oprema: didaktički materijali na temu "Utvrđivanje količine informacija"
Redoslijed izvođenja:
Zadatak 1. Postoji samo 20 na jeziku plemena Mumbo-Yumbo različite reči. Koliko bitova je potrebno za kodiranje bilo koje od ovih riječi?
Rješenje.
Prema uslovu zadatka, imamo 20 razne opcije.
Broj bitova informacija potrebnih za postavljanje 20 jednako vjerovatnih (jednako uzetih u obzir) opcija može se izračunati po formuli:
h=log 2 20" 4,32 bita
ili kada se bira dvoznakovna abeceda za kodiranje, dovoljno je sastaviti riječ od 5 bitova.
Zadatak 2. Kuća ima 14 prozora. Kako razni signali Mogu li se prijaviti paljenjem svjetla na prozorima? Koliko bitova informacija nosi svaki takav signal?
Rješenje.
· Svaki prozor nosi 1 bit informacije: uključeno - isključeno.
Broj različitih jednakovjerovatnih signala koji se prenose pomoću 14 bita je 2 14 = 16 384.
· Svaki od 16.384 signala nosi 14 bitova informacija.
2. Riješite sljedeće probleme. Zabilježite rezultat u bilježnicu.
1. U košu su lopte. Sve različite boje. Poruka da je plava lopta izvučena nosi 5 bitova informacija. Koliko lopti ima u korpi?
2. U takmičenju učestvuju 4 ekipe. Koliko informacija ima u poruci da je 3. tim pobijedio?
3. Grupa školaraca je došla na bazen koji ima 4 trake za plivanje. Trener je rekao da će grupa plivati u stazi broj 3. Koliko informacija su učenici dobili iz ove poruke?
4. U kutiji se nalazi 5 plavih i 15 crvenih loptica. Koliko informacija prenosi poruka da je plava lopta izvađena iz kutije?
5. U kutiji se nalaze kocke tri boje: crvena, žuta i zelena, a žutih je duplo više od crvenih i 6 više zelenih od žutih. Poruka da je žuta kocka slučajno izvučena iz kutije sadržavala je 2 bita informacije. Koliko je bilo zelenih kockica?
6. Učenici u grupi uče jedan od tri jezika: engleski, njemački ili francuski, a 12 učenika ne uči engleski. Poruka da nasumično odabrani student Petrov uči engleski nosi log23 bita informacija, a da Ivanov uči francuski - 1 bit. Koliko učenika uči njemački jezik?
7. Sastoji se od 16 automobila, uključujući K - kupe, P - rezervisano sedište i SV - spavanje. Poruka da vaš prijatelj dolazi u NE nosi 3 bita informacije. Koliko je SV vagona u vozu?
8. Studentsku grupu čini 21 osoba koja uči njemački ili francuski jezik. Poruka da učenik A uči njemački nosi log 2 3 bita informacija. Koliko ljudi uči francuski?
9. Koliko informacija prenosi poruka da je broj pogoden u rasponu cijelih brojeva od 684 do 811?
10. Za daljinski prijenos robotu razne ekipe Koriste se 6-bitni signali, a 5-bitni signal nije dovoljan za prijenos svih naredbi. Može li ukupan broj svih naredbi za ovog robota biti jednak:
42 tima? 70 timova?
28 timova? 55 timova?
Šta je najmanji i šta najveći broj može li robot primati komande?
11. Jedanaest drugova iz razreda odlučuje glasanjem gdje će ići nakon škole. Prilikom glasanja svi mogu biti ili „za“ ili „protiv“. Koliko različitih opcija glasanja može postojati? Koliko bitova je potrebno za kodiranje rezultata glasanja?
12. Koliki je minimalni broj bitova informacija potreban za kodiranje svih slova ruskog alfabeta?
13. Prijatelji u susjednim kućama dogovorili su se da jedni drugima šalju poruke u obliku svjetlosnih signala. Koliko će sijalica trebati da kodiraju 10 razne reči?
14. In kompjuterska igra Prepoznato je 65 različitih kontrolnih komandi. Koliko bitova je potrebno u memorijskom bloku za kodiranje svake instrukcije? Da li je dodijeljeno dovoljno bitova za kodiranje 100 komandi?
Test pitanja:
1. Koji su događaji jednako vjerovatni?
2. Navedite primjere iz života jednako vjerovatnih događaja.
3. Koja formula povezuje broj mogućih događaja i količinu informacija?
4. Kako količina informacija zavisi od broja mogućih događaja?
5. Da li je izjava o čemu, čemu veća količina mogućih događaja, što će manje informacija sadržavati poruku o rezultatima eksperimenta.
Obrazložite odgovor.
Praktični rad 4 . Rješavanje problema pomoću Shannon formule
Cilj: sticanje vještine određivanja količine informacija na osnovu vjerovatnog pristupa
Kratka teorijska pozadina:
Stepen neizvjesnosti je jedna od karakteristika slučajni događajšto se zove entropija. Označeno - H (α). Jedinica entropije je nesigurnost sadržana u eksperimentu koji ima dva jednako vjerovatna ishoda. Postoje mnoge situacije u kojima mogući događaji imaju različite vjerovatnoće realizacije. Na primjer, ako novčić nije simetričan (jedna strana je teža od druge), onda kada se baci, vjerovatnoće dobijanja glave i repa će se razlikovati. Formulu za izračunavanje količine informacija u slučaju različitih vjerovatnoća događaja predložio je K. Shannon 1948. godine. U ovom slučaju, količina informacija određena je formulom:
P i log 2 p i , gdje je I količina informacija, N je broj mogućih događaja, p i su vjerovatnoće pojedinačnih događaja. Vjerovatnoća događaja p i =1/N.
Da bismo riješili probleme ovog tipa, moramo znati formulu za izračunavanje vjerovatnoće ishoda. Ona izgleda ovako:
gdje je M vrijednost koja pokazuje koliko puta se neki događaj dogodio, N je ukupan broj mogućih ishoda nekog procesa.
Potrebno je znati da sve vjerovatnoće u procentima iznose jedan ili 100%.
Oprema: didaktički materijali na temu "Utvrđivanje količine informacija".
Redoslijed izvođenja:
Zadatak 1. Odabrano je 16 karata iz špila (sve "slike" i asovi) i stavljene licem nadole na sto. Gornja kartica je okrenuta. Ispostavilo se da je gornja okrenuta karta crna dama. Koliko informacija će biti uključeno u poruku o tome koja je kartica bila na vrhu?
Rješenje.
Kao rezultat izvještavanja o ishodu slučajnog događaja, ne postoji potpuna sigurnost: odabrana karta može imati jednu od dvije crne boje.
Budući da je informacija smanjenje nesigurnosti znanja:
Prije nego što je mapa okrenuta, nesigurnost (entropija) je bila
H1 = log 2 N1, a zatim H2 = log 2 N2.
(štaviše, pod uslovima problema, N1 = 16, i N2 = 2).
Kao rezultat, informacije se izračunavaju na sljedeći način:
I = H1 - H2 = log 2 N1 - log 2 N2 = log 2 N1/N2 = log 2 16/2 = 3 bita.
Zadatak 2. Vjerovatnoća prvog događaja je 0,5, a drugog i trećeg 0,25. Koliko ćemo informacija dobiti nakon implementacije jednog od njih?
Rješenje.
P 1 =0,5; P 2 =P 3 =0,25 Þ bita.
Zadatak 3. Odredite količinu informacija primljenih tokom implementacije jednog od događaja ako se izbace
a) asimetrična tetraedarska piramida;
b) simetrična i jednolična tetraedarska piramida.
Rješenje.
a) Bacićemo asimetričnu tetraedarsku piramidu.
Vjerovatnoća pojedinačnih događaja će biti sljedeća:
tada se količina informacija primljena nakon implementacije jednog od ovih događaja izračunava prema Šenonovoj formuli. čudni događaji:
I = -(1/2 log 2 1/2 + 1/4 log 2 1/4 + 1/8 log 2 1/8 + 1/8 log 2 1/8) = 1/2 + 2/4 + + 3/8 + 3/8 = 14/8 = 1,75 (bit).
b) Sada izračunajmo količinu informacija koja će se dobiti bacanjem simetrične i homogene tetraedarske piramide, tj. jednako vjerovatni događaji:
I = log 2 4 = 2 (bit).
2. Riješite sljedeće probleme. Zabilježite rezultat u bilježnicu.
1. U razredu ima 30 ljudi. Za kontrolni rad iz informatike dobio je 15 petica, 6 četvorki, 8 trojki i 1 dvojku. Koliko informacija sadrži poruka da je Andreev dobio peticu?
2. Neprozirna vrećica sadrži 10 bijelih, 20 crvenih, 30 plavih i 40 zelenih balona. Koliko će informacija sadržavati vizuelna poruka o boji izvučene lopte?
3. Za kontrolni rad iz informatike dobijeno je 8 petica, 13 četvorki, 6 trojki i 2 dvojke. Koliko je informacija Vasečkin dobio kada je dobio svesku za procenu?
4. Poznato je da u kutiji ima 20 loptica. Od toga je 10 crnih, 4 bijele, 4 žute i 2 crvene. Koliko informacija nosi poruka o boji izvučene lopte?
5. U sefu bankara Bogatejeva nalaze se novčanice u apoenima od 1, 10 ili 100 talira. Bankar je otvorio svoj sef i nasumično izvukao jednu novčanicu. Obim informacija poruke "Iz sefa je uzeta novčanica od 10 talira" jednaka je 3 bita. Količina informacija sadržana u poruci "Nije 100 talira uzeto iz sefa" je 3-log25 bita. Odredite količinu informacija vizuelne poruke o apoenu povučene novčanice.
3. Uradite vježbu
Ispod je 11 događaja:
1. Prva muška osoba koju sretnete.
2. Nakon ponedjeljka slijedi utorak.
3. Za kontrolni rad možete dobiti "odličan".
4. Najmlađi sin će se javiti na telefon pet članova porodice.
6. Nakon ljeta, doći će zima.
7. Svaki od 15 učenika koji pohađaju ovu nastavu će se upisati na matematičku specijalnost.
8. Listić broj 777777 će dobiti na lutriji.
9. Bačeni novčić će pasti licem prema dolje.
10. Bacana kocka će rezultirati sa šest bodova.
11. Od nasumično odabranih kartica sa brojevima, odaberite karticu sa brojem 5.
Vježbajte među 11 događaja zapišite brojeve onih koji:
1. Vjerodostojno _________________________________________________
2. Nemoguće ________________________________________________
3. Neograničeno ________________________________________________
4. Među neizvjesnim navedite one koji imaju 2 jednako moguća ishoda ______________________________________________________
5. Rasporedite neizvjesne događaje uzlaznim redoslijedom prema broju jednako vjerovatnih ishoda _______________________________________
6. Imenujte događaj neodređenije __________________________
7. Imenujte događaj manje neizvjesno. ___________________________
8. Uzimajući u obzir zadatke br. 6 i br. 7, utvrditi zavisnost stepena neizvjesnosti od broja jednako vjerovatnih ishoda. ____________________________________________________________
9. Izvucite isti zaključak koristeći koncept vjerovatnoće . ____________________________________________________________
Test pitanja:
1. Koji su događaji?
2. Navedite primjere jednako vjerovatnih i nejednako vjerovatnih događaja?
3. Kako odrediti vjerovatnoću da se određeni događaj desi?
4. Pod kojim događajima se Shanonova formula koristi za određivanje količine informativne poruke?
5. Pod kojim uslovom Hartlijeva formula postaje poseban slučaj Šenonove formule?
Praktični rad 5 . Rješavanje problema za određivanje količine informacija
Cilj: sticanje vještine određivanja količine informacija na osnovu vjerovatnoće i smislenog pristupa
Kratka teorijska pozadina: Kao glavnu karakteristiku poruke, teorija informacija uzima količinu koja se naziva količina informacija. Ovaj koncept ne utiče na značenje i važnost prenesena poruka, ali je u vezi sa stepenom njegove nesigurnosti.
Claude Shannon je odredio količinu informacija putem entropije - veličine poznate u termodinamici i statističkoj fizici kao mjera neuređenosti sistema, i uzeo je ono što je kasnije nazvano bit kao jedinicu količine informacija. Količina informacija po elementu poruke (znaku, slovu) naziva se entropija. Entropija i količina informacija mjere se u istim jedinicama - u bitovima.
Od modernog informacione tehnologije se zasniva na elementima koji imaju dva stabilna stanja, tada se baza logaritma obično bira da bude jednaka dva, tj. entropija se izražava kao: H0 = log 2 m.
AT opšti slučaj količina entropije H proizvoljan sistem X( slučajna varijabla), koji može biti u m različitih stanja x 1 , x 2 , … x m sa vjerovatnoćama p 1 , p 2 , … p m , izračunava se po Šenonovoj formuli.
Oprema: didaktički materijali na temu "Utvrđivanje količine informacija".
Redoslijed izvođenja:
1. Analizirajte primjere rješavanja problema
Zadatak 1. Odredite količinu informacija sadržanih u televizijski signal odgovara jednom okviru skeniranja. Neka u okviru ima 625 redova, a signal koji odgovara jednom redu je niz od 600 impulsa nasumične amplitude, a amplituda impulsa može uzeti bilo koju od 8 vrijednosti sa korakom
Rješenje.
U slučaju koji se razmatra, dužina poruke koja odgovara jednoj liniji jednaka je broju impulsa nasumične amplitude u njoj: n = 600.
Broj elemenata poruke (karaktera) u jednom redu jednak je broju vrijednosti koje amplituda impulsa u liniji može uzeti m = 8.
Količina informacija u jednom redu: I = n log m = 600 log 8, i količina informacija
po okviru: I = 625 I = 625600 log 8 = 1.125 = 106 bita
Zadatak 2. U ciklokrosu učestvuje 119 sportista. Poseban uređaj registruje prolazak svakog od učesnika srednjeg cilja, bilježi njegov broj koristeći minimalni mogući broj bitova, isti za svakog sportaša. Koliki je obim informacija poruke koju je snimio uređaj nakon što je 70 biciklista prošlo međufinišnu liniju?
1) 70 bita 2) 70 bajtova 3) 490 bita 4) 119 bajtova
Rješenje.
1) bilo je 119 biciklista, njih 119 različiti brojevi, odnosno trebamo kodirati 119 opcija;
2) prema tabeli stepena dvojke, nalazimo da je za to potrebno najmanje 7 bita (u ovom slučaju se može kodirati 128 opcija, odnosno još uvek postoji margina); dakle, 7 bita po uzorku;
3) kada 70 biciklista prođe srednji cilj, 70 očitavanja se upisuje u memoriju uređaja;
4) dakle u poruci 70*7 = 490 bita informacije (odgovor 3).
2. Riješite sljedeće probleme. Zabilježite rezultat u bilježnicu.
1. U zoološkom vrtu 32 majmuna žive u dva nastamba, A i B. Jedan od majmuna je albino (sve bele boje). Poruka "Albino majmun živi u kućištu A" sadrži 4 bita informacija. Koliko majmuna živi u ograđenom prostoru B?
2. U korpi su 32 loptice vune, od kojih su 4 crvene. Koliko bitova informacija nosi poruka da je klupko crvene vune izvađeno?
3. Dvoje ljudi igra tic-tac-toe na 4x4 terenu. Koliko informacija je dobio drugi igrač nakon što je naučio potez prvog igrača?
4. U nekoj zemlji broj automobila Sastoji se od 7 znakova velika slova(ukupno 26 slova) i decimalne cifre bilo kojim redoslijedom. Svaki znak je kodiran istim i minimalnim mogućim brojem bitova, a svaki broj je kodiran istim i minimalnim mogućim brojem bajtova. Odredite količinu memorije potrebnu za pohranjivanje 20 registarskih tablica.
5. U ciklokrosu učestvuje 678 sportista. Poseban uređaj registruje prolazak svakog od učesnika srednjeg cilja, bilježi njegov broj koristeći minimalni mogući broj bitova, isti za svakog sportaša. Koliki je obim informacija poruke koju je snimio uređaj nakon što je 200 biciklista prošlo međufinišnu liniju?
Test pitanja:
1. Definirajte entropiju.
2. Kako su povezani koncepti količine informacija i entropije?
3. Koje pristupe određivanju količine informacija poznajete?
4. Koje je značenje svakog od pristupa određivanju količine informacija?
5. Šta se naziva mjerenjem informacija?
6. Koje metode određivanja količine informacija postoje?
7. Definirajte količinu informacija.
Praktični rad 6 . Rješavanje problema za određivanje količine informacija
Cilj: sticanje vještine određivanja količine informacija na osnovu abecednog pristupa
Kratka teorijska pozadina:
Alfabetski pristup zasniva se na činjenici da se bilo koja poruka može kodirati upotrebom konačnog niza simbola neke abecede.
Abeceda je uređeni skup znakova koji se koristi za kodiranje poruka na određenom jeziku.
Moć abecede je broj znakova u abecedi. Binarna abeceda sadrži 2 znaka, njena snaga je dva. Poruke snimljene sa ASCII znakovi, koristite abecedu od 256 znakova. UNICODE poruke koriste abecedu od 65.536 znakova.
Da biste odredili količinu informacija u poruci abecednim pristupom, morate redom riješiti sljedeće probleme:
1. Odredite količinu informacija (i) u jednom simbolu koristeći formulu
2 i = N, gdje je N kardinalnost abecede.
2. Odredite broj karaktera u poruci (m).
3. Izračunajte količinu informacija koristeći formulu: I = i * K.
Količina informacija u cijelom tekstu (I), koji se sastoji od K znakova, jednaka je umnošku težine informacije znaka po ZA:
I = i* TO.
Ova vrijednost je količina informacija teksta.
Informacijske jedinice
Osnovna jedinica mjerenja informacija -bit. 8 bita je 1 bajt. Uz bajtove, veće jedinice se koriste za mjerenje količine informacija:
1 KB = 2 10 bajtova = 1024 bajtova;
1 MB = 2 10 KB = 1024 KB;
1 GB = 2 10 MB = 1024 MB.
1 terabajt (Tb) = 1024 GB = 2 40 bajtova,
1 petabajt (Pb) = 1024 TB = 250 bajtova.
Oprema: didaktički materijali na temu "Utvrđivanje količine informacija".
Redoslijed izvođenja:
1. Analizirajte primjere rješavanja problema i zapišite ih u bilježnicu.
Zadatak 1. Za pisanje teksta korištena je abeceda od 256 znakova. Svaka stranica sadrži 32 reda od 64 znaka po redu. Koliko informacija sadrži 5 stranica ovog teksta?
Rješenje:
N=256, => 2 i = 256, => i=8 bita
k=32*64*5 karaktera
I=i*k=8*32*64*5 bit = 8*32*64*5/8 b = 32*64*5/1024 kb = 10 kb
Zadatak 2. Da li je moguće na jednu disketu staviti knjigu koja ima 432 stranice, a svaka stranica ove knjige ima 46 redova, a svaki red ima 62 znaka?
Rješenje:
Jer mi pričamo o knjizi objavljenoj u u elektronskom formatu, onda imamo posla sa kompjuterskim jezikom. Tada je N=256, => 2 i = 256, => i=8 bita
k = 46*62*432 karaktera
I = i*k = 8*46*62*432 bit = 8*46*62*432/8 b = 46*62*432/1024 kb = 1203,1875 kb = 1,17 Mb
Jer volumen diskete je 1,44 Mb, a volumen knjige 1,17 Mb, tada će stati na disketu.
Zadatak 3. Brzina protoka informacija je 20 bit/s. Koliko minuta će biti potrebno za prijenos informacija od 10 kilobajta.
Rješenje:
t = I/v = 10 kb/ 20 bit/c = 10*1024 bit/ 20 bit/c = 512 c = 8,5 min
Zadatak 4. Laserski štampačštampa prosečnom brzinom od 7 kbps. Koliko će vremena biti potrebno za štampanje dokumenta od 12 stranica ako se zna da na jednoj stranici ima u prosjeku 45 redova, 60 znakova u redu.
Rješenje:
Jer govorimo o dokumentu u elektronskoj formi, spremnom za štampanje na štampaču, onda imamo posla sa kompjuterskim jezikom. Tada je N=256, => 2 i = 256, => i=8 bita
K = 45*60*12 znakova
I = i*k = 8*45*60*12 bit = 8*45*60*12/8 b = 45*60*12/1024 kb = 31,6 kb
t \u003d I / v \u003d 31,6 kb / 7 Kbps \u003d 31,6 * 8 kbps / 7 Kbps \u003d 36 s
Zadatak 5. Automatski uređaj izvršio konverziju informativne poruke na ruskom jeziku, iz Unicode kodiranja, u KOI-8 kodiranje. Gde Najava smanjen za 480 bita. Koja je dužina poruke?
Rješenje:
Volumen od 1 znaka u KOI-8 kodiranju je 1 bajt i in Unicode kodiranje– 2 bajta.
Neka je x dužina poruke, tada I KOI-8 = 1*x b, a I Unicode = 2*x b.
Dobijamo 2*x8 bita - 1*x*8 bita = 480 bita, 8x = 480, x = 60 karaktera u poruci.
2. Riješite sljedeće probleme. Zabilježite rezultat u bilježnicu.
1. Neki alfabet sadrži 128 znakova. Poruka sadrži 10 karaktera. Odredite opseg poruke.
2. Pod pretpostavkom da je jedan znak kodiran sa 8 bita, procijenite količinu informacija sljedeće izreke u KOI-8 kodiranju: Pravi prijatelj bolje od sto sluge.
3. Isti tekst na ruskom je napisan u različitim kodovima. Tekst napisan u 16-bitnom Unicode-u je 120 bita veći od teksta napisanog u 8-bitnom KOI-8. Koliko karaktera sadrži tekst?
4. Koliko gigabajta sadrži 235-bitni fajl?
5. Tekstualni fajl copia.txt je 40960 bajtova. Koliko se ovih datoteka može pohraniti na disk od 5 MB?
6. K tekstualna poruka Veličina 46080 bajtova dodala je sliku od 2,5 MB. Koliko kilobajta informacija sadrži primljena poruka?
7. U abecedi određenog jezika postoje dva znaka X i O. Riječ se sastoji od četiri znaka, na primjer: OOXO, XOOX. Navedite najveći mogući broj riječi na ovom jeziku.
8. Za pisanje teksta korištena je abeceda od 64 znaka. Koliko znakova ima u tekstu ako je njegov volumen 8190 bita?
9. Navedite najveći prirodni broj koji se može kodirati u 8 bita (ako su svi brojevi kodirani uzastopno, počevši od jednog).
10. Neki alfabet sadrži 2 znaka. Poruka zauzima 2 stranice, svaka sa 16 redova, a svaki red sa 32 karaktera. Odredite opseg poruke.
11. Koliko bitova informacija sadrži poruka od 1/4 kilobajta?
12. Pronađite x iz sljedećeg omjera: 8x bita = 16 MB.
13. Bitmap grafička slika u boji sa paletom od 256 boja ima veličinu 64x128 piksela. Koju količinu informacija ima slika?
14. Skladištenje bitmap Veličina 64x128 piksela zauzimala je 4 KB memorije. Koliki je najveći mogući broj boja u paleti slike?
Test pitanja:
1. Kako se informacije mjere u sadržajnom pristupu?
2. Kakav je abecedni pristup određivanju količine informacija?
3. Šta je abeceda? Koja je moć abecede? Koliki je obim informacija?
4. Šta je jednako težina informacija kompjuterska abeceda?
6. Zašto je informativni kapacitet ruskog slova "a" veći od informativnog kapaciteta Englesko pismo?
7. Koje mjerne jedinice informacija postoje?
Praktični rad7 . Sveobuhvatan rad na utvrđivanju količine informacija
Cilj: kontrola vještina za određivanje količine informacija.
Kratka teorijska osnova: vidi praktične radove 1-6.
Oprema: Kontrolni materijali sa DZS-a iz discipline "Osnove teorije informacija"
Redoslijed izvođenja:
· Kompletan TK#1. Test 3. Jedinice mjerenja informacija. U testu morate izabrati samo jedan odgovor od ponuđenih opcija. Test je bolje uraditi samostalno, bez korištenja bilješki, udžbenika i druge pomoćne literature.
· Izvedite PZ#2. Zadaci 1-10.
