Formula informacijske entropije. Entropija diskretnog izvora poruke (IDS) i njegova svojstva

L E K C I Z Broj 29

Tema:

Tekst predavanja o disciplini:"Teorija električne komunikacije"

Kalinjingrad 2012

Tekst predavanja br.30

po disciplini:"Teorija električne komunikacije"

"Osnovni koncepti teorije informacija"

Uvod

Komunikacijski kanali prenose informacije pretvorene u signale.

Kako bi uskladili količinu informacija s kanalom, potrebno je naučiti kako odrediti količinu informacija za prijenos. Bez rješavanja ovog problema nemoguće je izgraditi moderne sustave za prijenos informacija.

Pod pojmom "informacija" razumjeti razne informacije koje dolaze do primatelja. U strožijem obliku, definicija informacije je sljedeća:

Informacija Je li informacija koja je predmet prijenosa, distribucije, pretvorbe, pohrane ili izravne upotrebe.

U budućnosti će nas zanimati samo pitanja vezana uz informaciju kao objekt prijenosa.

Poruka je oblik prezentacije informacija.

Jedna te ista informacija može se prezentirati u različitim oblicima. Na primjer, prijenos glasovne poruke preko telefona ili slike na televizijskom kanalu. U ovom slučaju imamo posla s informacijama prezentiranim u kontinuiranom obliku ( kontinuirana komunikacija). Pretpostavit ćemo da ovu poruku generira izvor kontinuiranih poruka. Ili prenosimo poruku putem telegrafskog kanala, u ovom slučaju govorimo o informacijama predstavljenim u diskretnom obliku ( diskretna poruka). Ovu poruku generira diskretni izvor poruke.

U tehničkim uređajima i sustavima primanje, obrada i prijenos informacija obavlja se pomoću signale.

Signal(od latinskog signum – znak) predstavlja svaki proces koji nosi informaciju.

Signali odražavaju fizičke karakteristike proučavanih objekata i procesa. Pomoću signala informacije se mogu prenositi na kratke i velike udaljenosti. Informacije u obliku signala mogu se obraditi na različite načine, pohraniti, uništiti itd.

Postoji nekoliko vrsta signala: zvuk koje se mogu čuti kada radi policijska sirena; svjetlo prijenos informacija s daljinskog upravljača na TV, i električni.

Glavna razlika između diskretnih i kontinuiranih izvora je kako slijedi. Skup svih različitih poruka koje generira diskretni izvor uvijek je konačan. Stoga je u konačnom vremenskom intervalu broj simbola diskretnog izvora također konačan. Istodobno, broj mogućih različitih vrijednosti zvučnog tlaka (ili napona u telefonskoj liniji), mjerenih tijekom razgovora, čak i tijekom konačnog vremenskog razdoblja, bit će beskonačan.

U našem tečaju ćemo razmotriti prijenos diskretnih poruka.

Informacije sadržane u poruci prenose se od izvora poruke do primatelja putem diskretnog kanala za prijenos poruka (PDS).

Vrsta odašiljenog signala određuje vrstu komunikacijskog kanala.

Pojam informacije, prikaz problema njezina definiranja.

Koliko je informacija sadržano, primjerice, u tekstu romana "Rat i mir", u Rafaelovim freskama ili u ljudskom genetskom kodu? Je li moguće objektivno izmjeriti količinu informacija?

Prilično je teško definirati pojam "količine informacija". Postoje dva glavna pristupa rješavanju ovog problema. Povijesno gledano, nastali su gotovo istovremeno. Krajem 40-ih godina XX stoljeća, jedan od utemeljitelja kibernetike, američki matematičar Claude Shannon razvio je vjerojatnostni pristup do mjerenja količine informacija, a rad na stvaranju računala doveo je do Volumetrijski pristup.

Vjerojatni pristup

Ovaj pristup leži u činjenici da se koncept "količine informacija" temelji na činjenici da se informacija sadržana u poruci može slobodno tumačiti u smislu njezine novosti ili, inače, smanjenja. neizvjesnosti naše znanje o objektu.

Štoviše, koncept “ informacija»Kontakti vjerojatnost provedbu ovog ili onog događaja.

Američki inženjer R. Hartley (1928) smatrao je proces dobivanja informacija izborom jedne poruke iz konačnog unaprijed određenog skupa jednakovjerojatan poruke, a količina informacija sadržanih u odabranoj poruci određena je kao binarni logaritam.

Hartleyeva formula:

Ista formula može se predstaviti drugačije:

Recimo da trebate pogoditi jedan broj iz skupa prirodnih brojeva od jedan do sto. Koristeći Hartleyjevu formulu, možete izračunati koliko je informacija potrebno za ovo:. Odnosno, poruka o točno pogodenom broju sadrži količinu informacija približno jednaku.

Evo primjera jednako vjerojatnih poruka: kad se baci novčić: "pali su repovi", "pale su glave"; na stranici knjige: “broj slova je paran”, “broj slova je neparan”.

Odredimo sada jesu li jednako vjerojatne poruke “žena će prva napustiti zgradu” i “muškarac će prvi napustiti zgradu”. Nemoguće je jednoznačno odgovoriti na ovo pitanje. Sve ovisi o kakvoj je građevini riječ. Ako je ovo, na primjer, metro stanica, onda je vjerojatnost da će prvi izaći s vrata jednaka za muškarca i ženu, a ako se radi o vojnoj vojarni, onda je za muškarca ta vjerojatnost puno veća nego za žena.

Za probleme ove vrste predložio je američki znanstvenik Claude Shannon 1948. godine. druga formula za određivanje količine informacija, uzimajući u obzir moguću nejednaku vjerojatnost poruka u skupu.

Shanonova formula:

Ako su vjerojatnosti su jednaki, onda je svaki od njih jednak , a Shanonova formula postaje Hartleyjeva formula.

Analiza formule pokazuje da što je veća vjerojatnost događaja, to se manje informacija javlja nakon njegove implementacije i obrnuto.

Ako je vjerojatnost (tj. događaj je valjan), količina informacija je ... Ako je vjerojatnost nastanka ili neispunjenja nekog događaja ista, t.j. jednako je , količina informacija koju ovaj događaj nosi sa sobom jednaka je .

To je mjerna jedinica za informacije. Dobila je ime malo.

Ako događaj ima jednako vjerojatni ishodi, kao u igri bacanja novčića ili kocke, tada je vjerojatnost određenog ishoda , a Shanonova formula ima oblik: .

Kao primjer, odredimo količinu informacija povezanih s pojavom svakog znaka u porukama napisanim na ruskom jeziku. Pretpostavit ćemo da se ruska abeceda sastoji od slova i razmak za razdvajanje riječi. Prema Hartleyevoj formuli:

;

(1.4)

Međutim, u riječima ruskog jezika (kao i u riječima drugih jezika) različita se slova nalaze nejednako. Ispod je tablica vjerojatnosti učestalosti korištenja različitih znakova ruske abecede, dobivene na temelju analize vrlo velikih tekstova.

Koristimo se za brojanje Shannon-ova formula; malo. Rezultirajuća vrijednost , kako se moglo očekivati, manji je od ranije izračunatog. Veličina , izračunato prema Hartleyevoj formuli, maksimalna je količina informacija koja može biti po znaku.

stol ... Učestalost slova ruskog jezika

Sjetite se kombinacije najčešće ponavljanih slova ruske abecede SENOVALITR. Ovo znanje koristili su razbijači šifri prilikom otvaranja tajne korespondencije u raznim povijesnim razdobljima.

Slični izračuni mogu se napraviti i za druge jezike, na primjer, koristeći latinicu - engleski, njemački, francuski itd. (različita slova i "razmak").

Zamislite abecedu koja se sastoji od dva znaka i ... Ako pretpostavimo da sa znakovima i u binarnoj abecedi povezane su iste vjerojatnosti njihovog pojavljivanja , tada će količina informacija po jednom znaku u binarnom kodiranju biti jednaka:

;

(1.5)

Dakle, bit se također može definirati kao količina informacija koja sadrži jedan bit binarnog broja (otuda naziv "bit": b inary dig to- binarna znamenka). Drugim riječima, količina informacija (u bitovima) sadržana u binarnoj riječi jednaka je broju binarnih znakova u njoj.

Jedno malo - to je količina informacija koju nosi jedan znak izvora diskretnih poruka u slučaju kada se abeceda izvora sastoji od dva jednako vjerojatna znaka.

Količina informacija jednaka bitovi nazvani bajt.

Možete pisati u osam znamenki različiti binarni cijeli brojevi iz prije ... Ovo je sasvim dovoljno da se u binarnom obliku predstave informacije o ruskom i latiničnom pismu, svim interpunkcijskim znakovima, brojevima iz prije , aritmetičke i algebarske operacije, kao i posebni znakovi (na primjer, § @ $).

Imajte na umu da tvorci računala daju prednost binarnom brojevnom sustavu jer je u tehničkom uređaju najjednostavnije implementirati dva suprotna fizička stanja: neki fizički element koji ima dva različita stanja: magnetiziranje u dva suprotna smjera; uređaj koji propušta ili ne propušta električnu struju; kondenzator, nabijen ili nenabijen, itd.

Pitanje odnosa entropije i informacije raspravljalo se dugo, zapravo, još od vremena kada je formuliran paradoks s "Maxwellovim demonom". Neko vrijeme se problem činio apstraktnim. Sada, međutim, to postaje relevantno, jer se pokazalo da je povezano s sasvim specifičnim pitanjima: kolika je entropija (i energija) plaćanje za informaciju, koje su minimalne veličine informacijske ćelije itd.

Ova pitanja postaju posebno akutna u vezi s biološkim specifičnostima. Prvo, informacijski sustavi u živoj prirodi su male (mikroskopske) veličine. Drugo, funkcioniraju pri normalnoj temperaturi, tj. u uvjetima kada toplinske fluktuacije nisu zanemarive. Treće, u biologiji je pamćenje i pohranjivanje informacija od posebne važnosti. Imajte na umu da su u tehnologiji problemi prijenosa informacija relevantniji; na primjeru optimizacije prijenosa razvijene su glavne odredbe teorije informacija. Manje je pažnje posvećeno pitanjima prijema i pohranjivanja informacija. U biologiji, naprotiv, ova pitanja postaju najvažnija.

Bez pretendiranja na strogu definiciju pojma "informacije", ističemo dva njegova neophodna atributa: 1) informacija pretpostavlja izbor jedne (ili više) opcija od mnogo mogućih, 2) napravljeni izbor mora se zapamtiti. Naglasimo: drugi uvjet – pamćenje informacija – vrlo je važan. Kastler je na to prvi put skrenuo pozornost [P26] 1960. U procesima prijenosa informacija "pamćenje" igra manju ulogu nego u primanju, obradi i pohranjivanju informacija. Doista, odašiljački sustav je dužan zapamtiti informacije samo za vrijeme prijenosa, koje u načelu može biti kratko. U biologiji, s druge strane, uvjet za dugotrajno pamćenje igra važnu ulogu.

Količina informacija naziva se količina

gdje je ukupan broj mogućih opcija, broj odabranih opcija. Količina informacija je različita od nule ako se zna da je iz nekog razloga implementirana jedna od apriornih opcija (ali se ne zna koja). Ovaj broj je maksimalan ako se zna da je implementirana (odabrana) jedna određena opcija. Količina ako

Ništa se ne zna. Baza logaritma (tj. binarni sustav) odabrana je radi praktičnosti; jedinica informacije u ovom sustavu je jedan bit; odgovara izboru jedne opcije od dvije moguće.

Izraz (12.8) lako se generalizira na slučaj kada se a priori N varijanti mogu realizirati s vjerojatnostima i a posteriori se realiziraju s vjerojatnostima tada

Odabir ili provedba stražnjih varijanti može se izvršiti na dva različita načina; bilo kao rezultat djelovanja vanjskih sila – u ovom slučaju govore o primanju informacija iz drugog (vanjskog) sustava, ili spontano, kao rezultat nestabilnog ponašanja samog sustava – u ovom slučaju rođenje (nastanak) novih informacija.

Informacijski sustav bi trebao biti sposoban: a) primati informacije, b) pohranjivati ​​ili, što je isto, memorirati informacije, c) izdavati informacije u interakciji s drugim, prihvaćačem u odnosu na sustav koji se razmatra. Iz toga proizlazi da informacijski sustav mora biti multistacionaran.

Broj stabilnih stacionarnih stanja određuje informacijski kapacitet, tj. maksimalnu količinu informacija koju sustav može primiti:

Sustav mora biti disipativan. To znači da su realni dijelovi svih karakterističnih brojeva stacionarnih stanja negativni; ovo je preduvjet za pamćenje informacija. Primjer takvog sustava je kineski bilijar. To je lopta na dasci sa stranicama, rupama i iglama. Pripadnost lopte određenoj rupi je informacija o stanju sustava.

Na mikroskopskoj (molekularnoj) razini problem projektiranja informacijskog sustava postaje netrivijalan. Prvo, u multistacionarnom sustavu svaka od faznih putanja nalazi se samo u određenom dijelu faznog prostora (u području privlačenja danog stanja). Cijeli fazni volumen nije dostupan za svaku od putanja. To znači da informacijski sustav nije potpuno ergodičan i termodinamički ravnotežan. Trebali bi postojati namjenski stupnjevi slobode koji dugo zadržavaju svoje vrijednosti i ne ponavljaju sve moguće.

Objasnimo to na primjeru kineskog bilijara. Ovdje istaknuti stupnjevi slobode su koordinate lopte. Promjena x i y ograničena je na rubove rupa; lopta se ne može pomaknuti u drugu rupu bez vanjskih smetnji. Pri čemu

drugi stupnjevi slobode povezani s vibracijama atoma i lopte i daske mogu (i trebaju i dalje biti) ergodični.

Drugo, uvjet disipativnosti, kao što smo vidjeli, povezan je s nestabilnošću (a time i kaosom) mikroskopskih kretanja. To znači da odgovarajući stupnjevi slobode moraju biti ergodični. Dakle, fazni prostor informacijskog sustava treba stratificirati na ergodičke i dinamičke podsustave. Međutim, takva stratifikacija ne može se provesti apsolutno strogo, različiti stupnjevi slobode uvijek su međusobno povezani. To se očituje u činjenici da dinamički (informacijski) stupnjevi slobode fluktuiraju i postoji određena vjerojatnost njihove radikalne promjene (na primjer, bacanje lopte u drugu rupu) pod utjecajem ergodičkog podsustava (tj. toplinskih fluktuacija) .

U makroskopskim informacijskim sustavima ta je vjerojatnost zanemariva, ali se u mikroskopskim sustavima mora uzeti u obzir. Dakle, uvjeti multistacionarnosti i disipativnosti ne mogu biti ispunjeni istovremeno apsolutno striktno; oni su izborni. To znači da uvjet “pamćenja” ne može biti apsolutan; može se govoriti samo o pamćenju s određenom vjerojatnošću za određeno (ne beskonačno dugo) vrijeme. Drugim riječima, informacijski sustav ne može zauvijek pamtiti. U stvarnim informacijskim sustavima karakteristično vrijeme memorisanja ovisi o njihovom dizajnu, temperaturi i slobodnoj energiji.

U svjetlu navedenog, pokazalo se da pitanje odnosa entropije i informacije nije trivijalno. Fizička entropija je logaritam faznog volumena koji je dostupan za sustav (uzimajući u obzir konvencionalnost ovog koncepta - vidi gore), mjeren u jedinicama gdje je broj stupnjeva slobode i veličina minimalne (kvantne) ćelije faze prostor. Formalno, entropija se može predstaviti kao

Količina je entropija, mjerena u bitovima; broj ćelija u faznom prostoru. S druge strane, informacijski kapacitet može se zapisati u obliku

gdje je veličina faznog prostora jedne informacijske ćelije. Usporedba formula (12.11) i (12.12) pokazuje da se entropija i informacija razlikuju i po koeficijentu i po veličini ćelije.

Podudarnost oblika (12.11) i (12.12) poslužila je kao osnova za tvrdnju o istovjetnosti pojmova informacije i entropije. Točnije, tvrdi se da entropiji nedostaje informacija o stanju sustava i (ili) informaciji nedostaje entropija, odnosno razlika između maksimalne entropije koja

bi imao sustav bez informacija, i stvarnu entropiju koju sustav ima, posjedujući primljenu informaciju. U tom smislu se koristi izraz neoentropija, koji se smatra identičnim informaciji.

Mnogi, međutim, nisu zadovoljni ovim izjavama, a pitanje odnosa između informacije i entropije ostaje kontroverzno.

Razmotrimo to pitanje detaljnije.

Prije svega, upečatljiva je velika kvantitativna razlika između informacija sadržanih u sustavu i njegove entropije.

Blumenfeld (vidi [P61) na brojnim biološkim primjerima (stanica, organizam, itd.) je pokazao da je entropija sadržana u objektu mnogo puta (nekoliko redova veličine) veća od informacija koje su mu dostupne. Razlika je još veća u suvremenim neživim informacijskim sustavima (primjerice, u tiskanom tekstu entropija premašuje informaciju oko 1010 puta).

Ovako velika kvantitativna razlika nije slučajna. To je povezano s činjenicom da je volumen faznog prostora informacijske ćelije velik u usporedbi s vrijednošću potonje zbog činjenice da informacijska ćelija mora sadržavati ergodični podsustav i stoga zauzima veliku (u usporedbi s jediničnom ćelijom) volumen.

Dakle, razlika u ljestvici entropije i informacija nije slučajna, već je povezana s njihovom temeljnom razlikom. Entropija je mjera skupa onih stanja sustava u kojima bi sustav trebao zaboraviti biti; informacija je mjera skupa onih stanja u kojima sustav mora zapamtiti da se nalazi.

Pogledajmo kako su promjene entropije i informacija povezane na primjeru kineskog bilijara. Ograničimo naše razmatranje na životni vijek sustava. Činjenica je da se svaki informacijski sustav, budući da je neravnotežan, opušta i urušava prema strukturnim stupnjevima slobode, odnosno prestaje biti informacijski.

Vrijeme strukturne relaksacije veće je (ili jednako) vremenu memorisanja. U našem primjeru govorimo o spontanom razaranju barijera između rupa; karakteristično vrijeme ovog procesa je dovoljno dugo. Tijekom tog vremena, strukturni stupnjevi slobode se ne mijenjaju, dakle, ne doprinose entropiji. (Dio faznog prostora koji je povezan s ovim stupnjevima slobode je trenutno nedostupan.) U ovom slučaju, entropija je povezana samo sa stupnjevima slobode, koji se brzo opuštaju. Njihovo ponašanje ne ovisi o tome u kojoj se rupi nalazi loptica i je li postavljena u neku rupu ili leži blizu nje. Fizička entropija sustava jednaka je u svim slučajevima, ali je količina informacija različita: jednaka je nuli ako lopta nije postavljena u rupu i jednaka ako leži u određenoj rupi.

Proces primanja informacija (u našem slučaju stavljanje lopte u određenu rupu) zahtijeva utrošak rada koji se pretvara u toplinu (inače prijem ne bi bio nepovratan). Posljedično, nakon prijema, fizička entropija sustava raste (za iznos i istovremeno

informacija se povećava (za iznos Obično, ali inače nisu ni na koji način povezani. Dakle, pri primanju informacija omjer se ne promatra.

Situacija je nešto složenija u slučaju pojave novih informacija. Sustav sposoban generirati informaciju mora imati sva svojstva informacije i, osim toga, zadovoljiti uvjet: određeni sloj njegovog faznog prostora mora biti zgodic, uključujući odabrane (informacijske) stupnjeve slobode. U tom se slučaju postavljaju početni uvjeti za spontano stvaranje informacija.

Primjer je isti kineski bilijar s iglama. Ako je isprva kinetička energija lopte dovoljno velika (više prepreka između rupa), tada se loptica kreće po ploči bez da se zaglavi u rupama. Zbog nestabilnosti refleksije od ukosnica (oni igraju ulogu konkavnih ploha u sinajskom biljaru, slika 12.2), gibanje lopte je stohastično i početni uvjeti se brzo zaboravljaju. Kada se kinetička energija smanji (zbog disipativnosti sustava, u ovom slučaju zbog trenja i sudara) na vrijednost reda visine barijere, lopta pada u područje privlačenja jedne od rupa i ostaje u tome. Tako se odabrano stanje "pamti", što je rađanje informacija. Isti princip se koristi u ruletu i drugim automatima za igre na sreću.

U svim tim slučajevima kriterij odvajanja ergodičkog sloja početnih uvjeta od informacijskog sloja je vrijednost početne slobodne energije (kod biljara to je kinetička energija lopte). Također određuje povećanje entropije sustava u procesu generiranja informacija. Procijenimo vrijednost Ako je informacijski kapacitet sustava mali: tada je glavno ograničenje odozdo uvjet gdje je barijera između rupa. Barijere određuju vrijeme "pamćenja" prema omjeru

Za dovoljno veliku (makroskopsku) vrijednost c, barijera je

Dakle, u ovom slučaju, povećanje entropije po jednom bitu informacije je jednako

ili u informacijskim jedinicama:

U slučaju kada je informacijski kapacitet velik (odnosno, mora se uzeti u obzir još jedan uvjet: prije nego što se određeno stanje "odabere", sustav mora barem jednom posjetiti područje utjecaja svakog od mogućih stanja .

Neka se energija rasprši tijekom prolaska svakog od stanja. Minimalna vrijednost je reda energije toplinskih fluktuacija: U ovom slučaju ograničena je odozdo uvjetom

U ovom slučaju, povećanje entropije po bitu informacije je jednako

Dakle, u slučaju da se informacija pojavi, potrebno ju je "platiti" povećanjem entropije, tako da se, međutim, ne odvijaju odnosi tipa "povećanje informacija jednako je smanjenju entropije". ni u ovom slučaju.

Razgovarajmo o situaciji koja nastaje ako napustimo uvjet pohranjivanja informacija. U ovom slučaju možemo govoriti o informacijama o trenutnim vrijednostima koordinata i impulsa svih atoma u sustavu. Kako bi razlikovao ovu "informaciju" od stvarne (pamćene), Lizer je predložio pojam mikroinformacija, a memorirana informacija se naziva makroinformacija.

Ako je poznato da se u datom trenutku sustav nalazi u jednoj (od mogućih) određene ćelije faznog prostora, tada je količina mikroinformacija maksimalna i jednaka je

U ovom slučaju, entropija sustava jednaka je nuli, budući da se sve ostale ćelije u ovom trenutku mogu smatrati "nedostupnim".

Ako je poznato da se u datom trenutku sustav nalazi u nekoj od mogućih ćelija, ali se ne zna u kojoj, tada je mikroinformacija jednaka nuli, a entropija je maksimalna i jednaka je

Ako se zna da se u ovom trenutku sustav nalazi u jednoj (bilo kojoj) ćeliji, onda

i postoji jednostavan odnos između mikroinformacija i entropije:

Mikroinformacije se u principu mogu pretvoriti u makroinformacije tako što ih prima drugi informacijski sustav. Na primjer, fotografiranjem uzorka Brownovog gibanja, trenutne koordinate čestica mogu se uhvatiti (zapamtiti) na fotografskom filmu. Te se informacije tada mogu koristiti za bilo koje (čak i one koje se ne odnose na kretanje čestica)

ciljeve. Važno je da se u tom slučaju u procesu prijema (transformacije mikroinformacija u makro-) mora utrošiti rad i povećati entropija cijelog sustava za iznos koji očito premašuje količinu pohranjenih informacija.

Upravo taj proces - transformacija mikro-informacija u makro-informaciju i njihova upotreba za kontrolu - leži u osnovi paradoksa s "Maxwellovim demonom". Njegovo je rješenje da proces primanja mikroinformacija i korištenja istih za kontrolu prati povećanje entropije cijelog sustava/nadmašujuća informacija.

U vezi s tako značajnom razlikom između mikro i makro informacija također se koriste dva koncepta entropije. Uz fizičku entropiju koristi se informacijska entropija koja se definira kao

gdje je broj stacionarnih stabilnih makrostanja, za koje se zna da se sustav nalazi u jednom od njih (ali se ne zna u kojem).

Prema definiciji, informacijska entropija povezana je s informacijom omjerom

Povećanje informacija (uz njihovo zadržavanje uvijek je popraćeno jednakim smanjenjem informacijske entropije. Izraz Informacijska entropija prikladan je za korištenje kada je riječ o nastanku informacija i uređenju sustava. Upravo se u tom smislu koristi u Poglavlje 2. Naglašavamo da s fizičkom entropijom ova veličina, općenito govoreći, nije povezana.

Dakle, osnova za razliku između fizičke entropije i informacije (i kvalitativno i kvantitativno) je uvjet memorisanja i rezultirajući veliki volumen faznog prostora informacijske ćelije u usporedbi s elementarnim.

Zanimljivo je procijeniti veličinu "zaliha". Teško je to sada učiniti općenito. Može se, međutim, misliti da je optimalna veličina ostvarena u živoj prirodi (odnosno minimalna, ali zadovoljava zahtjeve). Može se procijeniti korištenjem stvarnih podataka.

U molekuli DNA, stanica koja sadrži dva bita informacije je par komplementarnih nukleotida. Sadrži oko atoma. Entropija povezana s vibracijskim stupnjevima slobode je bit, ili entropija po bitu informacije je oko 60 bita. Dakle, volumen faznog prostora po bitu je jednak

Napomena: Uvodi se pojam entropije. Nekoliko primjera pokazuje kako se izračunava entropija diskretne slučajne varijable. Uvodi se koncept prefiksnog kodiranja. Zadaci za samostalno učenje poboljšavaju percepciju gradiva. Također mnogo različitih matematičkih studija

Entropija d.s.c. je minimum prosječnog broja bitova koji se trebaju prenijeti komunikacijskim kanalom o trenutnoj vrijednosti danog d.s.v.

Razmotrimo primjer (utrke konja). U utrci sudjeluju 4 konja s jednakim izgledima za pobjedu, t.j. vjerojatnost pobjede svakog konja je 1/4. Hajde da predstavimo d.s.v. jednak broju pobjedničkog konja. ovdje . Nakon svake utrke bit će dovoljno komunikacijskim kanalima prenijeti dva bita informacije o broju pobjedničkog konja. Kodiramo broj konja na sljedeći način: 1-00, 2-01, 3-10, 4-11. Ako uvedete funkciju koja vraća duljinu poruke koja kodira zadanu vrijednost, tada m. je prosječna duljina poruke kodiranja. Može se formalno definirati kroz dvije funkcije, gdje je svaka vrijednost povezana s nekim bitnim kodom, štoviše, jedan prema jedan, i vraća duljinu u bitovima za bilo koji određeni kod. U ovom primjeru .

Sada neka d.s.v. ima sljedeću distribuciju

Oni. konj broj 1 je favorit. Zatim

Kodirajmo brojeve konja: 1-0, 2-10, 3-110, 4-111, t.j. tako da svaki kod nije prefiks drugog koda (takvo se kodiranje naziva prefiksno kodiranje). U prosjeku u 16 utrka 1. konj mora pobijediti njih 12, 2. u 2., 3. u 1. i 4. u 1. Dakle, prosječna duljina poruke o pobjedniku jednaka je bitovima / sim ili m. O. ... Doista, sada je dana sljedećom distribucijom vjerojatnosti:,,. Stoga,

Tako, .

Može se dokazati da ne postoji učinkovitije kodiranje za dva razmatrana slučaja.

Što Shannon entropija odgovara intuitivnoj ideji mjere informacije, može se pokazati u eksperimentu za određivanje prosječnog vremena mentalnih reakcija. Pokus se sastoji u tome da se ispred ispitivane osobe upali jedna od svjetiljki, što ona mora naznačiti. Provodi se veliki niz testova u kojima svaka žarulja svijetli s određenom vjerojatnošću. , gdje je broj žarulje. Ispada da je prosječno vrijeme potrebno za točan odgovor subjekta proporcionalno vrijednosti entropije , a ne broj žarulja, kako bi se moglo pomisliti. U ovom eksperimentu pretpostavlja se da što više informacija osoba dobije, to će biti dulje vrijeme obrade i, sukladno tome, reakcija na nju.

Vježba br. 13 Pronađite entropiju d.s.v. i prosječna duljina svakog od zadanih kodova za ovaj d.s.v.

Vježba br. 14 d.s.c. jednak je broju "grbova" ispuštenih na dva savršena novčića. Pronađite entropiju. Smislite minimalni kod za, izračunajte njegovu prosječnu duljinu i opravdajte njegovu minimalnost.

Vježba 15 d.s.c. dano distribucijom, Pronađite entropiju ovog d.s.v. Smislite minimalni kod za, izračunajte njegovu prosječnu duljinu i opravdajte njegovu minimalnost.

Vježba br. 16 O d.s.v. poznato je da su njegova značenja ćirilična slova. Napravljeno je niz uzastopnih mjerenja čiji je rezultat "TEORIJA INFORMACIJE". Na temelju ovog rezultata izraditi približni zakon distribucije vjerojatnosti ovog d.s.v. i procijeniti minimalnu prosječnu duljinu kodova za.

Semantičke informacije

50-ih godina XX. stoljeća pojavili su se prvi pokušaji da se odredi apsolutni informativni sadržaj rečenica prirodnog jezika. Vrijedi napomenuti da je sam Shannon jednom prilikom primijetio da značenje poruka nema nikakve veze s njegovom teorijom informacija, koja je u potpunosti izgrađena na odredbama teorije vjerojatnosti. Ali njegov način preciznog mjerenja informacija sugerirao je mogućnost postojanja načina za točno mjerenje informacija općenitije vrste, na primjer, informacija iz rečenica prirodnog jezika. Primjer jedne od takvih mjera je funkcija, gdje je rečenica čiji se semantički sadržaj mjeri, -

MEĐUSOBNA POVEZANOST ENTROPIJE I INFORMACIJE. Prvu strogu definiciju informacije dao je američki znanstvenik K. Shannon 1948. Definirao ju je kao mjeru smanjenja neizvjesnosti, t.j. odabir potrebnih elemenata iz određenog skupa njih. To je značilo i nesigurnost znanja o objektima i neizvjesnost samog objekta. Drugim riječima, u ovom shvaćanju, informacija je informacija koja uklanja nesigurnost koja je postojala prije nego što je primljena. Uz probabilističko-statistički pristup može se dati još jedna definicija informacija temeljena na kombinatorici. Ovim pristupom, koji je 1956. predložio engleski neurofiziolog W. Ashby, informacija se ne definira kao eliminacija nesigurnosti, već kao eliminacija uniformnosti, identiteta. Mjera količine informacija u ovom slučaju je stupanj raznolikosti elemenata sustava ili informacija o njemu. Mjerna jedinica količine informacija je bit, što odgovara izboru jednog od dva jednako moguća stanja ili dvije jednako moguće vjerojatnosti. Informacija ima svojstvo aditivnosti: ukupna količina informacija potrebna za rješavanje dva problema jednaka je zbroju zasebnih informacija. Stoga, ako je zadan broj jednako vjerojatnih ishoda problema, tada je informacija proporcionalna prirodnom logaritmu tog broja.

Iz termodinamike je poznato da je mjera nedostatka informacija o određenom fizičkom sustavu entropija. Očigledni paralelizam definicija informacije i entropije omogućio je L. Brillouinu da uspostavi vezu između informacije i odgovarajućeg smanjenja entropije. Kako bi uklonio znak minus iz formule koja odražava ovu vezu, Brillouin je uveo novi pojam - negentropija ili negativna entropija. Tako je formuliran princip negentropije informacija, koji se može smatrati generalizacijom Carnotovog principa - drugog zakona termodinamike: u svim stvarnim procesima informacija degradira, a negentropija opada.

No, treba napomenuti da je analizu matematičkog odnosa između entropije i informacije Brillouin proveo samo za slučaj mikroinformacije, koja se odnosi na procese na molekularnoj razini. Nema razloga širiti njegovu formulu na slučaj makroinformacija. Pogreška je naknadno prerasla do razine filozofskih generalizacija.

Što se tiče definicije makroinformacije, zgodno je koristiti definiciju koju je predložio G. Kastler: informacija je nasumično zapamćen izbor opcija između mogućih i jednako vjerojatnih. Ova definicija u biti nadilazi okvire klasične racionalnosti: sa stajališta mehaničkog pristupa, kretanje se ne može realizirati u alternativnim opcijama, između njih nema slobode izbora.

Zahtjev za pamćenjem informacija uključen u Kastlerovu definiciju znači da govorimo o neravnotežnom sustavu, budući da ravnotežni sustav ima jedno stanje i ne može zapamtiti ništa. Naprotiv, neravnotežni sustav sposoban tvoriti disipativne strukture opisane sinergijom posjeduje tu sposobnost.

Definicija informacije, prema Kastleru, ne iscrpljuje semantičko bogatstvo ovog pojma. Zbog višeznačne prirode ovog pojma, njegova opća znanstvena definicija još uvijek nije odsutna. Prema N.N. Moisejev, takva definicija teško da je uopće moguća.

Jedan od važnih aspekata informacija je informacijsko bogatstvo signala. Tokovi energije i tvari održavaju stanje sustava, a tokovi informacija koje nose signali kontroliraju ga i organiziraju njegovo funkcioniranje. Signali mogu izvršiti ovu funkciju ako sadrže tekst bogat informacijama koji se može dekodirati u sustavu za primanje. Termodinamička entropija u procesima prijenosa informacija prirodno raste.

Kada se razmatraju problemi V.E. i i. Zbog ovih poteškoća često se susreću pogrešni filozofski i metodološki iskazi: a) informacija je jedno od svojstava materije, sveprisutna je i sadržana je u svakom materijalnom objektu; b) postoje dvije međusobno komplementarne karakteristike stvarnih pojava – negentropija, odnosno informacija, kao mjera uređenosti i entropija kao mjera nereda.

Prva tvrdnja proturječi shvaćanju informacije kao procesa, a druga je posljedica pokušaja da se Brillouinovo načelo negentropije proširi na slučaj makroinformacije.

Naravno, svaki proces dobivanja makroinformacija povezan je s promjenom entropije. Međutim, odnos među njima je najčešće nejasan, au mnogim slučajevima i nelinearan. Nema razloga govoriti o postojanju određene kvantitativne veze između informacija koje se odnose na određeni sustav i promjene entropije tog sustava.

Književnost:

I. V. Melik-Gaikazijan Informacijski procesi i stvarnost. M., 1957.

Rječnik filozofskih pojmova. Znanstveno izdanje profesora V.G. Kuznjecova. M., INFRA-M, 2007., str. 80.

Kako možemo mjeriti informacije u događaju? Koliko nam informacija donosi događaj? Odgovorimo na ova pitanja primjerima.

Primjer F.1

Zamislite osobu koja sjedi u sobi. Gledajući kroz prozor, jasno vidi da sunce sja. Ako u ovom trenutku dobije poruku (događaj) od susjeda koji kaže "Dobar dan", sadrži li ova poruka bilo kakvu informaciju? Naravno da ne! Osoba je već sigurna da je ovo dan i da je vrijeme dobro. Komunikacija ne umanjuje nesigurnost njegovog znanja.

Primjer F.2

Zamislite da je osoba kupila srećku. Ako prijatelj nazove da kaže da je osvojio prvu nagradu, sadrži li ova poruka (događaj) informacije? Naravno da! Poruka sadrži puno informacija jer je vjerojatnost osvajanja prve nagrade vrlo mala. Primatelj poruke je šokiran.

Gornja dva primjera pokazuju da postoji odnos između korisnosti događaja i očekivanja primatelja. Ako se primatelj ukloni sa scene kada se događaj dogodi, poruka sadrži puno informacija; inače nije. Drugim riječima, informativni sadržaj poruke obrnuto je povezan s vjerojatnošću da će se poruka pojaviti. Ako je događaj vrlo vjerojatan, ne sadrži nikakve informacije (Primjer F.1); ako je malo vjerojatno, sadrži puno informacija (Primjer F.2).

F.2. Entropija

Pretpostavimo da je S distribucija vjerojatnosti konačnog broja događaja (vidi Dodatak D). Entropija ili nesigurnost u S može se definirati kao:

gdje je mogući rezultat jednog testa. Imajte na umu da ako. P (s) = 0, tada ćemo pretpostaviti da je P (S) x jednak 0 kako bismo izbjegli dijeljenje s 0.

Primjer F.3

Pretpostavimo da bacamo ispravan novčić. Rezultati su glava i rep, svaki s vjerojatnošću 1/2, što znači

H (S) = P (glave) x + P (repovi) x H (S) = (1/2) x = 1 bit

Ovaj primjer pokazuje da nam rezultat bacanja ispravnog novčića daje 1 bit informacije (neizvjesnost). Svaki put kad bacamo, ne znamo kakav će biti ishod, budući da su dvije mogućnosti jednako vjerojatne.

Primjer F.4

Pretpostavimo da bacamo krivi (oštećeni) novčić. Rezultati pada "glava" i "repova" su sljedeći: P ("glave") = 3/4 i P ("repovi") = 1/4. To znači da

H (S) = (3/4) x + (1/4) x = 0,8 bita

Ovaj primjer pokazuje da nam rezultat bacanja krivog novčića daje samo 0,8 bita informacije (neizvjesnost). Količina informacija ovdje manje od količina informacija u primjeru F.3, jer očekujemo da ćemo dobiti glave više puta nego repove.

Primjer F.5

Sada pretpostavimo da bacamo potpuno pogrešan novčić u kojem je rezultat uvijek "glave", P ("glave") = 1 i P ("repovi") = 0. Entropija u ovom slučaju

H (S) = (1) x + (0) x = (1) x (0) + (0) = 0

U ovom eksperimentu nema informacija (neizvjesnosti). Znamo da će rezultat uvijek biti “glave”; entropija - 0.

Maksimalna entropija

Može se pokazati da za distribuciju vjerojatnosti s n mogućih ishoda, maksimalna entropija se može postići samo ako su sve vjerojatnosti jednake (svi ishodi su jednako vjerojatni). U ovom slučaju, maksimalna entropija

H max = log 2 n bita

Drugim riječima, entropija bilo kojeg skupa vjerojatnosti ima gornju granicu, koja je određena ovom formulom.

Primjer F.6

Pretpostavimo da bacate šesterokutnu kocku. Entropija testa je

Minimalna entropija

Može se pokazati da za distribuciju vjerojatnosti s n mogućih rezultata, minimalna entropija se dobiva ako i samo ako se jedan od rezultata dobiva cijelo vrijeme. U ovom slučaju, minimalna entropija

H min (S) = 0 bita

Drugim riječima, ova formula definira donju granicu entropije za bilo koji skup vjerojatnosti.

Entropija bilo kojeg skupa vjerojatnosti je između 0 bit i log 2 n malo gdje n - broj mogućih rezultata.

Tumačenje entropije

Entropija se može smatrati brojem bitova koji mogu predstavljati svaki ishod iz skupa vjerojatnosti, kada su ishodi jednako vjerojatni. Na primjer, kada moguća slučajna distribucija ima osam mogućih ishoda, svaki se ishod može predstaviti kao tri bita (000 do 111). Kada dobijemo rezultat eksperimenta, možemo reći da smo dobili 3 bita informacije. Entropija ovog skupa vjerojatnosti je također 3 bita (ln 2 8 = 3).

Zajednička entropija

Kada imamo dva skupa distribucija vjerojatnosti, S 1 i S 2, možemo definirati zajedničku entropiju H (S 1, S 2) kao

Uvjetna entropija

Često moramo znati nesigurnost distribucije vjerojatnosti S 1, pod uvjetom da se dobije rezultat, koji je određen nesigurnošću distribucije vjerojatnosti S 2. Zove se uvjetna entropija H (S 1 | S 2). Može se dokazati da

H (S 1 | S 2) = H (S 1, S 2) - H (S 2) bit

Ostali omjeri

Ovdje, bez dokaza, predstavljamo neke druge relacije za entropiju:

1. H (S 1, S 2) = H (S2 | S 1) + H (S 1) = H (S 1 | S 2) + H (S2)
2. H (S 1, S 2)<= H (S 1) + H (S2)
3. H (S 1 | S 2)<= H (S 1)
4. H (S 1, S2, S3) = H (S 1 | S2, S3) + H (S 1, S3)

Druga i treća relacija vrijede ako su S 1 i S 2 statistički neovisni.

Primjer F.7

U kriptografiji, ako je P distribucija vjerojatnosti izvornog teksta, C je distribucija vjerojatnosti šifriranog teksta, a K je distribucija vjerojatnosti ključeva, tada se H (K | C) može tumačiti kao složenost napada šifriranim tekstom , u kojem znanje o C može dovesti do znanja o K.

Primjer F.8

U kriptografiji, s obzirom na izvorni tekst i ključ, deterministički algoritam šifriranja stvara jedinstveni šifrirani tekst, što znači H (C | K, P) = 0. Također s obzirom na šifrirani tekst i algoritam za dešifriranje ključa, generira se jedinstveni izvorni tekst, što znači H (P | K, C) = 0. Ako se daju šifrirani i izvorni tekst, ključ je također jednoznačno određen: H (K | P, C) = 0.

Savršena tajnost

U kriptografiji, ako su P, K i C prostori za uzorkovanje vjerojatnosti izvornog teksta, šifriranog teksta i ključa, tada imamo H (P | C)<=H (P) . Это может быть интерпретировано так: неопределенность P данного C меньше или равна неопределенности P . В большинстве криптографических систем, справедливо отношение H (P|C)< H (P) , что означает, что перехват зашифрованного текста уменьшает знание, которое требуется для того, чтобы найти исходный текст. Криптографическая система обеспечивает savršena tajnost ako se promatra relacija H (P | C) = H (P), to znači da je nesigurnost izvornog teksta i zadanog šifriranog teksta ista nesigurnost izvornog teksta. Drugim riječima, Eva ne prima nikakvu informaciju presretnuvši šifrirani tekst; ona još mora istražiti sve moguće opcije.

Kriptografski sustav pruža savršenu tajnost ako H (P | C) = H (P).

Primjer F.9

U prethodnim predavanjima smo to tvrdili jednokratnašifra notes pruža savršenu privatnost. Dokažimo ovu činjenicu koristeći prethodne entropijske odnose. Pretpostavimo da je abeceda samo 0 i 1. Ako je duljina poruke L, može se dokazati da se ključ i šifrirani tekst sastoje od 2 L znaka, u kojima je svaki znak jednako vjerojatan. Dakle, H (K) = H (C) = log 2 2 L = L. Koristeći relacije dobivene u primjeru F.8 i činjenicu da je H (P, K) = H (P) + H (K) jer su P i K neovisni, imamo

H (P, K, C) = H (C | P, K) + H (P, K) = H (P, K) = H (P) + H (K) H (P, K, C) = H (K | P, C) + H (P, C) = H (P, C) = H (P | C) + H (C)

To znači da je H (P | C) = H (P)

Primjer F.10

Shannon je pokazao da u kriptografskom sustavu, ako (1) ključevi nastaju s jednakom vjerojatnošću i (2) postoji jedinstveni ključ za svaki izvorni tekst i svaki šifrirani tekst, tada kriptografski sustav pruža savršenu tajnost. Dokaz koristi činjenicu da su u ovom slučaju distribucije vjerojatnosti ključeva, izvornog teksta i šifriranog teksta iste veličine.

F.3. Entropija jezika

Zanimljivo je povezati koncept entropije s prirodnim jezicima kao što je engleski. U ovom dijelu dotičemo se nekih točaka povezanih s entropijom jezika.

Entropija proizvoljnog jezika

Pretpostavimo da jezik koristi N slova i da sva slova imaju jednaku vjerojatnost pojavljivanja. Možemo reći da je entropija ovog jezika H L = log 2 N. Na primjer, ako koristimo dvadeset i šest velikih slova (A do Z) za prenošenje naše poruke, tada