Formula entropije informacija. Entropija diskretnog izvora poruke (DSS) i njegova svojstva

L E K T I O N br. 29

Predmet:

Tekst predavanja iz discipline:„Teorija električna komunikacija»

Kalinjingrad 2012

Tekst predavanja br. 30

po disciplini:"Teorija električne komunikacije"

"Osnovni koncepti teorije informacija"

Uvod

Komunikacijski kanali prenose informacije pretvorene u signale.

Da biste uskladili količinu informacija sa kanalom, potrebno je naučiti kako odrediti količinu informacija koja će se prenijeti. Bez rješavanja ovog problema nemoguće je graditi savremeni sistemi prijenos informacija.

Pod terminom "informacije" razumeti razne informacije, koji stižu do primaoca. U strožijem obliku, definicija informacije je sljedeća:

Informacije– to su informacije koje su predmet prenosa, distribucije, transformacije, skladištenja ili direktne upotrebe.

Ubuduće će nas zanimati samo pitanja vezana za informaciju kao predmet prijenosa.

Poruka je oblik prezentacije informacija.

Iste informacije mogu biti predstavljene u različitim oblicima. Na primjer, transfer glasovnu poruku telefonom ili slikama putem televizijski kanal. U ovom slučaju imamo posla sa informacijama koje su predstavljene u kontinuiranom obliku ( kontinuiranu poruku). Pretpostavićemo da ovu poruku generiše izvor neprekidnih poruka. Ili prenosimo poruku putem telegrafskog kanala, u tom slučaju mi pričamo o tome o informacijama predstavljenim u diskretna forma (diskretna poruka). Ovu poruku generiše izvor diskretne poruke.

U tehničkim uređajima i sistemima prijem, obrada i prenos informacija vrši se korišćenjem signale.

Signal(iz latinskog signum – znak) predstavlja svaki proces koji nosi informaciju.

Signali odražavaju fizičke karakteristike objekata i procesa koji se proučavaju. Pomoću signala informacije se mogu prenijeti kratkim i velike udaljenosti. Informacije u obliku signala mogu se obraditi, pohraniti, uništiti itd. na različite načine.

Postoji nekoliko vrsta signala: zvuk koji se mogu čuti tokom rada policijska sirena; svjetlo, prenos informacija sa daljinskog upravljača daljinski upravljač na TV, kao i električni.

Glavna razlika između diskretnih i kontinuiranih izvora je kako slijedi. Skup svih različitih poruka koje generiše diskretni izvor je uvijek konačan. Prema tome, tokom konačnog vremenskog perioda, broj simbola diskretnog izvora je takođe konačan. Istovremeno, broj mogućih različita značenja zvučni pritisak(ili napon u telefonska linija), mjereno tokom razgovora, čak i tokom konačnog vremenskog perioda, biće beskonačno.

U našem kursu ćemo razmatrati pitanja prenošenja diskretnih poruka.

Informacije sadržane u poruci se prenose od izvora poruke do primaoca putem diskretnog kanala za prijenos poruke (DMC).

Pogled prenijeti signal određuje tip komunikacionog kanala.

Koncept informacije, formulacija problema njenog definisanja.

Koliko informacija sadrži, na primjer, tekst romana “Rat i mir”, Rafaelove freske ili ljudski genetski kod? Da li je moguće objektivno izmjeriti količinu informacija?

Definisanje pojma „količina informacija“ je prilično teško. Postoje dva glavna pristupa rješavanju ovog problema. Istorijski gledano, nastali su gotovo istovremeno. Krajem 40-ih godina 20. stoljeća jedan od osnivača kibernetike, američki matematičar Claude Shannon, razvio je probabilistički pristup do mjerenja količine informacija, a rad na izradi računara doveo je do "volumetrijski" pristup.

Vjerovatni pristup

Ovaj pristup leži u činjenici da se koncept „količine informacija“ zasniva na činjenici da se informacija sadržana u poruci može slobodno tumačiti u smislu njene novine ili, u suprotnom, njene redukcije. neizvjesnost naše znanje o objektu.

Istovremeno, koncept informacije» kontakti vjerovatnoća nastanak određenog događaja.

Američki inženjer R. Hartley (1928) smatrao je proces dobijanja informacija odabirom jedne poruke iz konačnog unaprijed određenog skupa jednako vjerovatno poruke, a količina informacija sadržanih u odabranoj poruci određena je kao binarni logaritam.

Hartleyeva formula:

Ista formula se može predstaviti drugačije:

Recimo da trebate pogoditi jedan broj iz skupa prirodnih cijelih brojeva od jedan do sto. Koristeći Hartleyjevu formulu, možete izračunati koliko je informacija potrebno za ovo: . To jest, poruka o ispravno pogodenom broju sadrži količinu informacija približno jednaku .

Evo primjera jednako vjerovatnih poruka: prilikom bacanja novčića: “ispalo je na glavu”, “ispalo je na glavu”; na stranici knjige: "broj slova je paran", "broj slova je neparan."

Utvrdimo sada da li su poruke „žena će prva napustiti vrata zgrade“ i „muškarac će prvi napustiti vrata zgrade“ podjednako vjerovatne. Nemoguće je nedvosmisleno odgovoriti na ovo pitanje. Sve zavisi o kakvoj zgradi je reč. Ako je ovo, na primjer, stanica metroa, onda je vjerovatnoća da prvi napusti vrata ista za muškarca i ženu, a ako je ovo vojarna, onda je za muškarca ta vjerovatnoća mnogo veća nego za ženu .

Za probleme ove vrste predložio je američki naučnik Claude Shannon 1948. druga formula za određivanje količine informacija, uzimajući u obzir moguću nejednaku vjerovatnoću poruka u skupu.

Šenonova formula:

Ako su vjerovatnoće su jednaki, onda je svaki od njih jednak , a Shanonova formula se pretvara u Hartleyjevu formulu.

Analiza formule pokazuje da što je veća vjerovatnoća nekog događaja, to se manje informacija pojavljuje nakon njegovog nastanka, i obrnuto.

Ako je vjerovatnoća (tj. događaj je pouzdan), količina informacija je . Ako je vjerovatnoća da se neki događaj desi ili da se ne dogodi ista, tj. jednak , količina informacija koju ovaj događaj nosi sa sobom je jednaka .

Ovo je jedinica mjerenja informacija. Dobila je ime bit.

Ako događaj ima jednako vjerojatni ishodi, kao kada bacate novčić ili igrate kockice, tada je vjerovatnoća određenog ishoda jednaka , a Shanonova formula ima oblik: .

Kao primjer, odredit ćemo količinu informacija povezanih s pojavom svakog znaka u porukama napisanim na ruskom jeziku. Pretpostavićemo da se rusko pismo sastoji od slova i razmak za razdvajanje riječi. Prema Hartleyjevoj formuli:

;

(1.4)

Međutim, u riječima ruskog jezika (kao i u riječima drugih jezika) različita slova se javljaju nejednako često. Ispod je tabela vjerovatnoće učestalosti upotrebe različitih znakova ruskog alfabeta, dobijene na osnovu analize veoma velikih tekstova.

Iskoristimo ga za brojanje Šenonova formula; bit. Primljena vrijednost , kao što se moglo očekivati, manji je od prethodno izračunatog. Magnituda , izračunato korištenjem Hartleyeve formule, je maksimalna količina informacija koja može biti sadržana u jednom znaku.

Table . Učestalost ruskih slova

Zapamtite kombinaciju slova ruske abecede koja se najčešće ponavlja SENOVALITR. Ovo znanje koristili su razbijači šifri prilikom otvaranja tajne prepiske u različitim istorijskim periodima.

Slični proračuni se mogu napraviti za druge jezike, na primjer, one koji se koriste latinica– engleski, njemački, francuski itd. (razna slova i „razmak“).

Zamislite abecedu koja se sastoji od dva znaka i . Ako pretpostavimo da sa znakovima i V binarni alfabet povezane su iste vjerovatnoće njihovog pojavljivanja , zatim količinu informacija po znaku na binarno kodiranjeće biti jednako:

;

(1.5)

Dakle, bit se također može definirati kao količina informacija koju sadrži jedna znamenka binarnog broja (otuda naziv "bit": b inary dig to- binarna znamenka). Drugim riječima, količina informacija (u bitovima) sadržana u binarnu riječ, jednak je broju binarnih cifara u njemu.

jedno malo - ovo je količina informacija koju nosi jedan simbol diskretnog izvora poruke u slučaju kada se izvorna abeceda sastoji od dva jednako vjerovatna simbola.

Količina informacija je jednaka bitovi, tzv bajt.

Možemo pisati sa osam cifara različiti cijeli brojevi binarni brojevi od prije . Ovo je sasvim dovoljno da se u binarnom obliku predstave informacije o ruskom i latiničnom pismu, svim znakovima interpunkcije, brojevima iz prije , aritmetičke i algebarske operacije, kao i specijalni znakovi(npr. §@$).

Imajte na umu da kompjuterski kreatori daju prednost binarnom brojevnom sistemu jer in tehnički uređaj najjednostavniji način je ostvariti dva suprotna fizička stanja: neki fizički element koji ima dva različita stanja: magnetizacija u dva suprotnim pravcima; uređaj, propusni ili ne struja; kondenzator, napunjen ili nenabijen, itd.

Pitanje povezanosti entropije i informacije raspravljalo se već duže vrijeme, zapravo, od formulisanja paradoksa sa “Maxwellovim demonom”. Neko vrijeme problem je izgledao apstraktno. Sada, međutim, postaje relevantno, jer se ispostavilo da je povezano sa prilično konkretna pitanja: kolika je entropija (i energija) plaćanje za informaciju, koje su minimalne veličine informacijske ćelije, itd.

Ova pitanja postaju posebno akutna zbog biološke specifičnosti. Prvo, informacioni sistemi u živoj prirodi su male (mikroskopske) veličine. Drugo, funkcionišu kada normalna temperatura, tj. pod uslovima u kojima toplotne fluktuacije nisu zanemarljive. Treće, u biologiji je pamćenje i pohranjivanje informacija od posebne važnosti. Imajte na umu da su u tehnologiji problemi prijenosa informacija relevantniji; Na primjeru optimizacije prijenosa razvijeni su osnovni principi teorije informacija. Manje pažnje je posvećeno pitanjima prijema i skladištenja informacija. U biologiji, naprotiv, ova pitanja postaju najvažnija.

Bez pretvaranja da dajemo striktnu definiciju pojma „informacije“, naglašavamo dva njegova neophodna atributa: 1) informacija uključuje odabir jedne (ili više) opcija od mnogo mogućih, 2) napravljeni izbor mora biti zapamćen. Naglasimo: drugi uslov - memorisanje informacija - veoma je važan. Kastler [P26] je prvi skrenuo pažnju na ovo 1960. U procesima prenosa informacija, „memorabilnost“ igra manju ulogu nego u prijemu, obradi i skladištenju informacija. Zaista, sistem za odašiljanje je obavezan da pamti informacije samo za vrijeme trajanja prijenosa, koji u principu može biti kratak. U biologiji uslov za pamćenje dugoročno, naprotiv, igra važnu ulogu.

Količina informacija je količina

gdje je pun broj moguće opcije, broj odabranih opcija. Količina informacija je različita od nule ako se zna da je iz nekog razloga jedna od apriornih opcija realizovana (ali se ne zna koja). Ova količina je maksimalna ako se zna da je jedan implementiran (odabran) specifična opcija. Vrijednost if

Ništa se ne zna. Osnova logaritma (tj. binarni sistem) odabrano zbog pogodnosti; Jedinica informacija u ovom sistemu je jedan bit; odgovara izboru jedne od dvije moguće opcije.

Izraz (12.8) se lako generalizuje na slučaj kada se a priori N opcija može realizovati sa verovatnoćama i a posteriori se realizuje sa verovatnoćama tada

Izbor ili implementacija stražnjih opcija može se izvršiti od strane dvoje Različiti putevi; bilo kao rezultat djelovanja sila trećih strana - u ovom slučaju govore o prijemu informacija iz drugog (treće strane) sistema, ili spontano, kao rezultat nestabilnog ponašanja samog sistema - u ovom slučaju dolazi do rođenja (izlaska). nove informacije.

Informacioni sistem mora biti sposoban da: a) prima informacije, b) skladišti ili, što je isto, pamti informacije, c) daje informacije prilikom interakcije sa drugim akceptorskim sistemom u odnosu na sistem koji se razmatra. Iz toga slijedi da informacioni sistem mora biti multistacionaran.

Broj stabilnih stacionarnih stanja određuje kapacitet informacija, tj. maksimalni iznos informacije koje sistem može primiti:

Sistem mora biti disipativan. To znači da su realni dijelovi svih karakterističnih brojeva stacionarnih stanja negativni; ovo je neophodan uslov pamćenje informacija. Primjer takvog sistema je kineski bilijar. To je lopta na dasci sa stranicama, rupama i iglama. Pripadnost lopte određenoj rupi je informacija o stanju sistema.

Na mikroskopskom (molekularnom) nivou, problem dizajna informacionog sistema postaje netrivijalan. Prvo, u multistacionarnom sistemu, svaka od faznih trajektorija se nalazi samo u određenom dijelu faznog prostora (u području privlačenja ovoj državi). Cijeli volumen faze nije dostupan za svaku od trajektorija. To znači da informacioni sistem nije potpuno geometrijski i termodinamički ravnotežan. Moraju postojati odabrani stupnjevi slobode koji dugo zadržavaju svoje vrijednosti, a ne prolaze kroz sve moguće.

Objasnimo ovo na primjeru kineskog bilijara. Odabrani stepeni slobode ovdje su koordinate lopte. Promjena x i y ograničena je na rubove bunara; lopta se ne može pomaknuti u drugu rupu bez vanjske intervencije. Gde

drugi stepeni slobode povezani sa vibracijama atoma i lopte i daske mogu (i dalje bi trebali) biti ergodični.

Drugo, uslov disipativnosti, kao što smo videli, povezan je sa nestabilnošću (a samim tim i haotičnošću) mikroskopskih kretanja. To znači da odgovarajući stepeni slobode moraju biti ergodični. Dakle, fazni prostor informacionog sistema mora biti stratifikovan na ergodične i dinamičke podsisteme. Međutim, takvo razdvajanje ne može se provesti apsolutno striktno, različiti stupnjevi slobode uvijek su međusobno povezani. To se manifestuje u činjenici da dinamički (informacioni) stepeni slobode fluktuiraju i postoji izvesna verovatnoća njihove radikalne promene (na primer, bacanje lopte u drugu rupu) pod uticajem ergodičkog podsistema (tj. termičke fluktuacije).

U makroskopskim informacionim sistemima ova vjerovatnoća je zanemarljiva, ali se u mikroskopskim sistemima mora uzeti u obzir. Dakle, uslovi multistacionarnosti i disipativnosti ne mogu biti istovremeno apsolutno striktno zadovoljeni; oni su opcioni. To znači da uslov „pamćenja“ ne može biti apsolutan, već možemo govoriti samo o pamćenju sa određenom vjerovatnoćom za određeno (ne beskonačno veliko) vrijeme. Drugim riječima, informacioni sistem ne može zauvijek pamtiti. U stvarnim informacionim sistemima, karakteristično vreme skladištenja zavisi od njihovog dizajna, temperature i slobodna energija.

Pitanje veze između entropije i informacije u svjetlu gore navedenog ispada da nije trivijalno. Fizička entropija je logaritam faznog volumena koji je dostupan sistemu (uzimajući u obzir konvencije ovog koncepta - vidi gore), mjeren u jedinicama gdje je broj stupnjeva slobode i veličina minimalne (kvantne) ćelije fazni prostor. Formalno, entropija se može predstaviti kao

Količina je entropija mjerena u bitovima; broj ćelija faznog prostora. S druge strane, kapacitet informacija se može zapisati u obliku

gdje je veličina faznog prostora jedne informacijske ćelije. Poređenje formula (12.11) i (12.12) pokazuje da se entropija i informacija razlikuju i po koeficijentu i po veličini ćelije.

Podudarnost oblika (12.11) i (12.12) poslužila je kao osnova za konstataciju o istovjetnosti pojmova informacije i entropije. Tačnije, navodi se da je entropija informacija koja nedostaje o stanju sistema i (ili) informacija entropija koja nedostaje, odnosno razlika između maksimalne entropije koja

imao bi sistem bez informacija, i realnu entropiju koju sistem ima, posjedujući primljenu informaciju. U tom smislu koristi se termin neentropija, koji se smatra identičnim informaciji.

Mnogi, međutim, nisu zadovoljni ovim izjavama, a pitanje povezanosti informacije i entropije ostaje kontroverzno.

Razgovarajmo o ovom pitanju detaljnije.

Prije svega, upadljiva je velika kvantitativna razlika između informacija sadržanih u sistemu i njegove entropije.

Blumenfeld (vidi [P61) koristeći niz bioloških primjera (ćelije, organizmi, itd.) je pokazao da je entropija sadržana u objektu mnogo puta (nekoliko redova veličine) veća od informacija dostupnih u njemu. Razlika je još veća u savremenim neživim informacionim sistemima (na primjer, u štampanom tekstu, entropija premašuje informaciju za oko 1010 puta).

Ovako velika kvantitativna razlika nije slučajna. To je zbog činjenice da je volumen faznog prostora informacijske ćelije velik u poređenju sa vrijednošću. Ovo potonje je zbog činjenice da informaciona ćelija mora sadržavati ergodični podsistem i stoga zauzima veliki (u poređenju sa elementarna ćelija) volumen.

Dakle, razlika u skali entropije i informacija nije slučajna, već je povezana s njihovom fundamentalnom razlikom. Entropija je mjera skupa onih stanja sistema u kojima bi sistem trebao zaboraviti da se nalazi; informacija je mjera skupa stanja u kojima sistem mora zapamtiti da se nalazi.

Pogledajmo kako su promjene entropije i informacija povezane na primjeru kineskog bilijara. Ograničimo naše razmatranje na životni vijek sistema. Činjenica je da se svaki informacioni sistem, budući da je neravnotežan, opušta i urušava u skladu sa svojim strukturnim stepenom slobode, odnosno prestaje da bude informacioni.

Vrijeme strukturne relaksacije je veće (ili jednako) vremenu memorisanja. U našem primjeru govorimo o spontanom uništavanju barijera između rupa; Karakteristično vrijeme ovog procesa je prilično dugo. Tokom ovog vremena, strukturni stepeni slobode se ne menjaju, pa stoga ne doprinose entropiji. (Deo faznog prostora koji je povezan sa ovim stepenima slobode je nedostupan u ovom trenutku.) Entropija je u ovom slučaju povezana samo sa stepenima slobode koji se brzo opuštaju. Njihovo ponašanje ne zavisi od toga u kojoj se rupi nalazi lopta i da li je postavljena u neku rupu ili leži u blizini. Fizička entropija sistema je ista u svim slučajevima, ali je količina informacija različita: jednaka je nuli ako lopta nije postavljena u rupu, i jednaka ako je u određenoj rupi.

Proces prijema informacija (u našem slučaju stavljanje lopte u određenu rupu) zahtijeva utrošak rada, koji se pretvara u toplinu (inače prijem ne bi bio nepovratan). Posljedično, po prijemu se povećava fizička entropija sistema (za iznos i istovremeno

informacije se povećavaju (za iznos Obično, ali inače nisu ni na koji način povezane. Dakle, prilikom prijema informacija odnos se ne poštuje.

Situacija je nešto složenija kada se pojave nove informacije. Sistem sposoban da generiše informacije mora imati sva svojstva informacionog sistema i, pored toga, zadovoljiti uslov: određeni sloj njegovog faznog prostora mora biti sferičan, uključujući odabrane (informacione) stepene slobode. U tom slučaju se postavljaju početni uslovi za spontano nastajanje informacija.

Primjer je isti kineski bilijar sa iglama. Ako je u početku kinetička energija loptice dovoljno visoka (više barijera između rupa), tada se lopta kreće po cijeloj ploči bez da se zaglavi u rupama. Zbog nestabilnosti refleksije od ukosnica (oni igraju ulogu konkavnih površina u sinajskom bilijaru, sl. 12.2), kretanje lopte je stohastično i početni uslovi se brzo zaboravljaju. Sa smanjenjem kinetičke energije (zbog disipativnosti sistema, in u ovom slučaju zbog trenja i sudara) do vrijednosti reda visine barijere, lopta ulazi u područje privlačenja jedne od rupa i ostaje u njoj. Tako se odabrano stanje „pamti“, što je rađanje informacija. Isti princip se koristi u ruletu i drugim mašinama za igre na sreću.

U svim ovim slučajevima, kriterijum za odvajanje ergodičkog sloja početni uslovi iz informacionog sloja je vrijednost početne slobodne energije (u bilijaru je to kinetička energija lopte). Takođe određuje povećanje entropije sistema u procesu generisanja informacija. Procijenimo vrijednost Ako je informacioni kapacitet sistema mali: onda je glavno ograničenje odozdo uslov gdje je barijera između bunara. Barijere određuju vrijeme “pamćenja” prema omjeru

Pri dovoljno velikoj (makroskopskoj) vrijednosti c, barijera je

Dakle, u ovom slučaju, povećanje entropije po bitu informacije je jednako

ili u informacijskim jedinicama:

U slučaju kada je informacioni kapacitet veliki (tj. mora se uzeti u obzir još jedan uslov: prije nego što se „odabere“ određeno stanje, sistem mora barem jednom posjetiti područje utjecaja svakog od mogućih stanja.

Neka se energija rasprši tokom prolaska svakog od stanja.Minimalna vrijednost je reda energije toplinskih fluktuacija: U ovom slučaju ona je ograničena odozdo uslovom

Povećanje entropije po jednom bitu informacije je jednako

Dakle, u slučaju da se informacija pojavi, to se mora "platiti" povećanjem entropije, tako da, međutim, relacije poput "povećanje informacije jednako je smanjenju entropije" ne vrijede ni u ovom slučaju.

Hajde da razgovaramo o situaciji koja nastaje ako odbijete uslov pamćenja informacija. U ovom slučaju možemo govoriti o informacijama o trenutne vrednosti koordinate i momente svih atoma sistema. Da bi razlikovao ove “informacije” od stvarnih (zapamćenih), Laizer je predložio termin mikroinformacija; memorisana informacija se naziva makroinformacija.

Ako se zna da u ovog trenutka sistem se nalazi u jednoj (od mogućih) specifičnoj ćeliji faznog prostora, tada je količina mikroinformacija maksimalna i jednaka

U ovom slučaju, entropija sistema je nula, jer se sve ostale ćelije u ovom trenutku mogu smatrati „nedostupnim“.

Ako se zna da je sistem trenutno u nekom od moguće ćelije, ali je nepoznato u kojoj je mikroinformacija nula, a entropija maksimalna i jednaka

Ako se zna da se sistem trenutno nalazi u jednoj (bilo kojoj) ćeliji, onda

a između mikroinformacija i entropije postoji jednostavan odnos:

Mikroinformacije se u principu mogu transformisati u makroinformacije primanjem od drugog informacioni sistem. Na primjer, fotografiranjem uzorka Brownovog kretanja, trenutne koordinate čestica mogu se uhvatiti (zapamtiti) na fotografskom filmu. Ove informacije se onda mogu koristiti za bilo koje (čak i one koje se ne odnose na kretanje čestica)

ciljevi. Bitno je da se u ovom slučaju u procesu prijema (transformacije mikroinformacija u makroinformacije) mora utrošiti rad i povećati entropija cijelog sistema za iznos koji očigledno premašuje količinu pohranjenih informacija.

Upravo taj proces - transformacija mikro-informacija u makro-informacije i njihovo korištenje za upravljanje - leži u osnovi paradoksa s "Maxwellovim demonom". Njegovo rješenje je da proces prijema mikroinformacija i njihovog korištenja za kontrolu prati povećanje entropije cjelokupnog sistema/nadmašujuća informacija.

Zbog takvih značajna razlika Između mikro- i makro-informacija, također se koriste dva koncepta entropije. Uz fizičku entropiju koristi se informaciona entropija koja se definiše kao

gdje je broj stacionarnih stabilnih makrostanja za koje se zna da se sistem nalazi u jednom od njih (ali se ne zna u kojem).

Prema definiciji, informacijska entropija je vezana za informaciju relacijom

Povećanje informacije (dok je očuvano uvijek je praćeno jednakim smanjenjem entropije informacije. Pojam Informaciona entropija pogodan za upotrebu kada je u pitanju pojava informacija i uređenje sistema. U tom smislu se koristi u pogl. 2. Naglasimo da ova veličina, općenito govoreći, nije povezana s fizičkom entropijom.

Dakle, osnova za razliku između fizičke entropije i informacije (i kvalitativno i kvantitativno) je stanje skladištenja i rezultirajući veliki volumen faznog prostora informacione ćelije u odnosu na elementarni.

Zanimljivo je procijeniti veličinu “rezerve”. Sada je teško to učiniti generalno. Moglo bi se, međutim, pomisliti da se u živoj prirodi to ostvarilo optimalna veličina(tj. minimalno, ali zadovoljava zahtjeve). Može se procijeniti korištenjem stvarnih podataka.

U molekuli DNK, jedinica koja sadrži dva bita informacije je par komplementarnih nukleotida. Sadrži oko atoma. Entropija povezana sa vibracionim stepenima slobode je bit, ili entropija po bitu informacije je približno 60 bita. Stoga je volumen faznog prostora po bitu jednak

Napomena: Uvodi se koncept entropije. Nekoliko primjera pokazuje kako se izračunava entropija diskretne slučajne varijable. Uvodi se koncept prefiksnog kodiranja. Zadaci za samostalan rad poboljšati percepciju materijala. Također puno različitih matematičkih studija

Entropija d.s.v. - ovo je minimalni prosječan broj bitova koji se trebaju prenijeti preko komunikacijskog kanala o trenutnoj vrijednosti datog d.s.v.

Pogledajmo primjer (trke konja). U trci učestvuju 4 konja sa jednakim šansama za pobedu, tj. Vjerovatnoća da svaki konj pobijedi je 1/4. Hajde da predstavimo d.r.v. , jednak broju pobjedničkog konja. Evo. Nakon svake trke bit će dovoljno komunikacijskim kanalima prenijeti dva bita informacije o broju pobjedničkog konja. Kodiramo broj konja na sljedeći način: 1-00, 2-01, 3-10, 4-11. Ako uvedete funkciju koja vraća dužinu kodiranja poruke postavljena vrijednost, zatim m.o. je prosječna dužina kodiranja poruke. Može se formalno definirati kroz dvije funkcije, gdje je svaka vrijednost povezana s određenim bitskim kodom, i jedna je prema jedan, i vraća dužinu u bitovima za bilo koji određeni kod. U ovom primjeru .

Neka sada d.s.v. ima sledeću distribuciju

One. konj broj 1 je favorit. Onda

Kodirajmo brojeve konja: 1-0, 2-10, 3-110, 4-111, - tj. tako da svaki kod nije prefiks drugog koda (takvo kodiranje se zove prefiks). U prosjeku, u 16 trka, 1. konj bi trebao pobijediti u njih 12, 2. - 2, 3. - 1 i 4. - 1. Dakle, prosječna dužina pobjedničke poruke je bit / sim ili m.o. . Zaista, sada je dato sljedećom raspodjelom vjerovatnoće: , , . dakle,

dakle, .

Može se dokazati da ne postoji efikasnije kodiranje za dva razmatrana slučaja.

Šta Šenonova entropija odgovara intuitivnoj ideji količine informacija, može se eksperimentalno demonstrirati određivanjem prosječnog vremena mentalnih reakcija. Eksperiment se sastoji u paljenju jedne od sijalica ispred osobe koja se testira, koju mora ukazati. Izvodi se veliki niz testova u kojima svaka sijalica svijetli sa određenom vjerovatnoćom , gdje je broj sijalice. Ispostavilo se da je prosječno vrijeme potrebno subjektu da odgovori tačno proporcionalno vrijednosti entropije , a ne broj sijalica, kako bi se moglo pomisliti. U ovom eksperimentu pretpostavlja se da što više informacija osoba dobije, to će joj duže vremena trebati da ih obradi i, shodno tome, reaguje na njih.

Vježba 13 Pronađite entropiju d.s.v. i prosječna dužina svakog od datih kodova za ovaj d.s.v.

Vježba 14 d.s.v. jednak broju “grbova” koji su pali na dva savršena novčića. Pronađite entropiju. Smislite minimalni kod za , izračunajte njegovu prosječnu dužinu i opravdajte njegovu minimalnost.

Vježba 15 d.s.v. dato distribucijom, Pronađite entropiju ovog d.r.v. Smislite minimalni kod za , izračunajte njegovu prosječnu dužinu i opravdajte njegovu minimalnost.

Vježba 16 O d.s.v. poznato je da su njegova značenja ćirilična slova. Napravljena je serija uzastopnih mjerenja čiji je rezultat bila “TEORIJA INFORMACIJA”. Na osnovu ovog rezultata izraditi približni zakon raspodjele vjerovatnoće za ovaj d.s.v. i procijenite minimalnu prosječnu dužinu kodova za .

Semantičke informacije

Pedesetih godina 20. stoljeća pojavljuju se prvi pokušaji da se odredi apsolutni informativni sadržaj rečenica prirodnog jezika. Vrijedi napomenuti da je sam Shannon jednom prilikom primijetio da značenje poruka nema nikakve veze s njegovom teorijom informacija, koja je u potpunosti izgrađena na principima teorije vjerovatnoće. Ali njegov način preciznog mjerenja informacija sugerirao je mogućnost da postoje načini za preciznije mjerenje informacija opšti pogled, na primjer, informacije iz rečenica prirodnog jezika. Primjer jedne takve mjere je funkcija , gdje je rečenica čiji se semantički sadržaj mjeri, -

ODNOS ENTROPIJE I INFORMACIJE. Prvu striktnu definiciju informacije dao je američki naučnik K. Shannon 1948. Definisao ju je kao mjeru smanjenja neizvjesnosti, tj. izbor neophodni elementi iz neke njihove ukupnosti. To je značilo i nesigurnost znanja o objektima i neizvjesnost samog objekta. Drugim riječima, u ovom razumijevanju, informacija je informacija koja otklanja neizvjesnost koja je postojala prije njenog prijema. Uz probabilističko-statistički pristup može se dati još jedna definicija informacije, zasnovana na kombinatorici. Ovim pristupom, koji je 1956. predložio engleski neurofiziolog W. Ashby, informacija se ne definiše kao uništavanje neizvjesnosti, već kao uklanjanje monotonije i identiteta. Mjera količine informacija u ovom slučaju je stepen raznolikosti elemenata sistema ili informacija o njemu. Jedinica mjerenja količine informacija je bit, koji odgovara izboru jednog od dva jednako moguća stanja ili dvije jednako moguće vjerovatnoće. Informacija ima svojstvo aditivnosti: ukupna količina informacija potrebna za rješavanje dva problema jednaka je zbiru odvojenih informacija. Dakle, ako je dat broj jednako vjerojatnih ishoda problema, tada je informacija proporcionalna prirodnom logaritmu ovog broja.

Iz termodinamike je poznato da je mjera nedostatka informacija o nekima fizički sistem je entropija. Očigledni paralelizam definicija informacije i entropije omogućio je L. Brillouinu da uspostavi vezu između informacije i odgovarajućeg smanjenja entropije. Da bi uklonio znak minus iz formule koja odražava ovaj odnos, Brillouin je uveo novi termin- negentropija, ili negativna entropija. Tako je formuliran princip negentropije informacije, koji se može smatrati generalizacijom Carnotovog principa - drugog zakona termodinamike: u bilo kojem realnom procesu informacija degradira, a negentropija opada.

Treba, međutim, napomenuti da je analiza matematička veza između entropije i informacije Brillouin je proveo samo za slučaj mikroinformacije, koja se odnosi na procese na molekularnom nivou. Nema razloga da se njegova formula proširi na slučaj makroinformacija. Greška koja je kasnije napravljena prerasla je do nivoa filozofskih generalizacija.

Što se tiče definicije makroinformacije, zgodno je koristiti definiciju koju je predložio G. Kastler: informacija je slučajni, memorisan izbor opcija između mogućih i jednako vjerovatnih. Ova definicija značajno nadilazi okvire klasične racionalnosti: sa stanovišta mehanističkog pristupa, kretanje se ne može ostvariti u alternativne opcije, ne postoji sloboda izbora između njih.

Zahtjev za pamćenjem informacija uključenih u Kastlerovu definiciju znači da govorimo o neravnotežnom sistemu, budući da ravnotežni sistem ima jedno stanje i ne može se sjetiti ničega. Naprotiv, neravnotežni sistem sposoban da formira disipativne strukture opisane sinergijom ima ovu sposobnost.

Definicija informacije, prema Kastleru, ne iscrpljuje semantičko bogatstvo ovog koncepta. Zbog svestranosti ovog koncepta, njegova opća naučna definicija još uvijek nedostaje. Prema N.N. Moisejev, takva definicija teško da je uopšte moguća.

Jedan od važnih aspekata informacija je informacijsko bogatstvo signala. Tokovi energije i materije održavaju stanje sistema, a tokovi informacija koje prenose signali kontrolišu ga i organizuju njegovo funkcionisanje. Signali mogu obavljati ovu funkciju ako sadrže tekst bogat informacijama koji prijemni sistem može dekodirati. Termodinamička entropija u procesima prijenosa informacija prirodno raste.

Kada se razmatraju problemi V.e. i i. Zbog ovih poteškoća često se susreću pogrešni filozofski i metodološki iskazi: a) informacija je jedno od svojstava materije, sveprisutna je i sadržana je u svakom materijalnom objektu; b) dva postoje međusobno dodatne karakteristike stvarne pojave - negentropija, ili informacija, kao mjera reda i entropija kao mjera nereda.

Prva izjava je u suprotnosti sa razumijevanjem informacije kao procesa, a druga je posljedica pokušaja da se Brillouinov princip negentropije proširi na slučaj makroinformacije.

Naravno, svaki proces dobivanja makroinformacija povezan je s promjenom entropije. Međutim, odnos između njih je najčešće nejasan, au mnogim slučajevima i nelinearan. Nema razloga govoriti o postojanju određene kvantitativne veze između informacija koje se odnose na određeni sistem i promjene entropije ovog sistema.

književnost:

Melik-Gaykazyan I.V. Informacijski procesi i stvarnost. M., 1957.

Rječnik filozofskih pojmova. Naučna redakcija Profesor V.G. Kuznetsova. M., INFRA-M, 2007, str. 80.

Kako možemo izmjeriti informacije u događaju? Koliko informacija nam pruža neki događaj? Odgovorimo na ova pitanja primjerima.

Primjer F.1

Zamislite osobu koja sjedi u sobi. Gledajući kroz prozor, jasno vidi kako sunce sija. Ako u ovom trenutku dobije poruku (događaj) od komšije koja kaže "Želim vam ugodan dan", da li ova poruka sadrži bilo kakvu informaciju? Naravno da ne! Osoba je već sigurna da je dan i da je vrijeme dobro. Poruka ne umanjuje nesigurnost njegovog znanja.

Primjer F.2

Zamislite da je osoba kupila srećku. Ako prijatelj nazove da kaže da je osvojio prvu nagradu, da li ta poruka (događaj) sadrži informacije? Naravno da! Poruka sadrži mnogo informacija jer je vjerovatnoća osvajanja prve nagrade vrlo mala. Primalac poruke je šokiran.

Gornja dva primjera pokazuju da postoji veza između korisnosti događaja i očekivanja primaoca. Ako je primalac udaljen od događaja kada se događaj dogodi, poruka sadrži mnogo informacija; inače nije tako. Drugim riječima, informativni sadržaj poruka je obrnuto povezana sa vjerovatnoćom pojavljivanja te poruke. Ako je događaj vrlo vjerojatan, on ne sadrži nikakve informacije (Primjer F.1); ako je malo vjerovatno, sadrži mnogo informacija (Primjer F.2).

F.2. Entropija

Pretpostavimo da je S distribucija vjerovatnoće konačnog broja događaja (vidi "Dodatak D"). Entropija ili nesigurnost u S može se definirati kao:

gdje je mogući rezultat jednog testa. Imajte na umu da ako. P (s) = 0, tada ćemo pretpostaviti da je P(S) x jednako 0 da bismo izbjegli podjelu sa 0.

Primjer F.3

Pretpostavimo da bacimo pošten novčić. Rezultati su "glave" i "repove", svaki sa vjerovatnoćom od 1/2, a to znači

H (S) = P (glave) x + P (repovi) x H (S) = (1/2) x = 1 bit

Ovaj primjer pokazuje da nam rezultat bacanja poštenog novčića daje 1 bit informacije (neizvjesnost). Sa svakim bacanjem, ne znamo kakav će biti ishod jer su dvije mogućnosti podjednako vjerovatne.

Primjer F.4

Pretpostavimo da bacimo neispravan (oštećen) novčić. Rezultati glava i repova su P (glave) = 3/4 i P (repove) = 1/4. To znači da

H(S) = (3/4) x + (1/4) x = 0,8 bita

Ovaj primjer pokazuje da nam rezultat bacanja pogrešnog novčića daje samo 0,8 bita informacije (neizvjesnost). Količina informacija ima manje od količina informacija u primjeru F.3 jer očekujemo da dobijemo glave veći broj puta nego "repovi".

Primjer F.5

Pretpostavimo sada da bacimo potpuno nepravedan novčić u kojem je rezultat uvijek glava, P (glava) = 1 i P (rep) = 0. Entropija u ovom slučaju

H (S) = (1) x + (0) x = (1) x (0) + (0) = 0

U ovom eksperimentu nema informacija (neizvjesnosti). Znamo da će rezultat uvijek biti glava; entropija - 0.

Maksimalna entropija

Može se dokazati da za distribuciju vjerovatnoće sa n mogućih ishoda, maksimalna entropija se može postići samo ako su sve vjerovatnoće jednake (svi ishodi su jednako vjerovatni). U ovom slučaju, maksimalna entropija

H max = log 2 n bita

Drugim riječima, entropija bilo kojeg skupa vjerovatnoća ima gornju granicu, koja je određena ovom formulom.

Primjer F.6

Pretpostavimo da je šestostrana kocka bačena. Entropija testa je jednaka

Minimalna entropija

Može se dokazati da za distribuciju vjerovatnoće sa n mogućim rezultatima, minimalna entropija se postiže ako i samo ako se uvijek dobije jedan od rezultata. U ovom slučaju, minimalna entropija

H min (S) = 0 bita

Drugim riječima, ova formula definira donju granicu entropije za bilo koji skup vjerovatnoća.

Entropija bilo kojeg skupa vjerovatnoća je između 0 bit and log2n malo gde n - broj mogućih rezultata.

Interpretacija entropije

Entropija se može posmatrati kao broj bitova koji mogu predstavljati svaki ishod iz skupa verovatnoća kada su ishodi podjednako verovatni. Na primjer, kada je to moguće slučajna distribucija ima osam mogućih rezultata, svaki rezultat može biti predstavljen kao tri bita (000 do 111). Kada dobijemo rezultat eksperimenta, možemo reći da smo dobili 3 bita informacije. Entropija ovog skupa vjerovatnoća je također 3 bita (ln 2 8 = 3).

Zajednička entropija

Kada imamo dva skupa distribucije vjerovatnoće, S 1 i S 2 , možemo definirati zajedničku entropiju H (S 1 , S 2 ) kao

Uslovna entropija

Često moramo znati nesigurnost distribucije vjerovatnoće S 1 , u zavisnosti od dobijanja rezultata koji je određen nesigurnošću distribucije vjerovatnoće S 2 . Zove se uslovna entropija H (S 1 | S 2). To se može dokazati

H (S 1 | S 2) = H (S 1, S 2) - H (S 2) bitovi

Ostali omjeri

Ovdje bez dokaza predstavljamo neke druge relacije za entropiju:

1. H (S 1 , S 2) = H (S2 | S 1) + H (S 1) = H (S 1 | S 2) + H (S2)
2. H (S 1, S 2)<= H (S 1) + H (S2)
3. H (S 1 | S 2)<= H (S 1)
4. H (S 1 , S2, S3) = H (S 1 | S2, S3) + H (S 1, S3)

Druga i treća relacija vrijede ako su S 1 i S 2 statistički nezavisni.

Primjer F.7

U kriptografiji, ako je P distribucija verovatnoće otvorenog teksta, C je distribucija verovatnoće šifrovanog teksta, a K je distribucija verovatnoće ključeva, tada se H(K|C) može tumačiti kao težina napada šifrovanog teksta u koje znanje o C može dovesti do znanja o K.

Primjer F.8

U kriptografiji, dajući otvoreni tekst i ključ, deterministički algoritam šifriranja proizvodi jedinstveni šifrirani tekst, što znači H(C | K, P) = 0. Također, s obzirom na šifrirani tekst i algoritam za dešifriranje ključa, kreira se jedinstveni otvoreni tekst, što znači H(P | K, C) = 0. Ako su dati šifrirani i otvoreni tekst, ključ je također jedinstveno definiran: H(K|P,C) = 0.

Savršena tajnost

U kriptografiji, ako su P, K i C prostori za uzorkovanje vjerovatnoće otvorenog teksta, šifriranog teksta i ključa, tada imamo H(P|C)<=H (P) . Это может быть интерпретировано так: неопределенность P данного C меньше или равна неопределенности P . В большинстве криптографических систем, справедливо отношение H (P|C)< H (P) , что означает, что перехват зашифрованного текста уменьшает знание, которое требуется для того, чтобы найти исходный текст. Криптографическая система обеспечивает savršena tajnost, ako se posmatra relacija H (P|C)=H (P), to znači da je nesigurnost izvornog teksta i datog šifrovanog teksta ista nesigurnost izvornog teksta. Drugim rečima, Eva ne dobija nikakve informacije presretanje šifrovanog teksta; još uvijek mora istražiti sve svoje mogućnosti.

Kriptografski sistem pruža savršenu tajnost ako H (P | C) = H (P) .

Primjer F.9

Na prethodnim predavanjima smo to navodili za jednokratnu upotrebušifra notepad osigurava savršenu tajnost. Dokažimo ovu činjenicu koristeći prethodne entropijske relacije. Pretpostavimo da je abeceda samo 0 i 1. Ako je dužina poruke L, može se dokazati da se ključ i šifrirani tekst sastoje od 2 L karaktera, u kojima je svaki znak jednako vjerojatan. Dakle, H(K) = H(C) = log 2 2 L = L. Koristeći relacije dobijene u primjeru F.8 i činjenicu da je H(P, K) = H(P) + H(K) jer su P i K nezavisni, imamo

H (P, K, C) = H (C|P, K) + H (P, K) = H (P, K) = H (P) + H (K) H (P, K, C) = H (K|P, C) + H (P, C) = H (P, C) = H (P|C) + H (C)

To znači da je H(P|C) = H(P)

Primjer F.10

Šenon je pokazao da u kriptografskom sistemu, ako (1) se ključevi javljaju sa jednakom verovatnoćom i (2) postoji jedinstveni ključ za svaki otvoreni tekst i svaki šifrovani tekst, onda kriptografski sistem obezbeđuje savršenu tajnost. Dokaz koristi činjenicu da su u ovom slučaju distribucije vjerovatnoće ključeva, otvorenog teksta i šifriranog teksta iste veličine.

F.3. Entropija jezika

Zanimljivo je povezati koncept entropije sa prirodnim jezicima kao što je engleski. U ovom odeljku dotičemo se nekih tačaka vezanih za entropiju jezika.

Entropija proizvoljnog jezika

Pretpostavimo da jezik koristi N slova i da sva slova imaju jednaku vjerovatnoću pojavljivanja. Možemo reći da je entropija ovog jezika H L = log 2 N . Na primjer, ako koristimo dvadeset i šest velikih slova (A do Z) da prenesemo našu poruku, tada