Formula e entropisë së informacionit. Entropia e një burimi diskrete mesazhi (IDS) dhe vetitë e tij

L E K C I Z Nr 29

Tema:

Teksti i leksionit të disiplinës:"Teoria e komunikimit elektrik"

Kaliningrad 2012

Teksti i leksionit nr.30

sipas disiplinës:"Teoria e komunikimit elektrik"

"Konceptet themelore të teorisë së informacionit"

Prezantimi

Kanalet e komunikimit transmetojnë informacion të konvertuar në sinjale.

Për të koordinuar sasinë e informacionit me kanalin, është e nevojshme të mësoni se si të përcaktoni sasinë e informacionit që do të transmetohet. Pa zgjidhur këtë çështje, është e pamundur të ndërtohen sisteme moderne të transmetimit të informacionit.

Sipas termit "informacion" kuptojnë informacione të ndryshme që i vijnë marrësit. Në një formë më të rreptë, përkufizimi i informacionit është si më poshtë:

InformacionËshtë informacion që është objekt i transmetimit, shpërndarjes, transformimit, ruajtjes ose përdorimit të drejtpërdrejtë.

Në të ardhmen do të na interesojnë vetëm pyetjet që lidhen me informacionin si objekt transmetimi.

Mesazhështë një formë e prezantimit të informacionit.

Një dhe i njëjti informacion mund të paraqitet në forma të ndryshme. Për shembull, transmetimi i një mesazhi zanor përmes telefonit ose i një imazhi në një kanal televiziv. Në këtë rast kemi të bëjmë me informacione të paraqitura në formë të vazhdueshme ( komunikimi i vazhdueshëm). Ne do të supozojmë se ky mesazh është krijuar nga një burim mesazhesh të vazhdueshme. Ose ne transmetojmë një mesazh përmes një kanali telegrafik, në këtë rast po flasim për informacion të paraqitur në një formë diskrete ( mesazh diskret). Ky mesazh gjenerohet nga një burim i veçantë mesazhi.

Në pajisjet dhe sistemet teknike, marrja, përpunimi dhe transmetimi i informacionit kryhet duke përdorur sinjale.

Sinjali(nga latinishtja shenjë – shenjë) përfaqëson çdo proces që mbart informacion.

Sinjalet pasqyrojnë karakteristikat fizike të objekteve dhe proceseve të studiuara. Me anë të sinjaleve, informacioni mund të transmetohet në distanca të shkurtra dhe të gjata. Informacioni në formën e një sinjali mund të përpunohet në mënyra të ndryshme, të ruhet, shkatërrohet etj.

Ekzistojnë disa lloje të sinjaleve: tingull që mund të dëgjohet kur një sirenë e policisë është duke punuar; dritë transmetimin e informacionit nga telekomanda në televizor dhe elektrike.

Dallimi kryesor midis burimeve diskrete dhe të vazhdueshmeështë si më poshtë. Grupi i të gjitha mesazheve të ndryshme të krijuara nga një burim diskret është gjithmonë i kufizuar. Prandaj, në një interval kohor të fundëm, numri i simboleve të një burimi diskret është gjithashtu i kufizuar. Në të njëjtën kohë, numri i vlerave të mundshme të ndryshme të presionit të zërit (ose tensionit në linjën telefonike), të matur gjatë një bisede, qoftë edhe për një periudhë të caktuar kohe, do të jetë i pafund.

Në kursin tonë, ne do të shqyrtojmë transmetimin e mesazheve diskrete.

Informacioni që përmban mesazhi transmetohet nga burimi i mesazheve te marrësi nëpërmjet kanalit diskret të transmetimit të mesazhit (PDS).

Lloji i sinjalit të transmetuar përcakton llojin e kanalit të komunikimit.

Koncepti i informacionit, deklarata e problemit të përkufizimit të tij.

Sa informacion përmban, për shembull, teksti i romanit "Lufta dhe Paqja", në afresket e Rafaelit, apo në kodin gjenetik të njeriut? A është e mundur të matet në mënyrë objektive sasia e informacionit?

Është mjaft e vështirë të përkufizohet koncepti i "sasës së informacionit". Ekzistojnë dy mënyra kryesore për zgjidhjen e këtij problemi. Historikisht, ato u ngritën pothuajse njëkohësisht. Në fund të viteve 40 të shekullit XX, një nga themeluesit e kibernetikës, matematikani amerikan Claude Shannon zhvilloi qasje probabiliste për matjen e sasisë së informacionit, dhe puna në krijimin e kompjuterëve çoi në Qasja vëllimore.

Qasje probabiliste

Kjo qasje qëndron në faktin se koncepti i "sasës së informacionit" bazohet në faktin se informacioni që përmban një mesazh mund të interpretohet lirshëm në kuptimin e risisë së tij ose, përndryshe, një rënie. pasiguritë njohuritë tona për objektin.

Për më tepër, koncepti " informacion»Kontaktet probabiliteti zbatimi i kësaj apo asaj ngjarjeje.

Inxhinieri amerikan R. Hartley (1928) e konsideroi procesin e marrjes së informacionit si zgjedhjen e një mesazhi nga një grup i fundëm i paracaktuar. ekuiprobabile mesazhet, dhe sasia e informacionit që përmban mesazhi i zgjedhur u përcaktua si një logaritëm binar.

Formula e Hartley:

E njëjta formulë mund të paraqitet ndryshe:

Le të themi se ju duhet të merrni me mend një numër nga një grup numrash të plotë natyrorë nga një në njëqind. Duke përdorur formulën Hartley, mund të llogarisni se sa informacion kërkohet për këtë:. Kjo do të thotë, mesazhi për numrin e supozuar saktë përmban sasinë e informacionit afërsisht të barabartë me.

Këtu janë shembuj të mesazheve po aq të mundshme: kur hidhet një monedhë: "ra bisht", "koka ra"; në faqen e librit: “numri i shkronjave është çift”, “numri i shkronjave është tek”.

Le të përcaktojmë tani nëse mesazhet "gruaja do të jetë e para që do të largohet nga ndërtesa" dhe "burri do të jetë i pari që do të largohet nga ndërtesa" janë po aq të mundshme. Është e pamundur t'i përgjigjemi kësaj pyetjeje pa mëdyshje. E gjitha varet se për çfarë lloj ndërtese po flasim. Nëse ky është, për shembull, një stacion metroje, atëherë probabiliteti për të dalë së pari nga dera është i njëjtë për një burrë dhe një grua, dhe nëse është një kazermë ushtarake, atëherë për një burrë kjo probabilitet është shumë më e lartë se për një grua.

Për probleme të këtij lloji, shkencëtari amerikan Claude Shannon propozoi në vitin 1948. një formulë tjetër për përcaktimin e sasisë së informacionit, duke marrë parasysh probabilitetin e mundshëm të pabarabartë të mesazheve në grup.

Formula e Shannon:

Nëse probabilitetet janë të barabarta, atëherë secili prej tyre është i barabartë , dhe formula e Shannon-it bëhet formula e Hartley-t.

Analiza e formulës tregon se sa më e lartë të jetë probabiliteti i një ngjarjeje, aq më pak informacion lind pas zbatimit të saj dhe anasjelltas.

Nëse probabiliteti është (d.m.th. ngjarja është e vlefshme), sasia e informacionit është ... Nëse probabiliteti i ndodhjes ose mospërmbushjes së një ngjarjeje është i njëjtë, d.m.th. është e barabartë me , sasia e informacionit që mbart me vete kjo ngjarje është e barabartë me .

Është një njësi matëse për informacion. Ajo mori emrin pak.

Nëse ngjarja ka rezultate po aq të mundshme, si në lojën me hedhjen e monedhës ose me zare, atëherë probabiliteti i një rezultati të caktuar është , dhe formula e Shannon merr formën: .

Si shembull, le të përcaktojmë sasinë e informacionit që lidhet me paraqitjen e secilit personazh në mesazhet e shkruara në Rusisht. Do të supozojmë se alfabeti rus përbëhet nga shkronja dhe një karakter hapësirë ​​për të ndarë fjalët. Sipas formulës Hartley:

;

(1.4)

Sidoqoftë, në fjalët e gjuhës ruse (si dhe në fjalët e gjuhëve të tjera), shkronja të ndryshme gjenden në mënyrë të pabarabartë. Më poshtë është një tabelë probabilitetet e shpeshtësisë së përdorimit të karaktereve të ndryshme të alfabetit rus, të marra në bazë të një analize të teksteve shumë të mëdha.

Le të përdorim për të numëruar formula e Shannon-it; pak. Vlera që rezulton , siç mund të pritej, është më e vogël se ajo e llogaritur më parë. Madhësia , e llogaritur me formulën Hartley, është sasia maksimale e informacionit që mund të jetë për karakter.

tabela ... Frekuenca e shkronjave të gjuhës ruse

Mos harroni kombinimin e shkronjave më të përsëritura të alfabetit rus SENOVALITR. Kjo njohuri u përdor nga shkelësit e kodeve kur hapnin korrespondencën sekrete në periudha të ndryshme historike.

Llogaritje të ngjashme mund të bëhen për gjuhë të tjera, për shembull, duke përdorur alfabetin latin - anglisht, gjermanisht, frëngjisht, etj. (shkronja të ndryshme dhe "hapësirë").

Konsideroni një alfabet të përbërë nga dy karaktere dhe ... Nëse supozojmë se me shenjat dhe në alfabetin binar lidhen të njëjtat probabilitete të shfaqjes së tyre , atëherë sasia e informacionit për një karakter në kodimin binar do të jetë e barabartë me:

;

(1.5)

Kështu, një bit mund të përkufizohet gjithashtu si sasia e informacionit që përmban një bit të një numri binar (prandaj emri "bit": b gërmim inary atë- shifra binare). Me fjalë të tjera, sasia e informacionit (në bit) që përmban një fjalë binare është e barabartë me numrin e karaktereve binare në të.

një grimë -është sasia e informacionit që mbart një karakter i burimit të mesazheve diskrete në rastin kur alfabeti i burimit përbëhet nga dy karaktere po aq të mundshme.

Sasia e informacionit është e barabartë me bitet e quajtura bajt.

Mund të shkruani me tetë shifra numra të plotë binarë të dallueshëm nga përpara ... Kjo është mjaft e mjaftueshme për të përfaqësuar në formë binare informacione rreth alfabetit rus dhe latin, të gjitha shenjat e pikësimit, numrat nga përpara , veprime aritmetike dhe algjebrike, si dhe karaktere speciale (për shembull, § @ $).

Vini re se krijuesit e kompjuterëve i japin përparësi sistemit të numrave binar sepse në një pajisje teknike është më e thjeshtë të zbatohen dy gjendje fizike të kundërta: një element fizik që ka dy gjendje të ndryshme: magnetizimi në dy drejtime të kundërta; një pajisje që kalon ose jo një rrymë elektrike; kondensator, i ngarkuar ose i pa ngarkuar, etj.

Çështja e marrëdhënies midis entropisë dhe informacionit është diskutuar për një kohë të gjatë, në fakt, që nga koha kur u formulua paradoksi me "demonin e Maxwell". Për një kohë, problemi dukej abstrakt. Tani, megjithatë, po bëhet e rëndësishme, pasi rezulton të jetë e lidhur me pyetje mjaft specifike: cila është pagesa e entropisë (dhe energjisë) për informacion, cilat janë madhësitë minimale të një qelize informacioni, etj.

Këto pyetje bëhen veçanërisht të mprehta në lidhje me specifikat biologjike. Së pari, sistemet e informacionit në natyrën e gjallë kanë përmasa të vogla (mikroskopike). Së dyti, ato funksionojnë në temperaturë normale, d.m.th., në kushte kur luhatjet termike nuk janë të papërfillshme. Së treti, në biologji, memorizimi dhe ruajtja e informacionit ka një rëndësi të veçantë. Vini re se në teknologji, problemet e transmetimit të informacionit janë më të rëndësishme; në shembullin e optimizimit të transmetimit, u zhvilluan dispozitat kryesore të teorisë së informacionit. Më pak vëmendje iu kushtua çështjeve të marrjes dhe ruajtjes së informacionit. Në biologji, përkundrazi, këto pyetje bëhen parësore.

Pa pretenduar për një përkufizim të rreptë të konceptit të "informacionit", ne theksojmë dy nga atributet e tij të nevojshme: 1) informacioni presupozon zgjedhjen e një (ose disa) opsionesh nga shumë të mundshme, 2) zgjedhja e bërë duhet të mbahet mend. Le të theksojmë: kushti i dytë - memorizimi i informacionit - është shumë i rëndësishëm. Për herë të parë, Kastler tërhoqi vëmendjen për këtë [P26] në vitin 1960. Në proceset e transferimit të informacionit, "memorizimi" luan një rol më të vogël sesa në marrjen, përpunimin dhe ruajtjen e informacionit. Në të vërtetë, sistemi transmetues është i detyruar të mbajë mend informacionin vetëm për kohën e transmetimit, e cila në parim mund të jetë e shkurtër. Në biologji, kushti për memorizimin afatgjatë, nga ana tjetër, luan një rol të rëndësishëm.

Sasia e informacionit quhet sasi

ku është numri total i opsioneve të mundshme, numri i opsioneve të zgjedhura. Sasia e informacionit është jo zero nëse dihet se, për ndonjë arsye, një nga opsionet apriori është zbatuar (por nuk dihet se cili). Ky numër është maksimal nëse dihet se një opsion specifik është zbatuar (zgjedhur). Sasia nëse

Asgjë nuk dihet. Baza e logaritmit (dmth. sistemi binar) është zgjedhur për lehtësi; njësia e informacionit në këtë sistem është një bit; korrespondon me zgjedhjen e një opsioni nga dy të mundshmet.

Shprehja (12.8) përgjithësohet lehtësisht në rastin kur N variante a priori mund të realizohen me probabilitete dhe realizohen a posteriori me probabilitet atëherë

Përzgjedhja ose zbatimi i varianteve të pasme mund të bëhet në dy mënyra të ndryshme; ose si rezultat i veprimit të forcave të jashtme - në këtë rast, ata flasin për marrjen e informacionit nga një sistem tjetër (i jashtëm), ose spontanisht, si rezultat i sjelljes së paqëndrueshme të vetë sistemit - në këtë rast, lindja. ndodh (shfaqja) e informacionit të ri.

Një sistem informacioni duhet të jetë i aftë: a) të marrë informacion, b) të ruajë ose, e njëjta gjë, të memorizojë informacion, c) të lëshojë informacion kur ndërvepron me një pranues tjetër në lidhje me sistemin në shqyrtim. Prandaj rrjedh se sistemi i informacionit duhet të jetë multistacionar.

Numri i gjendjeve stacionare të qëndrueshme përcakton kapacitetin e informacionit, pra sasinë maksimale të informacionit që sistemi mund të marrë:

Sistemi duhet të jetë shpërndarës. Kjo do të thotë se pjesët reale të të gjithë numrave karakteristikë të gjendjeve stacionare janë negative; ky është një parakusht për memorizimin e informacionit. Një shembull i një sistemi të tillë është bilardo kinez. Është një top në një tabelë me anët, vrima dhe kunjat. Përkatësia e një topi në një vrimë të caktuar është informacion për gjendjen e sistemit.

Në nivelin mikroskopik (molekular), problemi i dizajnimit të sistemit të informacionit bëhet jo i parëndësishëm. Së pari, në një sistem shumëstacionar, secila prej trajektoreve fazore ndodhet vetëm në një pjesë të caktuar të hapësirës fazore (në rajonin e tërheqjes së një gjendjeje të caktuar). I gjithë vëllimi i fazës nuk është i disponueshëm për secilën nga trajektoret. Kjo do të thotë se sistemi i informacionit nuk është plotësisht i ekuilibruar ergodik dhe termodinamik. Duhet të ketë shkallë lirie të dedikuara që të ruajnë vlerat e tyre për një kohë të gjatë dhe të mos i përsërisin të gjitha të mundshmet.

Le ta shpjegojmë këtë me shembullin e bilardos kineze. Shkallët e theksuara të lirisë këtu janë koordinatat e topit. Ndryshimi në x dhe y është i kufizuar në skajet e vrimave; topi nuk mund të lëvizë në një vrimë tjetër pa ndërhyrje të jashtme. ku

shkallët e tjera të lirisë që lidhen me dridhjet e atomeve të topit dhe tabelës mund (dhe duhet të vazhdojnë të jenë) ergodike.

Së dyti, gjendja e dissipativitetit, siç e kemi parë, shoqërohet me paqëndrueshmërinë (dhe rrjedhimisht kaosin) e lëvizjeve mikroskopike. Kjo do të thotë se shkallët përkatëse të lirisë duhet të jenë ergodike. Kështu, hapësira fazore e sistemit të informacionit duhet të shtresohet në nënsisteme ergodike dhe dinamike. Sidoqoftë, një shtresim i tillë nuk mund të kryhet absolutisht në mënyrë strikte; shkallë të ndryshme lirie janë gjithmonë të lidhura me njëra-tjetrën. Kjo manifestohet në faktin se shkallët dinamike (informative) të lirisë luhaten dhe ekziston një probabilitet i caktuar i ndryshimit rrënjësor të tyre (për shembull, një top që hidhet në një vrimë tjetër) nën ndikimin e një nënsistemi ergodik (dmth., luhatjet termike). .

Në sistemet makroskopike të informacionit, ky probabilitet është i papërfillshëm, por në sistemet mikroskopike duhet të merret parasysh. Kështu, kushtet e multistacionaritetit dhe dissipativitetit nuk mund të përmbushen njëkohësisht në mënyrë absolutisht strikte; ato janë fakultative. Kjo do të thotë se kushti i "memorizimit" nuk mund të jetë absolut; mund të flitet vetëm për të mësuar përmendësh me një probabilitet të caktuar për një kohë të caktuar (jo pafundësisht të gjatë). Me fjalë të tjera, një sistem informacioni nuk mund të kujtohet përgjithmonë. Në sistemet reale të informacionit, koha karakteristike e memorizimit varet nga dizajni i tyre, temperatura dhe energjia e lirë.

Në dritën e sa më sipër, çështja e marrëdhënies midis entropisë dhe informacionit rezulton të jetë jo e parëndësishme. Entropia fizike është logaritmi i vëllimit fazor të disponueshëm për sistemin (duke marrë parasysh konvencionalitetin e këtij koncepti - shih më lart), i matur në njësi ku numri i shkallëve të lirisë dhe madhësia e qelizës minimale (kuantike) të fazës hapësirë. Formalisht, entropia mund të përfaqësohet si

Sasia është entropia, e matur në bit; numri i qelizave në hapësirën fazore. Nga ana tjetër, kapaciteti i informacionit mund të shkruhet në formë

ku është madhësia e hapësirës fazore të një qelize informacioni. Krahasimi i formulave (12.11) dhe (12.12) tregon se entropia dhe informacioni ndryshojnë si në koeficient ashtu edhe në madhësi të qelizës.

Koincidenca e (12.11) dhe (12.12) në formë shërbeu si bazë për deklaratën në lidhje me identitetin e koncepteve të informacionit dhe entropisë. Më saktësisht, argumentohet se entropisë i mungon informacioni për gjendjen e sistemit dhe (ose) informacionit i mungon entropia, domethënë diferenca midis entropisë maksimale, e cila

do të kishte një sistem pa informacion, dhe entropinë reale që ka sistemi, duke zotëruar informacionin e marrë. Në këtë drejtim përdoret termi neo-entropi, i cili konsiderohet identik me informacionin.

Megjithatë, shumë nuk janë të kënaqur me këto deklarata, dhe çështja e marrëdhënies ndërmjet informacionit dhe entropisë mbetet e diskutueshme.

Le të diskutojmë çështjen në më shumë detaje.

Para së gjithash, dallimi i madh sasior midis informacionit që përmban sistemi dhe entropisë së tij është i habitshëm.

Blumenfeld (shih [P61) në një sërë shembujsh biologjikë (qelizë, organizëm, etj.) tregoi se entropia që përmban një objekt është shumë herë (disa renditje të madhësisë) më e lartë se informacioni i disponueshëm për të. Dallimi është edhe më i madh në sistemet moderne të informacionit jo të gjallë (për shembull, në një tekst të shtypur, entropia tejkalon informacionin me rreth 1010 herë).

Një ndryshim kaq i madh sasior nuk është i rastësishëm. Ajo lidhet me faktin se vëllimi i hapësirës fazore të qelizës së informacionit është i madh në krahasim me vlerën e kësaj të fundit për faktin se qeliza e informacionit duhet të përmbajë një nënsistem ergodik dhe, për rrjedhojë, të zërë një të madhe (në krahasim me qelizën njësi) vëllimi.

Kështu, ndryshimi në shkallët e entropisë dhe informacionit nuk është i rastësishëm, por shoqërohet me ndryshimin themelor të tyre. Entropia është një masë e grupit të atyre gjendjeve të sistemit në të cilat sistemi duhet të harrojë të jetë; informacioni është një masë e grupit të atyre gjendjeve në të cilat sistemi duhet të mbajë mend të jetë.

Le të shohim se si lidhen ndryshimet në entropi dhe informacion duke përdorur shembullin e bilardos kineze. Le të kufizojmë shqyrtimin tonë në jetëgjatësinë e sistemit. Fakti është se çdo sistem informacioni, duke qenë jo ekuilibër, relaksohet dhe shembet sipas shkallëve strukturore të lirisë, domethënë, ai pushon së qeni informues.

Koha e relaksimit strukturor është më e madhe se (ose e barabartë me) koha e memorizimit. Në shembullin tonë, ne po flasim për shkatërrimin spontan të barrierave midis vrimave; koha karakteristike e këtij procesi është mjaft e gjatë. Gjatë kësaj kohe, shkallët strukturore të lirisë nuk ndryshojnë, prandaj ato nuk kontribuojnë në entropinë. (Në këtë rast, entropia lidhet vetëm me shkallët e lirisë, të cilat relaksohen shpejt. Sjellja e tyre nuk varet nga ajo se në cilën nga vrimat ndodhet topi dhe nëse është vendosur në ndonjë vrimë apo ndodhet pranë saj. Entropia fizike e sistemit është e njëjtë në të gjitha rastet, por sasia e informacionit është e ndryshme: është e barabartë me zero nëse topi nuk vendoset në vrimë dhe e barabartë nëse ndodhet në një vrimë të caktuar.

Procesi i marrjes së informacionit (në rastin tonë, vendosja e një topi në një vrimë të caktuar) kërkon shpenzimin e punës që kthehet në nxehtësi (përndryshe pritja nuk do të ishte e pakthyeshme). Rrjedhimisht, me marrjen, entropia fizike e sistemit rritet (nga sasia dhe në të njëjtën kohë

informacioni rritet (nga shuma Zakonisht, por përndryshe nuk janë të lidhura në asnjë mënyrë. Kështu, gjatë marrjes së informacionit, raporti nuk respektohet.

Situata është disi më e komplikuar në rast të daljes së informacionit të ri. Një sistem i aftë për të gjeneruar informacion duhet të ketë të gjitha vetitë e informacionit dhe, përveç kësaj, të plotësojë kushtin: një shtresë e caktuar e hapësirës së tij fazore duhet të jetë zgodike, duke përfshirë shkallët e zgjedhura (informative) të lirisë. Pikërisht në këtë rast vendosen kushtet fillestare për gjenerimin spontan të informacionit.

Një shembull është i njëjti bilardo kinez me kunja. Nëse në fillim energjia kinetike e topit është mjaft e madhe (më shumë barriera midis vrimave), atëherë topi lëviz nëpër tabelë pa u ngecur në vrima. Për shkak të paqëndrueshmërisë së reflektimit nga shiritat e flokëve (ato luajnë rolin e sipërfaqeve konkave në bilardo Sinai, Fig. 12.2), lëvizja e topit është stokastike dhe kushtet fillestare harrohen shpejt. Kur energjia kinetike zvogëlohet (për shkak të shpërbërjes së sistemit, në këtë rast, për shkak të fërkimit dhe përplasjeve) në një vlerë të rendit të lartësisë së pengesës, topi bie në rajonin e tërheqjes së njërës prej vrimave dhe mbetet. në të. Kështu, gjendja e zgjedhur "kujtohet", që është lindja e informacionit. I njëjti parim përdoret në ruletë dhe makina të tjera të lojërave.

Në të gjitha këto raste, kriteri për ndarjen e shtresës ergodike të kushteve fillestare nga shtresa e informacionit është vlera e energjisë së lirë fillestare (në bilardo, kjo është energjia kinetike e topit). Ai gjithashtu përcakton rritjen e entropisë së sistemit në procesin e gjenerimit të informacionit. Le të vlerësojmë vlerën Nëse kapaciteti informativ i sistemit është i vogël: atëherë kufizimi kryesor nga poshtë është kushti ku është barriera midis vrimave. Barrierat përcaktojnë kohën e "memorizimit" sipas raportit

Për një vlerë mjaft të madhe (makroskopike) të c, barriera është

Kështu, në këtë rast, rritja e entropisë për një bit informacioni është e barabartë me

ose në njësitë e informacionit:

Në rastin kur kapaciteti i informacionit është i madh (d.m.th., duhet të merret parasysh një kusht tjetër: përpara se të "zgjidhet një shtet i caktuar", sistemi duhet të vizitojë të paktën një herë në zonën e ndikimit të secilit prej gjendjeve të mundshme. .

Lëreni energjinë të shpërndahet gjatë kalimit të secilës prej gjendjeve. Vlera minimale është e rendit të energjisë së luhatjeve termike: Në këtë rast, ajo kufizohet nga poshtë nga kushti

Në këtë rast, rritja e entropisë për bit informacion është e barabartë me

Kështu, në rast se informacioni shfaqet, është e nevojshme të "paguash" për të me një rritje të entropisë, në mënyrë që, megjithatë, marrëdhëniet e tipit "një rritje në informacion është e barabartë me një ulje të entropisë" të mos ndodhin. edhe në këtë rast.

Le të diskutojmë situatën që lind nëse braktisim kushtin e ruajtjes së informacionit. Në këtë rast, mund të flasim për informacione në lidhje me vlerat e menjëhershme të koordinatave dhe momenteve të të gjithë atomeve në sistem. Për të dalluar këtë "informacion" nga ai real (i memorizuar), Lizer propozoi termin mikroinformacion, informacioni i memorizuar quhet makroinformacion.

Nëse dihet që në një moment të caktuar sistemi është në njërën (nga të mundshmet) të përcaktuara të hapësirës fazore, atëherë sasia e mikroinformacionit është maksimale dhe është e barabartë me

Në këtë rast, entropia e sistemit është e barabartë me zero, pasi të gjitha qelizat e tjera për momentin mund të konsiderohen "të paarritshme".

Nëse dihet se në një moment të caktuar sistemi është në ndonjë nga qelizat e mundshme, por nuk dihet se në cilën prej tyre, atëherë mikroinformacioni është i barabartë me zero, dhe entropia është maksimale dhe është e barabartë me

Nëse dihet se për momentin sistemi është në një (ndonjë) nga qelizat, atëherë

dhe ekziston një lidhje e thjeshtë midis mikroinformacionit dhe entropisë:

Mikroinformacioni, në parim, mund të shndërrohet në makroinformacion duke e marrë atë nga një sistem tjetër informacioni. Për shembull, duke fotografuar një model të lëvizjes Brownian, koordinatat e menjëhershme të grimcave mund të kapen (memorizohen) në film fotografik. Ky informacion më pas mund të përdoret për çdo (madje edhe që nuk lidhet me lëvizjen e grimcave)

qëllimet. Është e rëndësishme që në këtë rast, në procesin e marrjes (transformimi i mikroinformacionit në makro-), duhet të shpenzohet puna dhe entropia e të gjithë sistemit duhet të rritet me një sasi që dukshëm tejkalon sasinë e informacionit të ruajtur.

Është ky proces - shndërrimi i mikro-informacionit në makro-informacion dhe përdorimi i tij për kontroll - që qëndron në themel të paradoksit me "demonin e Maxwell-it". Rezolucioni i tij është se procesi i marrjes së mikroinformacionit dhe përdorimit të tij për kontroll shoqërohet me një rritje të entropisë së të gjithë sistemit / tejkaluar informacionin.

Në lidhje me një ndryshim kaq domethënës midis informacionit mikro dhe makro, përdoren gjithashtu dy koncepte të entropisë. Së bashku me entropinë fizike, përdoret edhe entropia informative, e cila përkufizohet si

ku është numri i makrostateve të qëndrueshme të palëvizshme, për të cilat dihet se sistemi është në njërën prej tyre (por nuk dihet në cilën).

Sipas përkufizimit, entropia e informacionit lidhet me informacionin sipas raportit

Një rritje e informacionit (duke e mbajtur atë gjithmonë shoqërohet me një ulje të barabartë të entropisë së informacionit. Termi entropi e informacionit është i përshtatshëm për t'u përdorur kur bëhet fjalë për shfaqjen e informacionit dhe renditjen e një sistemi. Është në këtë kuptim që përdoret në Kapitulli 2. Theksojmë se me entropinë fizike kjo sasi, në përgjithësi, nuk lidhet.

Pra, baza për ndryshimin midis entropisë fizike dhe informacionit (si në mënyrë cilësore ashtu edhe sasiore) është gjendja e memorizimit dhe vëllimi i madh që rezulton i hapësirës fazore të qelizës së informacionit në krahasim me atë elementar.

Është me interes të vlerësohet madhësia e "stokut". Është e vështirë ta bësh këtë në terma të përgjithshëm tani. Dikush mund të mendojë, megjithatë, se madhësia optimale është realizuar në natyrën e gjallë (domethënë minimale, por duke plotësuar kërkesat). Mund të vlerësohet duke përdorur të dhënat aktuale.

Në një molekulë të ADN-së, një qelizë që përmban dy pjesë informacioni është një palë nukleotide plotësuese. Ai përmban rreth atome. Entropia e lidhur me shkallët vibruese të lirisë është pak, ose entropia për bit informacioni është rreth 60 bit. Prandaj, vëllimi i hapësirës fazore për bit është i barabartë me

Shënim: Prezantohet koncepti i entropisë. Disa shembuj tregojnë se si llogaritet entropia e një ndryshoreje të rastësishme diskrete. Prezantohet koncepti i kodimit të prefiksit. Detyrat e vetë-studimit përmirësojnë perceptimin e materialit. Gjithashtu shumë studime të ndryshme matematikore

Entropia d.s.c. është minimumi i numrit mesatar të biteve që duhet të transmetohen në kanalin e komunikimit rreth vlerës aktuale të një d.s.v të caktuar.

Konsideroni një shembull (garim me kuaj). Gara përfshin 4 kuaj me shanse të barabarta për të fituar, d.m.th. probabiliteti që çdo kalë të fitojë është 1/4. Le të prezantojmë d.s.v. e barabartë me numrin e kalit fitues. Këtu. Pas çdo gare, do të jetë e mjaftueshme për të transmetuar dy pjesë informacioni për numrin e kalit fitues përmes kanaleve të komunikimit. Ne kodojmë numrin e kalit si më poshtë: 1-00, 2-01, 3-10, 4-11. Nëse prezantoni një funksion që kthen gjatësinë e një mesazhi që kodon një vlerë të caktuar, atëherë m. është gjatësia mesatare e mesazhit kodues. Mund të përcaktohet zyrtarisht përmes dy funksioneve, ku secila vlerë shoqërohet me një kod biti, për më tepër, një me një, dhe kthen gjatësinë në bit për çdo kod specifik. Në këtë shembull .

Tani le të d.s.v. ka shpërndarjen e mëposhtme

ato. kali numër 1 është i preferuari. Pastaj

Le të kodojmë numrat e kuajve: 1-0, 2-10, 3-110, 4-111, d.m.th. në mënyrë që çdo kod të mos jetë prefiks i një kodi tjetër (një kodim i tillë quhet kodim prefiks). Mesatarisht, në 16 ndeshje, kali i parë duhet të fitojë 12 prej tyre, i dyti në të dytin, i 3ti në të parin dhe i 4ti në të parin. Kështu, gjatësia mesatare e mesazhit fitues është e barabartë me bit / sim ose m. Rreth. ... Në të vërtetë, tani jepet nga shpërndarja e mëposhtme e probabilitetit:,,. Prandaj,

Kështu që, .

Mund të vërtetohet se nuk ka kodim më efikas për dy rastet e shqyrtuara.

Çfarë Entropia Shannon korrespondon me idenë intuitive të masës së informacionit, mund të demonstrohet në eksperiment për të përcaktuar kohën mesatare të reagimeve mendore. Eksperimenti konsiston në faktin se një nga llambat ndizet përpara personit të testuar, gjë që ai duhet ta tregojë. Një seri e madhe testesh kryhen në të cilat çdo llambë ndizet me një probabilitet të caktuar. , ku është numri i llambës. Rezulton se koha mesatare e kërkuar për përgjigjen e saktë të subjektit është në përpjesëtim me vlerën e entropisë , dhe jo numri i llambave, siç mund të mendohet. Në këtë eksperiment, supozohet se sa më shumë informacion të marrë një person, aq më e gjatë do të jetë koha e përpunimit dhe, në përputhje me rrethanat, reagimi ndaj tij.

Ushtrimi numër 13 Gjeni entropinë e d.s.v. dhe gjatësia mesatare e secilit prej kodeve të dhëna për këtë d.s.v.

Ushtrimi numër 14 d.s.c. është e barabartë me numrin e "stemave" të hedhura në dy monedha të përsosura. Gjeni entropinë. Gjeni një kod minimal për, llogaritni gjatësinë mesatare të tij dhe justifikoni minimalitetin e tij.

Ushtrimi 15 d.s.c. dhënë nga shpërndarja, Gjeni entropinë e kësaj d.s.v. Gjeni një kod minimal për, llogaritni gjatësinë mesatare të tij dhe justifikoni minimalitetin e tij.

Ushtrimi numër 16 Rreth d.s.v. dihet se kuptimet e saj janë shkronja cirilike. Janë bërë një sërë matjesh të njëpasnjëshme, rezultati i të cilave është “TEORIA E INFORMACIONIT”. Mbi bazën e këtij rezultati, hartoni një ligj të përafërt të shpërndarjes së probabilitetit të kësaj d.s.v. dhe vlerësoni gjatësinë minimale mesatare të kodeve për.

Informacion semantik

Në vitet 50 të shekullit XX, u shfaqën përpjekjet e para për të përcaktuar përmbajtjen absolute të informacionit të fjalive të gjuhës natyrore. Vlen të përmendet se vetë Shannon një herë vuri në dukje se kuptimi i mesazheve nuk ka të bëjë fare me teorinë e tij të informacionit, e cila është ndërtuar tërësisht mbi dispozitat e teorisë së probabilitetit. Por mënyra e tij e matjes së saktë të informacionit sugjeroi mundësinë e ekzistencës së mënyrave për të matur me saktësi informacionin e një lloji më të përgjithshëm, për shembull, informacion nga fjalitë e gjuhës natyrore. Një shembull i një prej masave të tilla është një funksion, ku është një fjali, përmbajtja semantike e së cilës matet, -

NDËRLINDJA E ENTROPISË DHE INFORMACIONIT. Përkufizimin e parë të rreptë të informacionit e ka dhënë shkencëtari amerikan K. Shannon në vitin 1948. Ai e përkufizoi atë si masë për zvogëlimin e pasigurisë, d.m.th. përzgjedhja e elementeve të nevojshme nga një grup i caktuar i tyre. Kjo nënkuptonte si pasigurinë e njohurive për objektet ashtu edhe pasigurinë e vetë objektit. Me fjalë të tjera, në këtë kuptim, informacioni është informacion që largon pasigurinë që ekzistonte përpara se të merrej. Së bashku me qasjen probabilistiko-statistikore, mund të jepet një përkufizim tjetër i informacionit bazuar në kombinatorikë. Me këtë qasje, të propozuar në vitin 1956 nga neurofiziologu anglez W. Ashby, informacioni përkufizohet jo si eliminimi i pasigurisë, por si eliminimi i uniformitetit, identitetit. Masa e sasisë së informacionit në këtë rast është shkalla e diversitetit të elementeve të sistemit ose informacionit rreth tij. Njësia e matjes së sasisë së informacionit është një bit, i cili korrespondon me zgjedhjen e një prej dy gjendjeve njësoj të mundshme ose të dy probabiliteteve po aq të mundshme. Informacioni ka vetinë e aditivitetit: sasia totale e informacionit që kërkohet për të zgjidhur dy probleme është e barabartë me shumën e informacionit të veçantë. Prandaj, nëse jepet numri i rezultateve po aq të mundshme të problemit, atëherë informacioni është proporcional me logaritmin natyror të këtij numri.

Nga termodinamika dihet se matja e mungesës së informacionit për një sistem të caktuar fizik është entropia. Paralelizmi i dukshëm i përkufizimeve të informacionit dhe entropisë i lejoi L. Brillouin të krijonte një lidhje midis informacionit dhe uljes përkatëse të entropisë. Për të hequr shenjën minus nga formula që pasqyron këtë lidhje, Brillouin prezantoi një term të ri - negentropi, ose entropi negative. Kështu, u formulua parimi i negjentropisë së informacionit, i cili mund të konsiderohet si një përgjithësim i parimit Carnot - ligji i dytë i termodinamikës: në çdo proces real, informacioni degradon dhe negjentropia zvogëlohet.

Megjithatë, duhet theksuar se analiza e marrëdhënies matematikore midis entropisë dhe informacionit është kryer nga Brillouin vetëm për rastin e mikroinformacionit, që i referohet proceseve në nivel molekular. Nuk ka asnjë arsye për të shtrirë formulën e saj në rastin e makroinformacionit. Gabimi më pas u rrit në nivelin e përgjithësimeve filozofike.

Sa i përket përkufizimit të makroinformacionit, është e përshtatshme të përdoret përkufizimi i propozuar nga G. Kastler: informacioni është një zgjedhje e rastësishme e memorizuar e opsioneve nga ato të mundshme dhe po aq të mundshme. Ky përkufizim në thelb shkon përtej kornizës së racionalitetit klasik: nga pikëpamja e qasjes mekanike, lëvizja nuk mund të realizohet në opsione alternative, nuk ka liri zgjedhjeje midis tyre.

Kërkesa për memorizimin e informacionit të përfshirë në përkufizimin e Kastler do të thotë se ne po flasim për një sistem joekuilibri, pasi një sistem ekuilibri ka një gjendje të vetme dhe nuk mund të kujtojë asgjë. Përkundrazi, një sistem jo-ekuilibër i aftë për të formuar struktura shpërhapëse të përshkruara nga sinergjetikët e posedon këtë aftësi.

Përkufizimi i informacionit, sipas Kastler, nuk e shter pasurinë semantike të këtij koncepti. Për shkak të natyrës së shumëanshme të këtij koncepti, përkufizimi i tij i përgjithshëm shkencor ende mungon. Sipas N.N. Moiseev, një përkufizim i tillë vështirë se është i mundur fare.

Një nga aspektet e rëndësishme të informacionit është pasuria informative e sinjaleve. Rrjedhat e energjisë dhe substancave ruajnë gjendjen e sistemit, dhe flukset e informacionit të bartur nga sinjalet e kontrollojnë atë dhe organizojnë funksionimin e tij. Sinjalet mund ta kryejnë këtë funksion nëse përmbajnë tekst të pasur me informacion që mund të deshifrohet në sistemin marrës. Entropia termodinamike në proceset e transferimit të informacionit rritet natyrshëm.

Kur merren parasysh problemet e V.E. dhe dhe. Për shkak të këtyre vështirësive, shpesh hasen pohime të gabuara filozofike dhe metodologjike: a) informacioni është një nga vetitë e materies, është i kudondodhur dhe gjendet në çdo objekt material; b) ekzistojnë dy karakteristika plotësuese reciproke të fenomeneve reale - negentropia, ose informacioni, si masë e rregullsisë dhe entropia si masë e çrregullimit.

Deklarata e parë bie ndesh me të kuptuarit e informacionit si proces, dhe e dyta është pasojë e përpjekjeve për të shtrirë parimin e negentropisë Brillouin në rastin e makroinformacionit.

Natyrisht, çdo proces i marrjes së makroinformacionit shoqërohet me një ndryshim në entropi. Megjithatë, marrëdhënia mes tyre është më së shpeshti e paqartë, dhe në shumë raste edhe jolineare. Nuk ka asnjë arsye për të folur për ekzistencën e një marrëdhënie të caktuar sasiore midis informacionit që lidhet me një sistem të caktuar dhe një ndryshimi në entropinë e këtij sistemi.

Literatura:

I. V. Melik-Gaikazyan Proceset e informacionit dhe realiteti. M., 1957.

Fjalor i termave filozofikë. Botimi shkencor i profesor V.G. Kuznetsova. M., INFRA-M, 2007, f. 80.

Si mund ta masim informacionin në një ngjarje? Sa informacion na jep ngjarja? Le t'u përgjigjemi këtyre pyetjeve me shembuj.

Shembull F.1

Imagjinoni një person të ulur në një dhomë. Duke parë nga dritarja, ai mund të shohë qartë se dielli po shkëlqen. Nëse në këtë moment ai merr një mesazh (ngjarje) nga një fqinj i cili thotë "Mirëdita", a përmban ky mesazh ndonjë informacion? Sigurisht që jo! Personi tashmë është i sigurt se kjo është dita dhe moti është i mirë. Komunikimi nuk e pakëson pasigurinë e njohurive të tij.

Shembull F.2

Imagjinoni që një person bleu një biletë lotarie. Nëse një shok telefonon për të thënë se ka fituar çmimin e parë, a përmban informacion ky mesazh (ngjarje)? Sigurisht po! Mesazhi përmban shumë informacione sepse probabiliteti për të fituar çmimin e parë është shumë i vogël. Marrësi i mesazhit është i tronditur.

Dy shembujt e mësipërm tregojnë se ekziston një lidhje midis dobisë së një ngjarjeje dhe pritshmërive të marrësit. Nëse marrësi hiqet nga skena kur ndodh ngjarja, mesazhi përmban shumë informacion; përndryshe nuk është. Me fjalë të tjera, përmbajtja e informacionit të një mesazhi është e lidhur në mënyrë të kundërt me gjasat që mesazhi të ndodhë. Nëse ngjarja është shumë e mundshme, ajo nuk përmban asnjë informacion (Shembulli F.1); nëse nuk ka gjasa, ai përmban shumë informacion (Shembulli F.2).

F.2. Entropia

Supozoni se S është shpërndarja e probabilitetit të një numri të kufizuar ngjarjesh (Shih Shtojcën D). Entropia ose pasiguria në S mund të përkufizohet si:

ku është rezultati i mundshëm i një testi. Ju lutemi vini re se nëse. P (s) = 0, atëherë do të supozojmë se P (S) x është e barabartë me 0 për të shmangur ndarjen me 0.

Shembull F.3

Supozoni se po hedhim monedhën e duhur. Rezultatet janë koka dhe bishtat, secila me probabilitet 1/2, që do të thotë

H (S) = P (kokat) x + P (bishtet) x H (S) = (1/2) x = 1 bit

Ky shembull tregon se rezultati i hedhjes së monedhës së saktë na jep 1 bit informacion (pasiguri). Sa herë që hedhim, nuk e dimë se cili do të jetë rezultati, pasi të dy mundësitë janë njësoj të mundshme.

Shembull F.4

Supozoni se po hedhim monedhën e gabuar (të dëmtuar). Rezultatet e rënies së "kokave" dhe "bishtave" janë si më poshtë: P ("kokat") = 3/4 dhe P ("bishtat") = 1/4. Do të thotë se

H (S) = (3/4) x + (1/4) x = 0,8 bit

Ky shembull tregon se rezultati i hedhjes së monedhës së gabuar na jep vetëm 0,8 bit informacion (pasiguri). Sasia e informacionit këtu më pak se sasia e informacionit në shembullin F.3, sepse presim të marrim kokat më shumë se bishtat.

Shembull F.5

Tani supozojmë se po hedhim një monedhë krejtësisht të gabuar në të cilën rezultati është gjithmonë "koka", P ("koka") = 1 dhe P ("bisht") = 0. Entropia në këtë rast

H (S) = (1) x + (0) x = (1) x (0) + (0) = 0

Nuk ka asnjë informacion (pasiguri) në këtë eksperiment. Ne e dimë se rezultati do të jetë gjithmonë "koka"; entropia - 0.

Entropia maksimale

Mund të tregohet se për një shpërndarje probabiliteti me n rezultatet e mundshme, entropia maksimale mund të arrihet vetëm nëse të gjitha probabilitetet janë të barabarta (të gjitha rezultatet janë njësoj të mundshme). Në këtë rast, entropia maksimale

H max = log 2 n bit

Me fjalë të tjera, entropia e çdo grupi probabiliteti ka një kufi të sipërm, i cili përcaktohet nga kjo formulë.

Shembull F.6

Supozoni se po hidhni një zare gjashtëkëndor. Entropia e testit është

Entropia minimale

Mund të tregohet se për një shpërndarje probabiliteti me n rezultatet e mundshme, entropia minimale fitohet nëse dhe vetëm nëse një nga rezultatet merret gjatë gjithë kohës. Në këtë rast, entropia minimale

H min (S) = 0 bit

Me fjalë të tjera, kjo formulë përcakton kufirin e poshtëm të entropisë për çdo grup probabiliteti.

Entropia e çdo grupi probabiliteti është ndërmjet 0 pak dhe log 2 n pak ku n - numri i rezultateve të mundshme.

Interpretimi i entropisë

Entropia mund të mendohet si numri i biteve që mund të përfaqësojnë çdo rezultat nga një grup probabilitetesh, kur rezultatet janë po aq të mundshme. Për shembull, kur një shpërndarje e mundshme e rastësishme ka tetë rezultate të mundshme, çdo rezultat mund të përfaqësohet si tre bit (000 deri në 111). Kur marrim rezultatin e eksperimentit, mund të themi se kemi marrë 3 bit informacion. Entropia e këtij grupi probabiliteti është gjithashtu 3 bit (ln 2 8 = 3).

Entropia e përbashkët

Kur kemi dy grupe shpërndarjesh probabiliteti, S 1 dhe S 2, ne mund të përcaktojmë entropinë e përbashkët H (S 1, S 2) si

Entropia e kushtëzuar

Shpesh na duhet të dimë pasigurinë e shpërndarjes së probabilitetit S 1, me kusht që të merret një rezultat, i cili përcaktohet nga pasiguria e shpërndarjes së probabilitetit S 2. Quhet entropia e kushtëzuar H (S 1 | S 2). Mund të vërtetohet se

H (S 1 | S 2) = H (S 1, S 2) - H (S 2) bit

Raporte të tjera

Këtu, pa prova, ne paraqesim disa marrëdhënie të tjera për entropinë:

1. H (S 1, S 2) = H (S2 | S 1) + H (S 1) = H (S 1 | S 2) + H (S2)
2. H (S 1, S 2)<= H (S 1) + H (S2)
3. H (S 1 | S 2)<= H (S 1)
4. H (S 1, S2, S3) = H (S 1 | S2, S3) + H (S 1, S3)

Marrëdhëniet e dyta dhe të treta janë të vlefshme nëse S 1 dhe S 2 janë statistikisht të pavarura.

Shembull F.7

Në kriptografi, nëse P është shpërndarja e probabilitetit të tekstit origjinal, C është shpërndarja e probabilitetit të tekstit të shifruar dhe K është shpërndarja e probabilitetit të çelësave, atëherë H (K | C) mund të interpretohet si kompleksiteti i sulmit të tekstit të shifruar , në të cilën njohja e C mund të çojë në njohjen e K.

Shembull F.8

Në kriptografi, duke pasur parasysh tekstin origjinal dhe çelësin, një algoritëm përcaktues i enkriptimit krijon një tekst unik shifror, që do të thotë H (C | K, P) = 0. Gjithashtu duke pasur parasysh tekstin e shifruar dhe algoritmin e deshifrimit të çelësit, krijohet një tekst origjinal unik, që do të thotë H (P | K, C) = 0. Nëse jepen teksti shifror dhe teksti origjinal, çelësi përcaktohet gjithashtu në mënyrë unike: H (K | P, C) = 0.

Fshehtësi e përsosur

Në kriptografi, nëse P, K dhe C janë hapësirat e mostrimit të probabilitetit të tekstit origjinal, tekstit shifror dhe çelësit, përkatësisht, atëherë kemi H (P | C)<=H (P) . Это может быть интерпретировано так: неопределенность P данного C меньше или равна неопределенности P . В большинстве криптографических систем, справедливо отношение H (P|C)< H (P) , что означает, что перехват зашифрованного текста уменьшает знание, которое требуется для того, чтобы найти исходный текст. Криптографическая система обеспечивает fshehtësia e përsosur nëse vërehet relacioni H (P | C) = H (P), kjo do të thotë se pasiguria e tekstit burimor dhe tekstit të dhënë shifror është e njëjta pasiguri e tekstit burimor. Me fjalë të tjera, Eva nuk merr asnjë informacion duke përgjuar tekstin e shifruar; ajo ende duhet të eksplorojë të gjitha opsionet e mundshme.

Sistemi kriptografik ofron sekret të përsosur nëse H (P | C) = H (P).

Shembull F.9

Në ligjëratat e mëparshme kemi argumentuar se të disponueshme shifror bllok shënimesh ofron privatësi të përsosur. Le ta vërtetojmë këtë fakt duke përdorur marrëdhëniet e mëparshme të entropisë. Supozoni se alfabeti është vetëm 0 dhe 1. Nëse gjatësia e mesazhit është L, mund të vërtetohet se çelësi dhe teksti shifror përbëhen nga 2 karaktere L, në të cilat çdo karakter është po aq i mundshëm. Prandaj, H (K) = H (C) = log 2 2 L = L. Duke përdorur relacionet e marra në shembullin F.8 dhe faktin që H (P, K) = H (P) + H (K) sepse P dhe K janë të pavarura, kemi

H (P, K, C) = H (C | P, K) + H (P, K) = H (P, K) = H (P) + H (K) H (P, K, C) = H (K | P, C) + H (P, C) = H (P, C) = H (P | C) + H (C)

Kjo do të thotë se H (P | C) = H (P)

Shembull F.10

Shannon tregoi se në një sistem kriptografik, nëse (1) çelësat lindin me probabilitet të barabartë dhe (2) ekziston një çelës unik për çdo tekst burimor dhe çdo tekst shifror, atëherë sistemi kriptografik siguron fshehtësi të përsosur. Prova përdor faktin që në këtë rast shpërndarjet e probabilitetit të çelësave, tekstit origjinal dhe tekstit të shifruar janë të së njëjtës madhësi.

F.3. Entropia e gjuhës

Është interesante të lidhet koncepti i entropisë me gjuhët natyrore si anglishtja. Në këtë pjesë, ne prekim disa pika që lidhen me entropinë e gjuhës.

Entropia e një gjuhe arbitrare

Supozoni se një gjuhë përdor shkronja N dhe të gjitha shkronjat kanë një probabilitet të barabartë të shfaqjes. Mund të themi se entropia e kësaj gjuhe është H L = log 2 N. Për shembull, nëse përdorim njëzet e gjashtë shkronja të mëdha (A deri në Z) për të përcjellë mesazhin tonë, atëherë