I njëjti mesazh mund të kodohet menyra te ndryshme. Më i favorshmi është një kod i tillë, kur përdoret i cili harxhohet koha minimale për transmetimin e mesazheve. Nëse transmetimi i secilit element të karakterit (për shembull, 0 ose 1) merr të njëjtën kohë, atëherë kodi optimal do të jetë i tillë që përdorimi i të cilit do të transmetohet mesazhi gjatësia e dhënë do të shpenzohet numri minimal i karaktereve elementare. Kodet Shannon–Fano janë kode prefikse, d.m.th. asnje fjalën e koduar nuk është një parashtesë e ndonjë tjetër. Kjo pronë ju lejon të deshifroni pa mëdyshje çdo sekuencë fjalësh kodi
Le të shqyrtojmë parimin e ndërtimit të një prej algoritmeve të para të kompresimit, i cili u formulua nga shkencëtarët amerikanë Shannon dhe Fano në shembullin e shkronjave të alfabetit rus. Algoritmi përdor kode gjatësi e ndryshueshme, d.m.th. një karakter që shfaqet shpesh është i koduar me një kod me një gjatësi më të vogël, një karakter që shfaqet rrallë është i koduar me një kod me një gjatësi më të madhe.
Për të krijuar një kod të tillë, padyshim, duhet të dini shpeshtësinë e shfaqjes së shkronjave në tekstin rus. Këto frekuenca janë paraqitur në tabelën 1. Shkronjat në tabelë janë renditur në rend zbritës të frekuencave.
Tabela 1
Frekuenca e shfaqjes së shkronjave të alfabetit rus
Duke përdorur një tabelë, kodi më ekonomik mund të gjenerohet bazuar në konsideratat që lidhen me sasinë e informacionit. Natyrisht, kodi do të jetë më ekonomik kur çdo karakter elementar do të transferohet informacion maksimal. Konsideroni një simbol elementar (d.m.th., një sinjal që e përshkruan atë) si sistemi fizik me dy gjendje të mundshme: 0 dhe 1. Informacioni që jep ky simbol është i barabartë me entropinë e këtij sistemi dhe është maksimal në rastin kur të dyja gjendjet janë njësoj të mundshme; në këtë rast, simboli elementar përcjell informacionin 1 (binar). Prandaj, baza e kodimit optimal do të jetë kërkesa që karakteret elementare në tekstin e koduar të ndodhin mesatarisht po aq shpesh.
Ideja e kodimit është që karakteret e koduara (shkronjat ose kombinimet e shkronjave) të ndahen në dy grupe afërsisht të mundshme të barabarta: për grupin e parë të karaktereve, 0 vendoset në vendin e parë të kombinimit (karakteri i parë i numri binar që përfaqëson karakterin); për grupin e dytë - 1. Më tej, çdo grup ndahet sërish në dy nëngrupe afërsisht të mundshme; për personazhet e nëngrupit të parë, 0 vendoset në vendin e dytë; për nëngrupin e dytë - një, etj.
Le të demonstrojmë parimin e ndërtimit të kodit Shannon - Fano në shembullin e materialit të alfabetit rus (shih Tabelën 1). Le të numërojmë gjashtë shkronjat e para (nga "-" në "t"); duke përmbledhur probabilitetet (frekuencat) e tyre, marrim 0.498; të gjitha shkronjat e tjera nga "n" në "f" do të kenë përafërsisht të njëjtën probabilitet prej 0,502. Gjashtë shkronjat e para (nga "-" në "t") në radhë të parë do të kenë një shenjë binare 0. Shkronjat e mbetura (nga "n" në "f") do të kenë një njësi në radhë të parë. Më pas, ne e ndajmë përsëri grupin e parë në dy nëngrupe afërsisht të mundshme të barabarta: nga "−" në "o" dhe nga "e" në "t"; për të gjitha shkronjat e nëngrupit të parë vendosim zero në vendin e dytë dhe një për nëngrupin e dytë. Ne do të vazhdojmë procesin derisa të mbetet saktësisht një shkronjë në çdo ndarje, e cila do të kodohet nga një e caktuar numër binar. Mekanizmi i ndërtimit është paraqitur në tabelën 2, dhe vetë kodi është paraqitur në tabelën 3.
tabela 2
Mekanizmi i ndërtimit të kodit Shannon-Fano në shembullin e alfabetit rus
| Shenjat binare | |||||||||
| letra | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9-të |
| - | |||||||||
| rreth | |||||||||
| e | |||||||||
| por | |||||||||
| Dhe | |||||||||
| T | |||||||||
| n | |||||||||
| nga | |||||||||
| R | |||||||||
| në | |||||||||
| l | |||||||||
| te | |||||||||
| m | |||||||||
| d | |||||||||
| P | |||||||||
| në | |||||||||
| Unë | |||||||||
| s | |||||||||
| h | |||||||||
| b, b | |||||||||
| b | |||||||||
| G | |||||||||
| h | |||||||||
| th | |||||||||
| X | |||||||||
| mirë | |||||||||
| Ju | |||||||||
| sh | |||||||||
| c | |||||||||
| SCH | |||||||||
| uh | |||||||||
| f |
Tabela 3
Rezultati i kodimit të shkronjave të alfabetit rus me kodin Shannon-Fano
Shembulli 4 Le të shkruajmë frazën "metoda e kodimit" duke përdorur kodin Shannon-Fano.
Zgjidhja: Le të përdorim tabelën 3 dhe të marrim rezultatin e mëposhtëm:
(1001)s (110011)n (001)o (1001)s (001)o (111010)b (000)hapësirë
(10111)k (001)o (110010)d (0110)i (10100)r (001)o (10101)c
(0101)a (1000)n (0110)i (110110)i
Vini re se nuk ka nevojë të ndahen shkronjat shenjë e veçantë, meqenëse edhe pa këtë dekodim kryhet pa mëdyshje për shkak të vetive të prefiksit: asnjë fjalë e koduar më e shkurtër nuk është fillimi i një kodi më të gjatë. Në të vërtetë, nga Tabela 3 mund të shihet se kodet për karakteret "hapësirë" dhe "o" janë më të shkurtrat. Në të njëjtën kohë, asnjë kod tjetër nuk ka 000 ("hapësirë") dhe 001 ("o") në fillim të sekuencës. E njëjta gjë mund të vërehet për të gjitha sekuencat e tjera binare të kodit Shannon-Fano, të cilat tregohen në Tabelën 3.
Duhet të theksohet se çdo gabim kodimi (ngatërrimi aksidental i karaktereve 0 ose 1) me një kod të tillë është fatal, pasi deshifrimi i të gjithë tekstit pas gabimit bëhet i pamundur.
Shembulli 5 Le të përcaktojmë nëse kodi që kemi shqyrtuar është optimal në mungesë të gabimeve?
Zgjidhja: Gjeni informacionin mesatar për simbolin elementar (0 ose 1) dhe krahasoni atë me maksimumin informacione të mundshme, e cila është e barabartë me një. Për ta bërë këtë, së pari gjejmë informacionin mesatar të përmbajtur në një shkronjë të tekstit të transmetuar, d.m.th., entropinë për shkronjë (shih formulën 8):
Sipas tabelës 1, ne përcaktojmë numrin mesatar të karaktereve elementare për shkronjë:
Kështu, informacioni për simbol është shumë afër kufirit të tij të sipërm prej një, dhe kodi i dhënë shumë afër optimales.
Në rastin e përdorimit të një kodi binar pesëshifror, informacion për karakter:
Shembulli 6 Le të merret një mesazh (një fjalë në Rusisht) i koduar nga kodi Shannon-Fano: 10111001110010010010100 përmes kanalit të komunikimit.
Kjo sekuencë duhet të deshifrohet.
Zgjidhja: Procesi i dekodimit bazohet në vetinë e prefiksit të kodit dhe kryhet nga e majta në të djathtë. Tabela 3 tregon se gjatësia minimale e kodit është tre bit. Do të numërojë tre bit nga fillimi i kombinimit të kodit të marrë, marrim - 101. Nuk ka një kod të tillë në tabelë, kështu që shtojmë edhe një bit, marrim - 1011. Ky kod gjithashtu nuk është në tabelë, prandaj , duhet të shtojmë edhe një bit, marrim një kombinim - 10111, i cili korrespondon me shkronjën "k". Kombinimi i kodit 10111 përjashtohet nga kombinimi i kodit të marrë dhe zëvendësohet me simbolin origjinal (shkronja "k"). Procesi i deshifrimit të pjesës tjetër të shkronjave mesazh i marrë kryer në mënyrë të ngjashme.
Procesi i plotë i dekodimit tregohet në tabelën 4. Shenja "-" në tabelë do të thotë që kodi i zgjedhur nuk është në tabelën 3.
Tabela 4
Procesi i dekodimit të mesazhit
| Sekuenca e kodit e pranuar | ||||||||||||||||||||||
| - | ||||||||||||||||||||||
| - | ||||||||||||||||||||||
| te | ||||||||||||||||||||||
| te | rreth | |||||||||||||||||||||
| te | rreth | - | ||||||||||||||||||||
| te | rreth | - | ||||||||||||||||||||
| te | rreth | - | ||||||||||||||||||||
| te | rreth | d | ||||||||||||||||||||
| te | rreth | d | - | |||||||||||||||||||
| te | rreth | d | e | |||||||||||||||||||
| te | rreth | d | e | - | ||||||||||||||||||
| te | rreth | d | e | - | ||||||||||||||||||
| te | rreth | d | e | R |
Pra, fjala e marrë si rezultat i deshifrimit të kombinimit të kodit të marrë është "enkoder".
Kodi optimal mund të përcaktohet nga ai në të cilin çdo simbol binar do të përcjellë informacionin maksimal. Në bazë të formulave të Hartley dhe Shannon, maksimumi i entropisë arrihet në ngjarje po aq të mundshme, prandaj, kodi binar do të jetë optimale nëse karakteret 0 dhe 1 shfaqen po aq shpesh në mesazhin e koduar.
Konsideroni, si shembull, optimalen kodimi binar shkronjat e alfabetit rus së bashku me karakterin hapësinor "-". Ne besojmë se probabilitetet e shfaqjes së karaktereve të alfabetit rus në mesazh janë të njohura, për shembull, të dhëna në Tabelën 3.
Tabela 3. Frekuenca e shkronjave ruse (me mend)
K. Shannon dhe R. Fano propozuan në mënyrë të pavarur në 1948-1949. një metodë e ndërtimit të një kodi bazuar në përmbushjen e kushtit të probabilitetit të barabartë të simboleve 0 dhe 1 në mesazhin e koduar.
Të gjithë karakteret (shkronjat) e koduara ndahen në dy grupe në mënyrë që shuma e probabiliteteve të personazheve në grupin e parë të jetë e barabartë me shumën e probabiliteteve të personazheve të grupit të dytë (d.m.th., probabiliteti që një personazh nga grupi i parë që do të gjendet në një mesazh është i barabartë me probabilitetin që një karakter nga grupi i dytë).
Për simbolet e grupit të parë, vlera e shifrës së parë të kodit caktohet e barabartë me "0", për simbolet e grupit të dytë - e barabartë me "1".
Më tej, çdo grup ndahet në dy nëngrupe, në mënyrë që shumat e probabiliteteve të shenjave në secilin nëngrup të jenë të barabarta. Për simbolet e nëngrupit të parë të çdo grupi, vlera e shifrës së dytë të kodit caktohet e barabartë me "0", për simbolet e nëngrupit të dytë të secilit grup - "1". Ky proces i ndarjes së karaktereve në grupe dhe i kodimit vazhdon derisa të mbetet vetëm një karakter në nëngrupe.
Një shembull i kodimit të karaktereve të alfabetit rus është dhënë në tabelë. 4
Tabela 4. Një shembull i kodimit të shkronjave të alfabetit rus duke përdorur kodin Schenn-Fano.
Një analizë e kodeve të dhëna në tabelë çon në përfundimin se karakteret që ndodhin shpesh kodohen nga sekuenca më të shkurtra binare dhe karakteret që ndodhin rrallë kodohen nga ato më të gjata. Kjo do të thotë se, mesatarisht, për të koduar një mesazh me një gjatësi të caktuar, do të nevojiten më pak karaktere binare 0 dhe 1 sesa me çdo metodë tjetër kodimi.
Në të njëjtën kohë, procedura për ndërtimin e kodit Shannon-Fano plotëson kriterin e dallueshmërisë Fano. Kodi është i prefiksuar dhe nuk kërkon karakter të veçantë, duke ndarë shkronjat nga njëra-tjetra për dekodimin e qartë të një mesazhi binar.
Kështu, problemi i kodimit të korrigjimit të gabimeve është një fushë e gjerë teorike dhe kërkimi i aplikuar. Detyrat kryesore në këtë rast janë si më poshtë: gjetja e kodeve që korrigjojnë në mënyrë efektive gabimet e llojit të kërkuar; gjetja e metodave të kodimit dhe dekodimit dhe mënyra të thjeshta zbatimin e tyre.
Këto probleme janë më të zhvilluara në lidhje me kodet sistematike. Këto kode janë përdorur me sukses në Shkenca Kompjuterike, te ndryshme te automatizuara pajisje dixhitale Dhe sistemet dixhitale transferimi i informacionit.
konkluzioni
Ne kemi shqyrtuar detyrën e kodimit, e cila përfshin:
1. Sigurimi i efikasitetit të transmetimit të informacionit duke eliminuar tepricën.
2. Sigurimi i besueshmërisë (imuniteti ndaj zhurmës) i transmetimit të informacionit
3.Koordinimi i shkallës së transferimit të informacionit me xhiros kanal
Detyra e kodimit është një nga konceptet kryesore të shkencës kompjuterike, pasi kodimi i paraprin transmetimit dhe ruajtjes së informacionit, dhe, në përputhje me rrethanat, është baza për zbatimin e tyre të suksesshëm.
Kur transmetoni mesazhe përmes kanaleve të komunikimit, mund të ndodhin ndërhyrje që mund të çojnë në shtrembërim të karaktereve të marra. Ky problem zgjidhet me ndihmën e kodimit të korrigjimit të gabimeve. Kodimi për korrigjimin e zhurmës informacionin e transmetuar lejon pjesën marrëse të sistemit të zbulojë dhe korrigjojë gabimet. Kodet e përdorura në kodimin e korrigjimit të gabimeve quhen kode korrigjimi. Për herë të parë, studimi i kodimit efikas u prodhua nga Claude Shannon. Për teorinë e komunikimit, dy teorema të vërtetuara nga Shannon janë të një rëndësie të madhe.
Këto teorema u morën parasysh në punim dhe mund të konkludohet se e para ndikon në situatën me kodimin kur transmetohet një mesazh në një linjë komunikimi në të cilën nuk ka ndërhyrje që shtrembëron informacionin, d.m.th. kjo teoremë është standardi se çfarë duhet të jenë kodet korrigjuese të gabimeve.Teorema e dytë vlen për linjat reale të komunikimit me zhurmë.
Nëse marrim parasysh shembuj të kodimit bazuar në teoremën e parë të Shannon, mund të konkludojmë se ky kodim është mjaft efektiv, pasi kodi që rezulton praktikisht nuk ka tepricë, por, për fat të keq, ka shumë ndërhyrje në linjat reale të komunikimit, dhe një rezultat i tillë është e paarritshme. Prandaj, kodi Shannon nuk është aq efikas sa, për shembull, kodi Huffman. Por, pavarësisht kësaj, duhet theksuar se Claude Shannon ishte një nga themeluesit e teorisë së kodimit dhe puna e tij dha një kontribut të madh në zhvillimin e shkencës kompjuterike.
Bibliografi:
1. Revista “Radio”, numër 9, 1999
Shkenca, Moskë
2. Klovsky D.D. Teoria e transmetimit të sinjalit. -M.: Komunikimi, 1984.
3. Kudryashov B.D. Teoria e informacionit. Libër mësuesi për universitetet Shtëpia botuese PETER,
4. Ryabko B.Ya. Fionov A.N. Metoda efektive adaptive
kodimi aritmetik për burimet me alfabete të mëdha
// Problemet e transmetimit të informacionit 1999 T.35, Numri P.95 - 108.
5. Semenyuk V.V. kodim ekonomik informacion diskrete Shën Petersburg:
SPbGITMO (TU), 2001
6. Dmitriev V.I. Teoria e Aplikuar e Informacionit. M.: Shkolla e lartë,
7. Nefedov V.N. Osipova V.A. Kursi i matematikës diskrete. M.: MAI,
8. Kolesnik V.D. Poltyrev G.Sh. Kursi i teorisë së informacionit. M.: Nauka,
Kodimi optimal
Teorema e kodimit të Shannon-it. Metodat e kodimit optimal germ pas germe. Kriteret e optimalitetit të kodit. Bllokimi i kodimit. një sistem kodimi i tekstit.
Kodimi,minimizimi i tepricës së kodit,quhet optimale.
Çështja e ekzistencës së kodeve të tilla është thelbi i një prej teoremave kryesore të teorisë së informacionit - teorema e kodimit, e vërtetuar nga K. Shannon. Le të paraqesim një nga formulimet ekuivalente të kësaj teoreme.
Teorema e kodimit. Mesazhet e një burimi arbitrar informacioni Z me entropi H(Z)mund të kodohet gjithmonë nga sekuencat në alfabetin B,i përbërë nga M karaktere,Kështu që,se gjatësia mesatare e fjalës së koduar do të jetë arbitrarisht afër vlerës 
,por jo më pak.
Vërtetimi i kësaj teoreme nuk merret parasysh për shkak të kompleksitetit të saj.
Teorema thotë se ndryshimi mund të bëhet aq i vogël sa të dëshirohet. Kjo është detyra e metodave optimale të kodimit.
Le të kthehemi te shqyrtimi i burimit alfabetik të informacionit që gjeneron mesazhe me karaktere alfabetike POR. Meqenëse teprica e kodit jepet nga formula
Natyrisht, sa më i vogël të jetë , aq më optimal është kodi. Për ulje Karakteret që shfaqen shpesh duhet të kodohen me fjalë më të shkurtra dhe anasjelltas. Të gjitha metodat e kodimit optimal bazohen në këtë kërkesë. Përveç kësaj, për të siguruar deshifrimin e një kodi jo uniform, është e rëndësishme të vëzhgoni parimi i prefiksit: asnjë fjalë kod nuk duhet të jetë fillimi i një kodi tjetër.
Këtu janë dy nga metodat më të njohura të kodimit optimal shkronja për shkronjë. Për thjeshtësi, le të marrim alfabeti binar si kod.
Hapi 1. Renditni simbolet e alfabetit origjinal në rend jo rritje të probabiliteteve të tyre. (Ne i shkruajmë ato në një rresht.)
Hapi 2. Pa ndryshuar renditjen e simboleve i ndajmë në dy grupe në mënyrë që probabilitetet totale të simboleve në grupe të jenë sa më të barabarta.
Hapi 3. Caktoni "0" për grupin në të majtë dhe "1" për grupin në të djathtë si elementë të kodeve të tyre.
Hapi 4. Shikojmë grupet. Nëse numri i elementeve në grup është më shumë se një, shkoni në hapin 2. Nëse ka një element në grup, ndërtimi i kodit për të përfundon.
Oriz. 4.1. pemë binare, që korrespondon me kodimin Shannon-Fano
Konsideroni funksionimin e algoritmit të përshkruar në shembullin e kodimit të alfabetit 
, simbolet e të cilit ndodhin me probabilitete (0,25; 0,05; 0,25; 0,1; 0,25; 0,1), përkatësisht. Rezultati i kodimit është paraqitur në Fig. 4.1.
Natyrisht, procesi i ndërtimit të kodit në rast i përgjithshëm përmban një paqartësi, pasi ne nuk mund ta ndajmë gjithmonë sekuencën në dy nënbashkësi po aq të mundshme. Në të majtë ose në të djathtë, shuma e probabiliteteve do të jetë më e madhe. kriter opsioni më i mirëështë më pak tepricë e kodit. Vini re gjithashtu se leximi i saktë i kodit - nga rrënja e pemës deri te simboli - do të sigurojë që ai të jetë prefiks.
Le të shqyrtojmë algoritmin për llogaritjen e kodeve Shannon-Fano (për qartësi, le të marrim sekuencën "aa bbb cccc ddddd" si shembull). Për të llogaritur kodet, duhet të krijoni një tabelë me simbole unike të mesazheve c(i) dhe probabilitetet e tyre p(c(i)), dhe renditni atë në rend jo rritje të probabilitetit të karakterit.
| c(i) | p(c(i)) |
| d | 5 / 17 |
| c | 4 / 17 |
| hapësirë | 3 / 17 |
| b | 3 / 17 |
| a | 2 / 17 |
Më tej, tabela e simboleve ndahet në dy grupe në mënyrë që secili prej grupeve të ketë afërsisht të njëjtën frekuencë për sa i përket shumës së simboleve. Grupi i parë është vendosur të fillojë kodin në "0", i dyti në "1". Për të llogaritur pjesët vijuese të kodeve të karaktereve, këtë procedurë përsëritet në mënyrë rekursive për çdo grup që ka më shumë se një karakter. Kështu, për rastin tonë, marrim kodet e mëposhtme të karaktereve:
Gjatësia e kodit s(i) në tabelën që rezulton është e barabartë me int(-lg p(c(i))), nëse simbolet ndahen në grupe me të njëjtën frekuencë, përndryshe, gjatësia e kodit është int(-lg p(c(i))) + 1.
39 bit i gjatë. Duke pasur parasysh që origjinali kishte një gjatësi prej 136 bit, marrim një raport kompresimi prej ~ 28% - jo aq i keq.
Duke parë sekuencën që rezulton, lind pyetja: "Por si mund ta dekompresojmë atë tani?". Ne nuk mund, si në rastin e kodimit, të zëvendësojmë çdo 8 bit të rrymës hyrëse me një kod me gjatësi të ndryshueshme. Kur dekompresojmë, duhet të bëjmë të kundërtën - të zëvendësojmë kodin e gjatësisë së ndryshueshme me një karakter 8-bit. NË këtë rast, do të ishte mirë të përdorni një pemë binare, gjethet e së cilës janë simbole (analoge me pemën Huffman).
Kodimi Shannon-Fano është një metodë kompresimi mjaft e vjetër dhe sot ka pak interes praktik (përveç ndoshta si një ushtrim në një kurs të strukturave të të dhënave). Në shumicën e rasteve, gjatësia e sekuencës së ngjeshur, sipas kjo metodë, është e barabartë me gjatësinë e sekuencës së ngjeshur duke përdorur kodimin Huffman. Por në disa sekuenca, kodet jo-optimale Shannon-Fano janë ende të formuara, kështu që kompresimi me metodën Huffman konsiderohet të jetë më efikas. Për shembull, merrni parasysh një sekuencë me përmbajtjen e mëposhtme të karaktereve: "a" - 14, "b" - 7, "c" - 5, "d" - 5, "e" - 4. Metoda Huffman e ngjesh atë në 77 bit , por këtu Shannon-Fano deri në 79 bit.
|
Si të ndahemi në grupe? Mjaft e thjeshtë:
Për shkak të një pasigurie të tillë, disa njerëz madje kanë mendime të tilla: "... programi ndonjëherë cakton disa karaktere ..." dhe kështu me radhë - duke arsyetuar për gjatësinë e kodeve. Nëse nuk jeni duke shkruar AI, atëherë nocioni i një "programi ndonjëherë" që bën diçka tingëllon qesharak. Algoritmi i zbatuar saktë - funksionon i përcaktuar rreptësisht.
Algoritmi për ndërtimin e kodit të tkurrjes Shannon-Fano është si më poshtë.
1. Të gjitha simbolet e një burimi diskret janë renditur në rend zbritës të probabiliteteve të ndodhjes së tyre (Tabela 4.2).
Tabela 4.2. Ndërtimi i kodit Shannon-Fano
2. Kolona e formuar e simboleve ndahet në dy grupe në mënyrë të tillë që probabilitetet totale të secilit grup të ndryshojnë pak nga njëra-tjetra.
3. Grupi i sipërm është i koduar me simbolin "1", dhe ai i poshtëm - me "0".
4. Çdo grup ndahet në dy nëngrupe me probabilitete totale të afërta; nëngrupi i sipërm është i koduar me simbolin "1", dhe i poshtëmi - "0".
5. Procesi i ndarjes dhe kodimit vazhdon derisa çdo nëngrup të përmbajë një simbol të mesazhit burimor.
6. Shkruhet një kod për çdo simbol të burimit; Kodi lexohet nga e majta në të djathtë.
Kur përdorni kodin uniform më të thjeshtë për të koduar gjashtë elementë të alfabetit burimor, tre karakter binar për secilën shkronjë të mesazhit. Nëse përdoret kodi Shannon-Fano, atëherë numri mesatar i karaktereve për shkronjë
