Teorema e Shannon-it direkt për një burim të përgjithshëm. Teoremat e kodimit të Shannon për një kanal transmetimi informacioni

Për përdorim efektiv kanali (duke rritur faktorin e ngarkesës λ → 1), ai duhet të përputhet me burimin e informacionit në hyrje. Një përputhje e tillë është e mundur si për kanalet e zhurmshme ashtu edhe për ato të zhurmshme, bazuar në teoremat e kodimit të kanaleve të propozuara nga Shannon.

Teorema e kodimit për një kanal të zhurmshëm.

Nëse burimi i mesazheve ka një performancë [bit / sek] dhe kanali i komunikimit ka një xhiro [bit / sek], atëherë mund ta kodoni mesazhin në atë mënyrë që të transmetoni informacion mbi kanalin e komunikimit me një shpejtësi mesatare, në mënyrë arbitrare afër vlerës, por mos e tejkaloni atë ...

Shannon sugjeroi gjithashtu një metodë të një kodimi të tillë, e cila quhet kodim optimal. Më vonë, ideja e një kodimi të tillë u zhvillua në veprat e Fano dhe Huffman. Aktualisht, kode të tilla përdoren gjerësisht në praktikë (kodim efikas dhe optimal).

Teorema e kodimit të drejtpërdrejtë të Shannon për një kanal të zhurmshëm.

Për çdo performancë të burimit të mesazhit [bit/sek] më pak se xhiros[bit / sek], ekziston një metodë e tillë kodimi që lejon transmetimin e të gjithë informacionit të gjeneruar nga burimi i mesazhit me një probabilitet të vogël gabimi ε.

Teorema e kodimit të anasjelltë për një kanal të zhurmshëm.

Nuk ka asnjë metodë kodimi që lejon transmetimin e informacionit me një probabilitet arbitrar të ulët gabimi nëse performanca e burimit të mesazhit është më e madhe se gjerësia e brezit të kanalit.

Vërtetimi i teoremës së kodimit për një kanal të zhurmshëm është matematikisht mjaft voluminoz, prandaj, ne kufizohemi në një diskutim të përgjithshëm të aspekteve fizike të tij. aplikim praktik:

1. Teorema vendos kufirin teorik të efikasitetit të mundshëm të sistemit me transmetim të besueshëm të informacionit. Nga teorema rrjedh se ndërhyrja në kanal nuk imponon kufizime në saktësinë e transmetimit. Kufizimet vendosen vetëm në shkallën e transmetimit në të cilën mund të arrihet një besueshmëri e lartë në mënyrë arbitrare.

Në këtë rast, besueshmëria e kanalit diskret zakonisht vlerësohet nga vlera e probabilitetit të marrjes së gabuar të një simboli. Sa më i ulët të jetë probabiliteti i gabimit, aq më i lartë është besueshmëria e kanalit. Besueshmëria, nga ana tjetër, karakterizon imunitetin ndaj zhurmës sistemi i informacionit.

Shpejtësia e transferimit të informacionit karakterizon efikasitetin e sistemit.

2. Teorema nuk prek çështjen e mënyrave të ndërtimit të kodeve që sigurojnë transmetimin ideal të treguar. Duke vërtetuar mundësinë themelore të një kodimi të tillë, ajo mobilizoi përpjekjet e shkencëtarëve për të zhvilluar kode specifike.

3. Për çdo shpejtësi të kufizuar të transferimit të informacionit, deri në xhiros, një probabilitet i vogël gabimi arbitrarisht arrihet vetëm me një rritje të pafundme në kohëzgjatjen e sekuencave të karaktereve të koduara. Kështu, transmetimi pa gabime në prani të ndërhyrjeve është i mundur vetëm teorikisht. Sigurimi i transmetimit të informacionit me një probabilitet shumë të ulët gabimi dhe me një efikasitet mjaft të lartë është i mundur kur kodoni sekuenca karakteresh jashtëzakonisht të gjata.

Puna u shtua në sitin: 2016-03-30

; ngjyra: # 000000 "xml: lang =" ru-RU "lang =" ru-RU "> 5. Kodimi i informacionit

; ngjyra: # 000000 "xml: lang =" ru-RU "lang =" ru-RU "> 5.1. Konceptet themelore

Teoremat e kodimit të mesazhit të Shannon u përmendën më lart. Është intuitivisht e qartë se kodimi është një operacion i konvertimit të informacionit në një formë të nevojshme për përpunimin e mëvonshëm (transmetim përmes një kanali komunikimi, ruajtja në memorie sistemi informatik, përdorim për vendimmarrje, etj.). Është gjithashtu e qartë se kur ndërtohet ndonjë sistem informacioni, është e pamundur të bëhet pa kodim: çdo paraqitje e informacionit nënkupton përdorimin e disa kodeve. Prandaj, më tej do të analizojmë në detaje bazë teorike informacion kodues.

Le të A - alfabet arbitrar. Elementet e alfabetit A quhen shkronja (ose simbole), dhe sekuencat e fundme të përbëra nga shkronja quhen fjalë në A ... Në këtë rast, konsiderohet se në çdo alfabet ka një fjalë boshe që nuk përmban shkronja.

Fjala α 1 quhet fillimi (parashtesa) i një fjaleα nëse ka një fjalëα 2 i tillë që α = α 1 α 2; për më tepër, fjala α 1 quhet fillimi i vetë fjalësα nëse α 2 Nuk është një fjalë boshe. Gjatësia e fjalës është numri i shkronjave në fjalë (një fjalë boshe ka një gjatësi prej 0). Regjistrimiα 1 α 2 tregon lidhjen (lidhjen) e fjalëveα 1 dhe α 2. Fjala α 2 quhet mbaresa (prapashtesa) e një fjaleα nëse ka një fjalëα 1, e tillë që α = α 1 α 2; për më tepër, fjala α 2 e quajtën fundin e tyre të fjalësα nëse α 1 Nuk është një fjalë boshe. Një fjalë boshe sipas përkufizimit konsiderohet fillimi dhe fundi i çdo fjale.α .

Merrni parasysh alfabetin B = (0, 1, ..., D - 1), ku D ≥ 2, dhe një grup arbitrar C ... Ekran i vendosur arbitrar C në një shumëllojshmëri fjalësh në alfabet B thirrni D -duke koduar grupin C (për D = 2 kodimi do të jetë binar). Hartëzimi i kundërt quhet dekodim. Këtu janë disa shembuj të kodimeve.

1. Kodimi i një grupi numrash natyrorë, në të cilin numri n = 0 përputhet me fjalën e (0) = 0, dhe numri n ≥ 1 fjalë binare

e (n) = b 1 b 2 ... b l (n)

gjatësia më e shkurtër që plotëson kushtin

Natyrisht, b 1 = 1, 2 l (n) - 1 ≤ n< 2 l (n ) dhe për këtë arsye

l (n) = + 1 =] log (n + 1) [,

ku [x] dhe] x [shënon, përkatësisht, numrin e plotë më të madh që nuk tejkalon x , dhe numri i plotë më i vogël më i madh se x. Fjala e (n ) quhet shënimi binar i numrit n , dhe kodimi i dhënë është përfaqësimi i numrave në sistemi binar duke llogaritur. Ky kodimështë një me një, pasi për n 1 ≠ n 2 fjalë e (n 1) dhe e (n 2 ) janë të ndryshme. Tabela 5.1 tregon paraqitjen e 16 numrave të parë natyrorë në sistemin e numrave binar.

"xml: lang =" ru-RU "lang =" ru-RU "> Tabela 5.1

"xml: lang =" ru-RU "lang =" ru-RU "> Kodimi"xml: lang =" en-SHBA "lang =" en-SHBA "> e"xml: lang =" ru-RU "lang =" ru-RU "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" ru-RU "lang =" ru-RU ">)

"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)	"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)	"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)	"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)
"xml: lang =" en-SHBA "lang =" en-SHBA "> 0	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0	"xml: lang =" en-SHBA "lang =" en-SHBA "> 4	"xml: lang =" en-SHBA "lang =" en-SHBA "> 100	"xml: lang =" en-SHBA "lang =" en-SHBA "> 8	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1000	"xml: lang =" en-SHBA "lang =" en-SHBA "> 12	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1100
"xml: lang =" en-SHBA "lang =" en-SHBA "> 1	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1	"xml: lang =" en-SHBA "lang =" en-SHBA "> 5	"xml: lang =" en-SHBA "lang =" en-SHBA "> 101	"xml: lang =" en-SHBA "lang =" en-SHBA "> 9	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1001	"xml: lang =" en-SHBA "lang =" en-SHBA "> 13	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1101
"xml: lang =" en-SHBA "lang =" en-SHBA "> 2	"xml: lang =" en-SHBA "lang =" en-SHBA "> 10	"xml: lang =" en-SHBA "lang =" en-SHBA "> 6	"xml: lang =" en-SHBA "lang =" en-SHBA "> 110	"xml: lang =" en-SHBA "lang =" en-SHBA "> 10	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1010	"xml: lang =" en-SHBA "lang =" en-SHBA "> 14	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1110
"xml: lang =" en-SHBA "lang =" en-SHBA "> 3	"xml: lang =" en-SHBA "lang =" en-SHBA "> 11	"xml: lang =" en-SHBA "lang =" en-SHBA "> 7	"xml: lang =" en-SHBA "lang =" en-SHBA "> 111	"xml: lang =" en-SHBA "lang =" en-SHBA "> 11	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1011	"xml: lang =" en-SHBA "lang =" en-SHBA "> 15	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1111

2. Kodimi i 2 të parëve k numrat natyrorë, për të cilët çdo numër n (0 ≤ n< 2 k ) fjala

e k (n) = 0 k - l (n) e (n),

ku shënimi 0 k - l (n) tregon një fjalë të përbërë nga k - l (n) zero, e (n ) - paraqitje e numrave n në sistemin e numrave binar të diskutuar më sipër. Ky kodim për 16 numrat e parë natyrorë ( k = 4) është dhënë në tabelën 5.2.

"xml: lang =" ru-RU "lang =" ru-RU "> Tabela 5."xml: lang =" en-SHBA "lang =" en-SHBA "> 2

"xml: lang =" ru-RU "lang =" ru-RU "> Kodimi"xml: lang =" en-SHBA "lang =" en-SHBA "> e; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> k"xml: lang =" ru-RU "lang =" ru-RU "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" ru-RU "lang =" ru-RU ">)

"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> k"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)	"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> k"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)	"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> k"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)	"xml: lang =" en-SHBA "lang =" en-SHBA "> n	"xml: lang =" en-SHBA "lang =" en-SHBA "> e; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> k"xml: lang =" en-SHBA "lang =" en-SHBA "> ("xml: lang =" en-SHBA "lang =" en-SHBA "> n"xml: lang =" en-SHBA "lang =" en-SHBA ">)
"xml: lang =" en-SHBA "lang =" en-SHBA "> 0	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0000	"xml: lang =" en-SHBA "lang =" en-SHBA "> 4	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0100	"xml: lang =" en-SHBA "lang =" en-SHBA "> 8	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1000	"xml: lang =" en-SHBA "lang =" en-SHBA "> 12	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1100
"xml: lang =" en-SHBA "lang =" en-SHBA "> 1	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0001	"xml: lang =" en-SHBA "lang =" en-SHBA "> 5	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0101	"xml: lang =" en-SHBA "lang =" en-SHBA "> 9	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1001	"xml: lang =" en-SHBA "lang =" en-SHBA "> 13	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1101
"xml: lang =" en-SHBA "lang =" en-SHBA "> 2	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0010	"xml: lang =" en-SHBA "lang =" en-SHBA "> 6	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0110	"xml: lang =" en-SHBA "lang =" en-SHBA "> 10	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1010	"xml: lang =" en-SHBA "lang =" en-SHBA "> 14	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1110
"xml: lang =" en-SHBA "lang =" en-SHBA "> 3	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0011	"xml: lang =" en-SHBA "lang =" en-SHBA "> 7	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0111	"xml: lang =" en-SHBA "lang =" en-SHBA "> 11	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1011	"xml: lang =" en-SHBA "lang =" en-SHBA "> 15	"xml: lang =" en-SHBA "lang =" en-SHBA "> 1111

Le të A = (a i, i = 1, 2, ...) - një alfabet i fundëm ose i numërueshëm, shkronjat e të cilit janë të numëruara numrat natyrorë... Në këtë rast, kodimi i shkronjave të alfabetit A mund të vendoset në sekuencë D -ary fjalë V = (v i, i = 1, 2, ...), ku v i ka një imazh të një letre a i ... Sekuenca të tilla fjalësh (nga grupi V ) quhen kode (alfabet A). Nëse jepet kodi V i alfabetit A , pastaj kodimi i fjalëve në të cilat çdo fjalë a i 1 a i 2 ... a ik përputhet me fjalën v i 1 v i 2 ... v ik quhet kodim shkronjë për shkronjë.

Në kalimin nga kodimi një-në-një i shkronjave të alfabetit në kodimin shkronja për shkronjë të fjalëve në alfabet, vetia e një-me-një mund të mos ruhet. Për shembull, kodimi e (n ) nuk ruan këtë pronë dhe kodimi e k (n ) e ruan atë. Kodet e ndashme ruajnë vetinë një-për-një. Kodi V = (v i, i = 1, 2, ...) quhet i ndashëm nëse nga çdo barazi e formës

v i 1 v i 2… v ik = v j 1 v j 2… v jl

rrjedh se l = k dhe v i 1 = v j 1, v i 2 = v j 2,…, v ik = v jl ... Kodet e ndashme quhen gjithashtu kode të deshifruara në mënyrë unike.

Kodet e parashtesave i përkasin klasës së kodeve të ndashme. Kodi V = (v i, i = 1, 2, ...) quhet parashtesë nëse nuk ka fjalë v k nuk është fillimi (parashtesa) i asnjë fjale v l, l ≠ k ... Nëse secila fjalë e kodit të parashtesës zëvendësohet me fillimin e saj më të vogël, i cili nuk është fillimi i fjalëve të tjera të kodit, atëherë kodi që rezulton gjithashtu do të parashtesohet. Ky operacion quhet shkurtimi i prefiksit.

Për kodin arbitrar V përbërë nga fjalë të ndryshme, mund të ndërtoni një pemë kodi. Ky është një grafik i drejtuar që nuk përmban cikle, në të cilat kulmiβ 1 i lidhur në kryeβ 2 buzë drejtuar ngaβ 1 deri në β 2 , nese dhe vetem neseβ 2 = β 1 b, ku b  B = (0, 1, ..., D - 1), D ≥ 2. Për kodet e parashtesave (dhe vetëm për to) grupi i fjalëve kodike përkon me grupin e kulmeve fundore (kulme nga të cilat nuk buron asnjë skaj) pema e kodit.

5.2. Teoremat bazë të kodimit

Vetitë e kodeve të dobishme për zbatimin e tyre praktik përcaktohen nga teoremat bazë të kodimit.

Teorema 5.1. Pabarazia e zanatit.Për ekzistencën e një kodi të dekoduar (të ndashëm) në mënyrë unike që përmban N fjalët e koduara në grup (0, 1, D - 1) me gjatësi n 1, n 2, ..., n N , është e nevojshme dhe e mjaftueshme për pabarazinë

Dëshmi. Imagjinoni që keni një pemë kodi për një kod prefiks. Rrënja e pemës së kodit është niveli 0, nyjet e lidhura me rrënjën janë niveli 1, e kështu me radhë. Numri i mundshëm i kulmeve për k -niveli shënohet si D k. Çdo kulm k Niveli i -të gjeneron saktësisht D n - k kulme të nivelit të n-të.

n 1 ≤ n 2 ≤… ≤ n N = n.

Natyrisht, kodi i gjatësisë k ndalon saktësisht D n - k majat e mundshme fundore (majat e nivelit të fundit). Atëherë të gjitha fjalët kodike të kodit të prefiksit ndalojnë kulmet fundore. Sepse numri total kulmet fundore është D n , pastaj pabarazia

nga e cila rrjedh se

Kështu, vërtetohet pabarazia e Kraft.

Si rezultat i vërtetimit të Teoremës 5.1, arrihet në përfundimin se ekzistojnë të paktën kode parashtesash që janë kode unike të dekodueshme me gjatësi të fjalëve të koduara. n 1, n 2, ..., n N duke kënaqur pabarazinë e Kraft. Teorema e mëposhtme, e quajtur deklarata e McMillanit, përgjithësohet këtë përfundim për të gjitha kodet e deshifruara në mënyrë unike.

Teorema 5.2. pabarazia McMillan.Çdo kod i deshifruar në mënyrë unike plotëson pabarazinë Craft.

Dëshmi. Le ta ngremë shumën në fuqi L:

. (5.1)

Le të A k - numri i kombinimeve që përmbajnë L fjalë kodike me gjatësi totale k ... Atëherë shprehja (6.1) mund të paraqitet si

ku L max – gjatësia maksimale mesazh që përmban L fjalë kodike. Nëse kodi deshifrohet në mënyrë unike, atëherë të gjitha sekuencat nga L fjalët e koduara me gjatësi totale k janë të ndryshme. Meqenëse ka gjithçka D k sekuencat e mundshme, atëherë A k ≤ D k dhe më pas

Që nga L A është numri i fjalëve kodike të pavarura që përdoren për të ndërtuar të gjitha sekuencat e mundshme të gjatësisë që nuk i kalon L max. Prandaj, L ≤ L max dhe. Dhe nga kjo rrjedh se

Meqenëse arsyetimi i mësipërm është i vlefshëm për çdo kod të deshifruar në mënyrë unike, dhe jo vetëm për kodet e parashtesave, pohimi i McMillan është vërtetuar.

Teoremat e mëposhtme lidhin entropinë e burimit të mesazhit dhe gjatësinë mesatare fjalë kodike.

Teorema 5.3. Teorema e kodimit burimor Unë. Për këdo burim diskret pa memorie X me alfabet të fundëm dhe entropi H (X) ekziston D -kodi i prefiksit ary në të cilin gjatësia mesatare e fjalës së koduar plotëson pabarazinë

. (5.2)

Dëshmi. Fillimisht, le të sqarojmë se një burim diskret pa memorie përshkruhet nga një model që nuk merr parasysh lidhjet midis simboleve të mesazhit. Tani vërtetojmë anën e majtë të pabarazisë (6.2):

Për këtë, ne përdorim përkufizimin e entropisë dhe pabarazisë së Kraft:

Për të vërtetuar anën e djathtë të pabarazisë (6.2), ne rishkruajmë pabarazinë e Kraft në formën e mëposhtme:

Pastaj, për çdo term, ne zgjedhim numrin e plotë më të vogël n i për të cilat

Meqenëse pabarazia e Kraft është ruajtur për këtë zgjedhje, është e mundur të ndërtohet kodi përkatës i prefiksit. Sepse n i Është numri i plotë më i vogël, atëherë për n i - 1

Pastaj

Pra, teorema e kodimit burimor Unë e provuar. Ai përcakton që gjatësia mesatare e një fjale kod nuk mund të jetë më e vogël se entropia e burimit të mesazhit. Vini re se në vërtetimin e teoremës kemi përdorur të njëjtin shënim si në shqyrtimin e pabarazisë së Kraft-it.

Teorema 5.4. Teorema e kodimit burimor II. Për një bllok me gjatësi L, ekziston D -kodi i prefiksit ary në të cilin gjatësia mesatare e fjalës së koduar për karakter plotëson pabarazinë

ku.

Dëshmi. Këtu, blloqe personazhesh dhe H (X 1, X 2, ..., X L ) Është entropia e burimit të mesazhit për bllok nga L personazhet. Për të vërtetuar teoremën, mund të përdorni teoremën e kodimit burimor Unë:

Teorema e kodimit burimor II na lejon të pohojmë se ekzistojnë metoda të tilla kodimi për një mesazh mjaft të gjatë që gjatësia mesatare e fjalës së koduar mund të bëhet në mënyrë arbitrare afër vlerës. Në të vërtetë, për L  ∞, H L (X)  H, ku H A është entropia e burimit të mesazhit për një simbol, pabarazia është e vërtetë

, (5.3)

ku. Kjo mund të interpretohet edhe si vijon: për çdo numër të vogël arbitrarishtε , ekziston një metodë për kodimin e blloqeve që përmbajnë simbole, në të cilën pabarazia (5.3) plotësohet për gjatësinë mesatare të një fjale kode për simbol.

Përveç kësaj, meqenëse gjatësia minimale e arritshme e fjalës së koduar për simbol është vlera, atëherë për D = 2 teprica e kodit mund të përcaktohet nga formula.

; ngjyra: # 000000 "xml: lang =" ru-RU "lang =" ru-RU "> 5.3. Kodimi optimal

Detyra e ndërtimit të një kodi optimal është gjetja e numrave të plotë pozitivë n 1, n 2, ..., n N duke minimizuar gjatësinë mesatare të fjalës së koduar, me kusht që pabarazia e Kraft të plotësohet:

Gjatë ndërtimit të kodeve në rastin e alfabetit A = (a i, i = 1, 2, ..., N ) me një shpërndarje probabiliteti të njohur P = (p i, i = 1, 2, ..., N ) pa humbur përgjithësinë, mund të supozojmë se shkronjat e alfabetit A numërohen në rend zbritës të probabiliteteve të tyre, d.m.th. p 1 ≥ p 2 ≥… ≥ p N ... Përveç kësaj, ne do të shqyrtojmë vetëm kodet binare.

Ka dy metoda të njohura (nga Fano dhe Shannon) për ndërtimin e kodeve që janë afër optimales. Metoda e Fano është si më poshtë. Lista e shkronjave, e renditur në rënie të gjasave, ndahet në dy pjesë të njëpasnjëshme në mënyrë që shumat e probabiliteteve të shkronjave të përfshira në to të ndryshojnë sa më pak nga njëra-tjetra. Shkronjave nga pjesa e parë u caktohet karakteri 0, kurse shkronjave nga pjesa e dytë - karakteri 1. Më tej, e njëjta gjë bëhet me secilën nga pjesët e marra, nëse përmban, nga të paktën, dy shkronja. Procesi vazhdon derisa e gjithë lista të ndahet në pjesë që përmbajnë një shkronjë secila. Çdo shkronjë shoqërohet me një sekuencë karakteresh të caktuara si rezultat i këtij procesi në këtë shkronjë. Është e lehtë të shihet se kodi që rezulton është i prefiksuar.

Metoda e Shannon është e zbatueshme vetëm kur të gjitha probabilitetet janë pozitive. Ai konsiston në faktin se letra a i me probabilitet p i > 0, një sekuencë nga n i =] log (1 / p i ) [shifrat e para pas presjes dhjetore në zgjerimin e numrit në një thyesë të pafundme (për a 1 supozojmë se q 1 = 0). Që në l> k (për faktin se p l ≤ p k) n l ≥ n k dhe më pas kodi i marrë në këtë mënyrë parashtesohet. Në bazë të kodit të prefiksit të marrë, ndërtohet një kod prefiks i cunguar, i cili është rezultat i kodimit me metodën Shannon.

Për shembull, le të ketë një grup shkronjash A = (a 1, a 2, a 3, a 4, a 5, a 6, a 7 ) me shpërndarjen e probabilitetit P = (0,2, 0,2, 0,19, 0,12, 0,11, 0,09, 0,09). Le të bëjmë kodimin e shkronjave duke përdorur metodën Fano.

1. Ndani listën në dy pjesë në mënyrë që shumat e probabiliteteve të shkronjave të përfshira në to të ndryshojnë sa më pak nga njëra-tjetra:

A 1 = (a 1, a 2, a 3), P 1 = (0,2, 0,2, 0,19);

A 2 = (a 4, a 5, a 6, a 7), P 2 = (0,12, 0,11, 0,09, 0,09).

2. Le t'ua caktojmë simbolin 0 shkronjave të pjesës së parë, dhe simbolin 1 shkronjave të pjesës së dytë:

A 1 = (a 1/0, një 2/0, një 3/0);

A 2 = (a 4/1, një 5/1, një 6/1, një 7/1).

3. Le të përsërisim në mënyrë sekuenciale veprimet e specifikuara për secilën pjesë veç e veç. V si rezultat marrim:

A 1 1 = (a 1/00);

A 121 = (a 2/010);

A 122 = (a 3/011);

A 211 = (a 4/100);

A 212 = (a 5/101);

A 221 = (a 6/110);

A 222 = (a 7/111).

Fjalët e koduara që rezultojnë tregohen për secilën shkronjë në të djathtë të vijës së pjerrët përpara. Në këtë rast, rendi i indekseve të listave me një shkronjë të fituar tregon sekuencën e ndarjes së listës origjinale të grupeve në pjesë.

Procesi i kodimit Fano është formatuar në mënyrë të përshtatshme në formën e një tabele. Për shembullin e konsideruar, është paraqitur në tabelën 5.3.

"xml: lang =" ru-RU "lang =" ru-RU "> Tabela 5.3

"xml: lang =" ru-RU "lang =" ru-RU "> Kodimi Fano

"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" ru-RU "lang =" ru-RU "> 0.20	"xml: lang =" ru-RU "lang =" ru-RU "> 0	"xml: lang =" ru-RU "lang =" ru-RU "> 0	"xml: lang =" ru-RU "lang =" ru-RU "> 00
"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 2	"xml: lang =" ru-RU "lang =" ru-RU "> 0.20		"xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" ru-RU "lang =" ru-RU "> 0	"xml: lang =" ru-RU "lang =" ru-RU "> 010
"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 3	"xml: lang =" ru-RU "lang =" ru-RU "> 0.19			"xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" ru-RU "lang =" ru-RU "> 011
"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 4	"xml: lang =" ru-RU "lang =" ru-RU "> 0.12	"xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" ru-RU "lang =" ru-RU "> 0	"xml: lang =" ru-RU "lang =" ru-RU "> 0	"xml: lang =" ru-RU "lang =" ru-RU "> 100
"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 5	"xml: lang =" ru-RU "lang =" ru-RU "> 0.11			"xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" ru-RU "lang =" ru-RU "> 101
"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 6	"xml: lang =" ru-RU "lang =" ru-RU "> 0.09		"xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" ru-RU "lang =" ru-RU "> 0	"xml: lang =" ru-RU "lang =" ru-RU "> 110
"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 7	"xml: lang =" ru-RU "lang =" ru-RU "> 0.09			"xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" ru-RU "lang =" ru-RU "> 111

Le të përcaktojmë gjatësinë mesatare të fjalës së koduar:

Tani le të bëjmë kodimin Shannon. Procesi i kodimit është paraqitur në tabelën 5.4.

"xml: lang =" ru-RU "lang =" ru-RU "> Tabela 5.4

"xml: lang =" ru-RU "lang =" ru-RU "> Kodimi Shannon

"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> i	"xml: lang =" en-SHBA "lang =" en-SHBA "> n; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> i	"xml: lang =" en-SHBA "lang =" en-SHBA "> q; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> i	"xml: lang =" ru-RU "lang =" ru-RU "> Kodi"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> i	"xml: lang =" ru-RU "lang =" ru-RU "> Kodi i cunguar"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" en-US "lang =" en-SHBA "> i
"xml: lang =" en-SHBA "lang =" en-SHBA "> a; vertical-align: sub "xml: lang =" ru-RU "lang =" ru-RU "> 1	"xml: lang =" en-US "lang =" en-US ">] 2.321… [= 3	"xml: lang =" en-SHBA "lang =" en-SHBA "> 0	000	000
a 2	] 2.321… [= 3	0.2	001	001
a 3	] 2.395… [= 3	0.4	011	01
a 4	] 3,058… [= 4	0.59	1001	100
a 5	] 3,183… [= 4	0.71	1011	101
a 6	] 3.472… [= 4	0.82	1101	110
a 7	] 3.472… [= 4	0.91	1110	111

Ashtu si në rastin e mëparshëm, gjejmë gjatësinë mesatare të fjalës së koduar:

.

Siç mund ta shihni, rezultatet e kodimit me metodat Fano dhe Shannon për sa i përket minimizimit të gjatësisë mesatare të kodit praktikisht përkonin. Prandaj, këto metoda shpesh konsiderohen si një (në formulimin e Fanos) dhe quhen metoda Shannon-Fano.

Në vitin 1952, David Huffman propozoi një metodë të kodimit optimal të prefiksit për burime diskrete, e cila, ndryshe nga metodat e Shannon dhe Fano, përdoret ende në praktikë. D. Huffman vërtetoi se gjatësia mesatare e fjalës së koduar, e marrë duke përdorur metodën e tij, do të jetë minimale. Kodimi i Huffman bëhet në tre hapa.

1. Renditja: shkronjat renditen në rend zbritës të probabiliteteve të tyre.

2. Zvogëlimi: dy shkronja me probabilitetin më të vogël kombinohen në një me probabilitetin total; lista e shkronjave rirenditet sipas hapit 1; procesi vazhdon derisa të gjitha shkronjat të kombinohen në një. Në këtë rast, është e mundur të arrihet barazimi i gjatësisë së fjalëve të kodit duke përdorur strategjinë e mëposhtme: nëse disa shkronja kanë të njëjtat probabilitete, atëherë ato dy prej tyre që kanë pasur më parë numrin më të vogël të bashkimeve kombinohen (edhe pse kjo nuk do të ndikojnë në gjatësinë mesatare të kodit).

3. Kodimi: duke filluar nga bashkimi i fundit, njërit përbërës të shkronjës së përbërë i caktohet në mënyrë sekuenciale simboli 0, dhe i dyti - simboli 1; procesi vazhdon derisa të kodohen të gjitha shkronjat origjinale.

Le të kryejmë kodimin Huffman për grupin e konsideruar në shembujt e aplikimit të metodave Fano dhe Shannon.

1. Lista origjinale e letraveA = { a1 , a2 , a3 , a4 , a5 , a6 , a7 ) është porositur tashmë që nga ajo kohëP = {0.2, 0.2, 0.19, 0.12, 0.11, 0.09, 0.09}.

2. Kombinoni shkronjata6 dhea7 në një letëra1 me probabilitet0.18 dherirenditlistë:

P1 = {0.2, 0.2, 0.19, 0.18, 0.12, 0.11}, A1 = { a1 , a2 , a3 , a1 , a4 , a5 }.

3. Përsëriteni hapin 2 derisa të mbetet vetëm një shkronjë në listë:

P2 = {0.23, 0.2, 0.2, 0.19, 0.18}, A2 = { a2 , a1 , a2 , a3 , a1 };

P3 = {0.37, 0.23, 0.2, 0.2}, A3 = { a3 , a2 , a1 , a2 };

P4 = {0.4, 0.37, 0.23}, A4 = { a4 , a3 , a2 };

P5 = {0.6, 0.4}, A5 = { a5 , a4 };

P6 = {1}, A6 = { a6 }.

4. Le të caktojmëbinarekodetsimbolet:

a6 : a5 = 0, a4 = 1;

a5 : a3 = 00, a2 = 01;

a4 : a1 = 10, a2 = 11;

a3 : a3 = 000, a1 = 001;

a2 : a4 = 010, a5 = 011;

a1 : a6 = 0010, a7 = 0011.

Kështu, kodet binare të mëposhtme u caktohen shkronjave origjinale:a1 = 10, a2 = 11, a3 = 000, a4 = 010, a5 = 011, a6 = 0010, a7 = 0011, e cila jep një gjatësi mesatare të kodit që është më e vogël se në rastin e kodimit Fano dhe Shannon.

Le të përcaktojmë tepricën e kodeve të marra. Për ta bërë këtë, gjejmë entropinë e burimit të mesazhit:

.

Atëherë kodet kanë tepricën e mëposhtme:

Kodi Fano:;

Kodi Shannon:;

Kodi Huffman:.

Kështu, teprica e kodit Huffman është minimale.

Për të reduktuar tepricën, d.m.th. duke reduktuar gjatësinë mesatare të një fjale kodi me një simbol, mund të përdorni kodimin e bllokut, arsyetimi për të cilin është dhënë në teoremën e kodimit burimorII... Në këtë rast, ju duhet të merrni të gjitha llojet e grupeve të shkronjave gjatësia e dhënë, gjeni probabilitetet e grupeve, si probabilitetet e shfaqjes së përbashkët të shkronjave të grupit në të njëjtën kohë dhe kryeni kodimin, duke i konsideruar grupet si simbole të alfabetit të ri.

FAQJA 43

Për çdo produktivitet të burimit të mesazhit H, më pak se kapaciteti i kanalit C, ekziston një metodë kodimi që lejon transmetimin e të gjithë informacionit të gjeneruar nga burimi i mesazheve me një probabilitet të vogël gabimi arbitrarisht.

Megjithëse prova e kësaj teoreme, e propozuar nga Shannon, iu nënshtrua më pas një prezantimi matematikor më të thellë dhe më rigoroz, ideja e saj mbeti e pandryshuar. Vërtetohet vetëm ekzistenca e metodës së dëshiruar të kodimit, për të cilën gjendet probabiliteti mesatar i gabimit për të gjithë mënyrat e mundshme duke koduar dhe të tregojë se mund të bëhet më pak se një vlerë arbitrare e vogël e e. Për më tepër, ekziston të paktën një metodë kodimi për të cilën probabiliteti i gabimit është më i vogël se mesatarja.

Vërtetimi i teoremës. Le H (x) dhe H (x | y) - entropi a priori dhe posteriori për simbol (nga fundi marrës) për një sistem që zbaton kapacitetin ME kanal. Në bazë të pronës E për një kohëzgjatje mjaft të gjatë ( P simbolet) transmetimet e të gjitha të mundshmeve të çdo ansambli ndahen në grupe shumë të mundshme dhe të pamundura; Në të njëjtën kohë, deklaratat e mëposhtme mund të bëhen në lidhje me numrin e sinjaleve në grupet përkatëse:

a) Një grup sinjalesh të transmetuara me shumë mundësi përmban rreth 2 nn (x) sekuencat.

b) Një grup sinjalesh të marra me shumë probabilitet përmban rreth 2 e hënë (y) sekuencat.

c) Çdo sinjal i marrë shumë i mundshëm mund (me probabilitete afërsisht të barabarta) të vijë nga rreth 2 nn (x | y) sinjale të transmetuara të një grupi shumë të mundshëm.

d) Çdo sinjal i dërguar nga një grup shumë i mundshëm mund (me përafërsisht të njëjtat probabilitet) të korrespondojë me afërsisht 2 nn (y | x) mori sinjale me probabilitet të lartë.

Në bazë të pronës E entropia e proceseve diskrete, me rritje P të gjitha e dhe d përkatëse do të priren në zero.

Tani le të transmetohet informacioni në të njëjtin kanal me një shpejtësi hyrëse të barabartë me N< С. Në këtë rast, numri i sinjaleve të dërguara shumë të mundshme me gjatësi prej P karakteret do të jenë të barabarta me 2 e hënë< 2nn (x)... Siç u përmend tashmë, problemi i zgjedhjes kod të caktuar konsiston në përcaktimin e cilës prej 2 nn (x) sekuencat e mundshme zgjidhen si 2 e hënë lejohen për dërgesë dhe si ndahen në 2 e hënë nëngrupet 2 e hënë (y) sekuencat e daljes. Konsideroni një klasë të të gjitha llojeve të kodeve që do të rezultojnë nëse 2 e hënë sekuencat e lejuara për të postuar rastësisht ndër 2 nn (x) sinjale të mundshme të një grupi shumë të mundshëm; gjeni vlerën mesatare të probabilitetit të gabimit për këto kode.

Le të merret një sinjal në K. Në këtë rast, probabiliteti i gabimit është i barabartë me probabilitetin që një sinjal i caktuar mund të ndodhë nga më shumë se një nga 2. e hënë sinjalet e lejuara. Meqenëse kodi është marrë me një zgjedhje të rastësishme (ekuiprobabile) 2 e hënë sekuenca prej 2 nn (x), atëherë probabiliteti që sinjal i paravendosur në hyrje të kanalit do të jetë ndër të lejuarat, e barabartë me

Sinjali i marrë te korrespondon me 2 nn (x | y) mundësisht të dërguara sinjale. Prandaj probabiliteti mesatar që asnjë nga 2 nn (x | y) sinjalet (përveç një të dërguar në të vërtetë) nuk lejohen, të barabarta (ne e neglizhojmë njësinë në krahasim me nn (x | y))

Kjo është probabiliteti mesatar i pritjes pa gabime. Më tej, që nga N< С = Н(х) – Н(х| у), pastaj

H - H (x) = - H (x | y) - h , (8.23)

Ku h> 0. Duke zëvendësuar (8.23) në (8.22), marrim

Mund të tregohet se

ato. që me kodim të rastësishëm në blloqe mjaftueshëm të gjata, probabiliteti mesatar i gabimit mund të bëhet arbitrarisht i vogël. Deklarata për ekzistencën e të paktën një kodi që jep një probabilitet më të vogël se mesatarja e gabimit plotëson provën.

Vini re se barazia (8.25) është e vlefshme për çdo h pozitiv arbitrarisht të vogël. Kjo do të thotë se teorema e pranon kushtin H £ C.

Kjo i jep një kuptim të veçantë konceptit të gjerësisë së brezit: gjerësia e brezit rezulton të jetë jo vetëm shkalla maksimale e mundshme e transferimit të të dhënave, por shpejtesi maksimale, në të cilën transmetimi është ende i mundur me një probabilitet të vogël gabimi arbitrarisht.

Teorema e dytë e Shannon mbi kodimin në prani të zhurmës. Për të siguruar imunitet të mjaftueshëm ndaj zhurmës, është e nevojshme të futni sinjali i transmetuar tepricë, duke ulur kështu shpejtësinë e transferimit të informacionit. Është krejt e natyrshme të kesh frikë se me rritjen e kufizimeve në vogëlsinë e probabilitetit të gabimit, teprica e nevojshme do të rritet, duke ulur në mënyrë progresive shkallën e transferimit të informacionit, ndoshta në zero. Sidoqoftë, të gjitha dyshimet hiqen nga Teorema e Dytë e Kodimit Shannon për kanalet e zhurmshme, e cila mund të formulohet si më poshtë:

Teorema.Nën kushtin H £ C, midis kodeve që ofrojnë (sipas Teoremës së Parë) një probabilitet të vogël gabimi arbitrarisht, ekziston një kod në të cilin shkalla e transferimit të informacionit R është arbitrarisht afër shkallës së krijimit të informacionit H.

Shpejtësia e transferimit të informacionit (për karakter) përcaktohet si

R = H - H (x | y), (8.26)

ku H (x | y) - entropia e pasme e sinjalit të dërguar për simbol, ose shpërndarja e informacionit në kanal.

Vërtetimi i teoremës (shih) fillon me pohimin se teprica minimale e nevojshme për simbol është H (x | y) karaktere shtesë. Më tej tregohet se kodi mund të zgjidhet në mënyrë që H (x | y) ishte arbitrarisht i vogël.

Diskutimi i teoremave. Para së gjithash, le të vërejmë natyrën themelore të rezultateve të marra. Teorema vendos kufirin teorik të efikasitetit të mundshëm të sistemit me transmetim të besueshëm të informacionit. Ideja, e cila dukej intuitivisht e saktë, se arritja e një probabiliteti të vogël gabimi arbitrarisht në rastin e transmetimit të informacionit përmes një kanali të zhurmshëm është e mundur vetëm me futjen e një teprice pafundësisht të madhe, hidhet poshtë, d.m.th. kur shpejtësia e baud reduktohet në zero. Nga teorema rrjedh se ndërhyrja në kanal nuk imponon kufizime në saktësinë e transmetimit. Kufizimi vendoset vetëm në shkallën e transmetimit në të cilën mund të arrihet një besueshmëri e lartë në mënyrë arbitrare.

Teoremat janë jokonstruktive në kuptimin që ato nuk prekin çështjen e mënyrave të ndërtimit të kodeve që sigurojnë transmetimin ideal të treguar. Sidoqoftë, duke vërtetuar mundësinë themelore të një kodimi të tillë, ata mobilizuan përpjekjet e shkencëtarëve për të zhvilluar kode specifike.

Duhet të theksohet se për çdo shpejtësi të kufizuar të transferimit të informacionit deri në xhiros, një probabilitet i vogël gabimi arbitrarisht arrihet vetëm me një rritje të pakufizuar në kohëzgjatjen e sekuencave të karaktereve të koduara. Kështu, transmetimi pa gabime në prani të ndërhyrjeve është i mundur vetëm teorikisht.

Sigurimi i transmetimit të informacionit me një probabilitet shumë të ulët gabimi dhe një efikasitet mjaft të lartë është i mundur kur kodoni sekuenca karakteresh jashtëzakonisht të gjata. Në praktikë, shkalla e besueshmërisë dhe efikasitetit kufizohet nga dy faktorë: madhësia dhe kostoja e pajisjes së kodimit dhe dekodimit dhe koha e vonesës. mesazhi i transmetuar... Aktualisht përdoret relativisht metoda të thjeshta kodime që nuk zbatojnë aftësitë e treguara nga teoria. Megjithatë, kërkesat gjithnjë në rritje për besueshmërinë e transmetimit dhe përparimet në teknologji për krijimin e madh qarqe të integruara promovojnë futjen e pajisjeve gjithnjë e më të sofistikuara për këto qëllime.

Megjithatë, duhet pasur parasysh se teorema për kanalet diskrete me zhurmë, si dhe teorema 2 për kanalet me zhurmë, nuk thotë se kodimi i sekuencave të mesazheve të gjata është metoda e vetme kodim efikas. Kuptimi i këtyre teoremave është të pohohet ekzistenca metoda efektive kodimi dhe në vendosjen e kufijve sasiorë të shpejtësisë maksimale të mundshme të transmetimit të të dhënave. Në lidhje me këtë, jo vetëm pohimet e drejtpërdrejta, por edhe të kundërta të këtyre teoremave janë të rëndësishme. Nga vërtetimi i teoremave rezulton vetëm se duke koduar sekuenca mesazhesh mjaft të gjata, gjithmonë mund t'i afrohemi shpejtësisë maksimale të mundshme të transmetimit të mesazhit (me probabilitetin minimal të gabimit për kanalet me zhurmë) sa më afër që të jetë e mundur. Kjo e fundit, megjithatë, nuk do të thotë se metoda të tjera efikase të kodimit nuk mund të ekzistojnë. Përkundrazi, në një sërë shembujsh të veçantë mund të tregohet se ekzistojnë metoda të tilla.

Fatkeqësisht, aktualisht, nuk janë gjetur metoda të përgjithshme për ndërtimin e kodeve efikase për kanalet me zhurmë që plotësojnë kërkesa të ndryshme praktike. Megjithatë, gradualisht, metoda të tilla dalin në dritë. Shumë interesante dhe e rëndësishme është pohimi i teoremës se në një kanal të zhurmshëm me një jobesueshmëri arbitrare të ulët të transmetimit të mesazhit (→ 0), shkalla e transferimit të informacionit mund të jetë arbitrarisht afër C C ... Më parë, mbizotëronte mendimi, bazuar në konsiderata intuitive, se me këto kërkesa, shkalla e transferimit të informacionit duhet të ulet pafundësisht.

Rëndësia themelore e teoremave qëndron në faktin se ato lejojnë, duke ditur vlerat kufizuese (teorike) të shkallës së transferimit të informacionit. C C , vlerësoni efektivitetin e metodave të kodimit të përdorura.

Pra, teoremat e mësipërme janë teorema ekzistence.

Nga vërtetimi i këtyre teoremave nuk del se si të ndërtohet kodi dhe të kryhet deshifrimi në mënyrë që probabiliteti i gabimit të jetë aq i vogël sa të doni, dhe shkalla e transmetimit të jetë arbitrarisht afër kapacitetit të linjës së komunikimit. Teoremat janë asimptotike, d.m.th. nuk janë konstruktive. Megjithatë, vetë njohja e mundësive potenciale ka një rëndësi të madhe: krahasimi i karakteristikave sistemet reale Me kufijtë teorikë ju lejon të gjykoni nivelin e arritur dhe mundësinë e kostove të mëtejshme për ta rritur atë. Pyetjet e aplikuara konsiderohen në një seksion të veçantë të teorisë së informacionit - teoria e kodimit, e cila studion metodat e ndërtimit të kodeve specifike dhe vetitë e tyre, në veçanti, të sakta ose varësitë kufitare probabilitetet e gabimeve nga parametrat e kodit.

Teorema e anasjelltë e Shannon-it për kanalet e zhurmshme. Teorema e kundërt tregon kushtet që lindin kur informacioni transmetohet përmes një kanali të zhurmshëm me një shpejtësi që tejkalon gjerësinë e brezit.

Teorema.Nëse shkalla e krijimit të informacionit H është më e madhe se kapaciteti i kanalit C, atëherë asnjë kod nuk mund ta bëjë probabilitetin e gabimit në mënyrë arbitrare të vogël. Shpërndarja minimale e informacionit për simbol, e arritshme për H> C, është e barabartë me H - C; asnjë kod nuk mund të sigurojë më pak shpërndarje informacioni.

Vërtetimi i teoremës së anasjelltë të Shannon-it mund të gjendet në.

Teorema e kundërt pohon se për H> C transmetimi pa gabime është i pamundur; për më tepër, aq më i madh është raporti H / C, aq më e madhe është pasiguria e mbetur H (x | y). Kjo e fundit lidhet me probabilitetin e marrjes së gabimeve. Natyrisht lind pyetja se si është arritur probabiliteti minimal i gabimit kodimi më i mirë, me qëndrim N / S. Për kanal binar zgjidhja jepet në. Në k = N / C< 1 вероятность ошибки e(për të) = 0 sipas teoremës së parë. Në për të® ¥ e ( për të) ® 0.5, që do të thotë se fraksioni informacionin e transmetuar i të gjithë kanalit që hyn në hyrje tenton në zero në për të® ¥; sa më i shpejtë të jetë transmetimi, aq më pak informacion transmetohet.

Pyetje kontrolli

1. Jepni një justifikim për nevojën për të futur tepricë kur kodoni në një kanal me zhurmë.

2. Si transmetohet sasia mesatare e informacionit (për karakter) mbi kanal diskret me zhurma?

3. Si përcaktohet shpejtësia e transmetimit dhe gjerësia e brezit të një kanali me zhurmë?

4. Formuloni dhe shpjegoni teoremat e kodimit Shannon përpara dhe prapa për një kanal me zhurmë.

5. Çfarë marrëdhëniesh rrjedhin nga teorema asimptotike e ekuiprobabilitetit për zinxhirët tipikë mjaft të gjatë për kanalet stacionare me zhurmë?

6. Cila është arsyeja e përshtatshmërisë së kodimit të sekuencave të gjata të karaktereve?

7. Cila formulë përcakton xhiron e një kanali simetrik binar pa memorie, në çfarë kushtesh xhiroja e këtij kanali zhduket?

Kapaciteti i informacionit i kanaleve diskrete (4.4) dhe xhiros së vazhdueshme (4.7) karakterizon aftësitë e tyre kufizuese si mjete të transmetimit të informacionit. Ato zbulohen në teoremat themelore të teorisë së informacionit, të cilat njihen si teoremat themelore të kodimit të Shannon-it. Për një kanal diskret, ai lexon:

Teorema 4.4.1. (Teorema e kodimit të drejtpërdrejtë për DCBP.) Për një kanal diskret pa memorie me shpejtësi kodi R më pak kapacitet informacioni, ka gjithmonë një kod për të cilin probabiliteti mesatar i gabimit tenton në zero me rritjen e gjatësisë së fjalës së koduar.

Në rastin e një kanali të vazhdueshëm, ai formulohet si

Teorema 4.4.2. (Teorema e kodimit të drejtpërdrejtë për kanalin ABGN). Informacioni mund të transmetohet përmes një kanali ABGS me gjerësi bande të pakufizuar me një probabilitet të vogël gabimi arbitrarisht nëse shpejtësia e transmetimit është më e vogël se gjerësia e brezit.

Teorema e kundërt thotë:

Teorema 4.4.3. Me shpejtësi baud
, gjerësi bande më e lartë e kanalit të komunikimit C, asnjë kod nuk do të sigurojë një probabilitet të ulët arbitrarisht të gabimit të dekodimit, d.m.th. mesazhe absolutisht të besueshme.

Duhet të theksohet se nëse teorema e anasjelltë vërtetohet për një model arbitrar të një kanali komunikimi, atëherë ai i drejtpërdrejtë është vetëm për lloje të veçanta kanalesh.

Rezultatet e teoremave të kodimit për një kanal të zhurmshëm janë disi të papritura. Në të vërtetë, në pamje të parë, duket se zvogëlimi i probabilitetit të gabimeve në transmetimin e mesazhit kërkon një reduktim përkatës në shkallën e transmetimit dhe se kjo e fundit duhet të priret në zero së bashku me probabilitetin e gabimeve. Ky përfundim, në veçanti, rrjedh nga shqyrtimi i ritransmetimit të shumëfishtë të simboleve në kanal si një mënyrë për të reduktuar probabilitetin e gabimeve në transmetimin e mesazheve. Në këtë rast, në prani të ndërhyrjes në kanalin e komunikimit, është e mundur të sigurohet që probabiliteti i një gabimi në transmetimin e një mesazhi të tentojë në zero vetëm kur shpejtësia e transmetimit tenton në zero.

Megjithatë, teorema e kodimit tregon se, në parim, është e mundur të transmetohet me një shpejtësi arbitrare afër C duke arritur një probabilitet gabimi në mënyrë arbitrare të vogël. Fatkeqësisht, teoremat, që tregojnë ekzistencën themelore të një kodi imunitar zhurmash, nuk ofrojnë një recetë për gjetjen e tij. Mund të vërehet vetëm se kjo kërkon përdorimin e kodeve të gjata. Në këtë rast, ndërsa shpejtësia e transmetimit i afrohet xhiros dhe probabiliteti i gabimit zvogëlohet, kodi bëhet më kompleks për shkak të rritjes së gjatësisë së bllokut, gjë që çon në një ndërlikim të mprehtë të pajisjeve të kodimit dhe dekodimit, si dhe në një vonesë në daljen e informacionit gjatë dekodimit. Metodat e kodimit të përdorura aktualisht, të cilat do të diskutohen më vonë, nuk e kuptojnë potencialin e sistemit të komunikimit. Kodet turbo që janë zbuluar së fundmi janë përjashtimet e vetme.

1Ky rezultat është i vlefshëm për çdo kanal të balancuar.

Programi i kursit

"Teoria e informacionit dhe kodimit"

Ligjëratat mbahen në vitin e 4-të, semestri VII,

51 orë, pedagog asistent

Koncepti i informacionit, entropia. Sistemet e komunikimit. Burime diskrete. Përshkrimi i burimit duke përdorur proces i rastësishëm... Pavarësia statistikore. Burimet e Markovit. Ergodiciteti. Ergodiciteti i një burimi Bernoulli.

Nxjerrja e formulës së entropisë (sipas Fadeev). Informacioni i ndërsjellë dhe vetitë e tij. Vetitë e entropisë. Teorema rreth vlera maksimale entropia. Entropia për njësi të kohës së burimit të mesazhit.

Problemi i kodimit të një burimi diskret me kode gjatësi të barabartë... Shpejtësia e kodimit. Komplete me probabilitet të lartë. Teorema e drejtpërdrejtë dhe e anasjelltë e kodimit të një burimi diskret me kode me gjatësi të barabartë.

Problemi i kodimit të një burimi me kode me gjatësi të pabarabartë. Kostoja e kodimit. Kodet e deshifruara pa mëdyshje. Kodet e parashtesave... Kodimi shkronjë për shkronjë. Një kusht i domosdoshëm dhe i mjaftueshëm për deshifrimin e paqartë të kodit. Kodet e plota... Një teoremë për kodimin e një burimi diskret me kode me gjatësi të pabarabartë. Algoritme për ndërtimin e kodeve optimale (Fano, Shannon, Huffman). Ndërtimi i një kodi binar optimal me një shpërndarje të barabartë të probabiliteteve të hyrjes. Zbatimi i rezultateve të teorisë së informacionit në vërtetimin e kufijve të poshtëm dhe të sipërm për kompleksitetin e zbatimit funksionet boolean në disa klasa të sistemeve të kontrollit. Një metodë për ndërtimin e një kodi optimal me kushtin që shpërndarja e probabilitetit të shkronjave burimore të jetë e panjohur. Teorema e Markovit mbi deshifrimin e paqartë të një kodi. Algoritme adaptive për kompresimin e informacionit.

Kanal diskret pa memorie. Binar kanal i balancuar... Shkalla e transferimit të informacionit në kanal. Gjerësia e brezit të kanalit. Kanali i zgjeruar dhe gjerësia e brezit të tij. Skemat dhe grupimet vendimtare të vëzhgimeve. Probabiliteti i transmetimit të gabuar të informacionit. Pabarazia e Feinstein. Teorema e drejtpërdrejtë e kodimit të një kanali pa memorie. Pabarazia e Fanos. Teorema e përpunimit të informacionit. Përmbysja e teoremës së kodimit.

Teoria e kodimit të korrigjimit të gabimeve. Kriteri i gjasave maksimale. Distanca e kodit. Kodet e barazisë. Gjenerative dhe kontrolloni matricat... Sindromi. Algoritmi i dekodimit për kodet e kontrollit të barazisë. Kodet lineare dhe algoritmin e tyre të dekodimit. Kufiri Hamming. Kodi Hamming. Kodet ciklike. Kodimi dhe dekodimi ciklik.

LITERATURA

1. Gallagher R. Teoria e informacionit dhe lidhje e besueshme., M., Sov. Radio, 1979.

2. Krichevsky E. Leksione mbi teorinë dhe informacionin, Novosibirsk, NSU, 1966.

3. Kolesnik V., Poltyrev G. Kursi i teorisë së informacionit, Shkencë, 1982.

4. Feinstein A. Themelet e teorisë së informacionit, M., IL, 1960.

5. Peterson V., Weldon F. Kodet e korrigjimit të gabimeve, M., Mir, 1976.

6. Bärlekamp, ​​Teoria e kodimit algjebrik, M., Mir, 1971.