Si të konfiguroni telefonat inteligjentë dhe PC. Portali informativ
  • në shtëpi
  • Gabimet
  • Mjete elektronike për mbledhjen, përpunimin dhe shfaqjen e informacionit. Masa logaritmike binare

Mjete elektronike për mbledhjen, përpunimin dhe shfaqjen e informacionit. Masa logaritmike binare

Dërgoni punën tuaj të mirë në bazën e njohurive është e thjeshtë. Përdorni formularin e mëposhtëm

Studentët, studentët e diplomuar, shkencëtarët e rinj që përdorin bazën e njohurive në studimet dhe punën e tyre do t'ju jenë shumë mirënjohës.

Mbi arsyetimin e masës logaritmike të informacionit

Teoria e informacionit tani ka shkuar përtej kornizës së ngushtë të sistemeve të komunikimit, ku u aplikua fillimisht, dhe filloi të përdoret gjerësisht në fusha të tilla jo tradicionale si fizika, teoria e sistemeve, teoria e kontrollit, biologjia, matematika. Ajo ka gjetur aplikim veçanërisht të gjerë në fusha të tilla relativisht të reja të shkencës si shkenca kompjuterike, teoria e automatave dhe mbrojtja e të dhënave.

Prandaj, analiza e mëtejshme e themeleve të teorisë së informacionit është e nevojshme për të depërtuar në thelbin e saj, i cili sot ende mbetet kryesisht misterioz, dhe për të identifikuar mundësi të reja të zbatimit të saj për zgjidhjen e problemeve praktike.

Çështja më e rëndësishme mbi bazën e së cilës ndërtohet kjo apo ajo teori e informacionit është zgjedhja e masës së informacionit.

Ai përcaktohet kryesisht nga ato objekte, analiza e të cilave synon teorinë e zhvilluar.

Aktualisht, masat Hartley dhe Shannon përdoren më gjerësisht në teorinë e informacionit dhe në një numër rastesh masa Hartley paraqitet si një rast i veçantë i masës Shannon.

Megjithatë, sipas qëllimit të saj, masa e Hartley ka një ndryshim domethënës nga masa e Shannon-it, pasi e para synon studimin e proceseve përcaktuese (të pamundshme) me gjatësi të kufizuar, dhe e dyta në analizimin e proceseve probabiliste të çdo kohëzgjatjeje, për analizën e cilat metoda statistikore përdoren.

Prandaj, teoria e informacionit duke përdorur një ose një tjetër prej këtyre masave quhet teoria e informacionit strukturor ose statistikor.

Përfundueshmëria e gjatësisë së grupeve të të dhënave të analizuara çon, përkatësisht, në mundësinë e numërimit të numrit të tyre me numërim të thjeshtë ose duke përdorur ndonjë metodë matematikore, si dhe në përdorimin e metodave të njohura të pamundësisë për analizën e informacionit, për shembull, teoria e kallëzuesit e fundëm ose teoria e grupeve. Si rezultat, në teorinë e informacionit strukturor sot janë marrë metoda kodimi që nuk mund të zhvillohen në bazë të teorisë së informacionit statistikor.

Në të njëjtën kohë, teoria statistikore lejon marrjen e teoremave kufitare dhe kryerjen e analizave të informacionit të mesazheve bazuar në një grup të dhënash statistikore, në vend që të analizohet secili mesazh veç e veç, siç është rasti në teorinë e informacionit strukturor.

Masa logaritmike që qëndron në themel të teorisë strukturore të informacionit, ku dhe janë çdo numër pozitiv me gjatësi të fundme, jo të barabartë me 0, dhe gjithashtu jo të barabartë me 1, i propozuar nga Hartley në 1928, nuk u vërtetua logjikisht prej tij, por u prezantua në baza e konsideratave intuitive. Për më tepër, ajo që është e rëndësishme, në këtë formë, mund të marrë edhe vlera pozitive, në dhe negative, në.

Aktualisht, ai justifikohet nga vetia e aditivitetit të tij, e cila manifestohet në faktin se informacioni i përgjithshëm i gjeneruar së bashku nga dy burime informacioni dhe është i barabartë me shumën e informacionit të veçantë dhe nga secili prej tyre, siç tregohet, për shembull. , në.

Në të vërtetë, nëse secili nga dy burimet gjeneron gjithashtu mesazhe, përkatësisht, atëherë numri i tyre total

Duke marrë logaritmin e shprehjes (1), marrim barazinë

që vërteton vetinë e aditivitetit të masës së informacionit Hartley.

Le të shqyrtojmë një justifikim tjetër të masës Hartley të zbatuar për problemet e kërkimit (të vazhdueshme dhe diskrete).

Një tipar i problemeve të kërkimit diskrete është fundi i grupit fillestar të objekteve, duke përfaqësuar me probabilitet të barabartë zgjidhjet e mundshme për problemin e kërkimit diskret, ndër të cilët supozohet se ekziston një i dëshiruar. Kërkimi i tij kryhet në procesin e zgjidhjes së një problemi diskret, siç ndodh, për shembull, në problemin e njohur të shitësit udhëtues.

Në këtë problem, objekti i dëshiruar është një rrugë me gjatësi minimale, e zgjedhur nga një numër fillestar i fundëm i rrugëve të mundshme.

Zgjidhja e këtyre problemeve, në një mënyrë ose në një tjetër, është në procesin e ndarjeve vijuese të grupit fillestar të objekteve të mundshme - zgjidhjeve në, klasa ekuivalente dhe testimit të secilës prej tyre për praninë e objektit të dëshiruar në të. Në procesin e testimit eliminohet pasiguria për praninë e objektit të dëshiruar, e shoqëruar me gjenerimin e një sasie të përshtatshme informacioni.

Një rast i veçantë i ndarjes do të jetë kur objektet fillestare të mundshme ndahen në klasa ekuivalente në mënyrë që ato të përmbajnë një numër rreptësisht të barabartë të objekteve të tëra.

Natyrisht, ndarje të tilla janë të mundshme vetëm nëse

ku është numri maksimal i ndarjeve para shfaqjes së një klase me një objekt.

Nëse marrim si masë të informacionit në këtë rast, atëherë ai përkon saktësisht me masën logaritmike Hartley, të marrë nga baza:

Kështu, numri i ndarjeve në një kërkim diskret të barabartë të mundshëm për një objekt midis atyre të mundshëm është një masë logaritmike e informacionit Hartley dhe, anasjelltas, masa Hartley përfaqëson, për rastin në shqyrtim, numrin e ndarjeve uniforme të një grupi objektet në klasa ekuivalente derisa të shfaqet një e dëshiruar.

Në rastin e përgjithshëm, kur ndahet grupi origjinal i përbërë nga objekte në klasa ekuivalente, secila prej tyre mund të përmbajë objekte dhe, në përputhje me rrethanat, probabiliteti për të gjetur objektin e dëshiruar në një ose një klasë tjetër është i barabartë me

ku.

Formula e Shannon për entropinë, e cila përcakton masën e pasigurisë së gjetjes së objektit të dëshiruar në një klasë të caktuar ekuivalence përpara testimit, gjatë ndarjes së parë

ku pohon se vlera e entropisë arrin një maksimum për ndarjen e parë

kur objekti i dëshiruar gjendet në klasa ekuivalente me probabilitete të barabarta

Në këtë rast.

Prandaj, sasia maksimale e informacionit të gjeneruar nga testi në procesin e heqjes së entropisë do të jetë gjithashtu e barabartë me këtë vlerë

Në mënyrë të ngjashme, në ndarjet e mbetura, nëse probabilitetet për të gjetur objektin e dëshiruar në klasat e reja të ekuivalencës janë të barabarta, do të merret sasia maksimale e informacionit, e barabartë me 1.

Nga kjo rrjedh se për të arritur maksimumin e informacionit të gjeneruar nga testi, është e nevojshme që ato të ndahen në klasa ekuivalente me një numër të barabartë objektesh në secilën prej tyre në procesin e ndarjes së një grupi objektesh.

Meqenëse masa Hartley në lidhje me problemin në shqyrtim përdor vetëm ndarje të tilla, kjo do të thotë se përcakton sasinë maksimale të mundshme të informacionit të marrë në procesin e kërkimit të një objekti diskret, dhe nëse është kështu, atëherë numri i ndarjeve dhe , në përputhje me rrethanat, koha e kërkimit duhet të jetë minimale në krahasim me çdo ndarje tjetër të mundshme. Ky është pikërisht tipari themelor i masës së informacionit Hartley.

Në fig. 1 tregon një pemë me 3 ndarje uniforme në 2 klasa të ekuivalencës së objekteve origjinale. Kulmet e tij përmbajnë numrin e objekteve që përmbahen në klasat e fituara të ekuivalencës. Në këtë rast, sasia maksimale e informacionit gjenerohet në çdo kulm.

shuma e të gjitha ndarjeve është një bit përbërës.

Figura 1 - Pema e ndarjeve uniforme me,

Natyrisht, numri i ndarjeve uniforme për këtë rast është minimal.

Një tjetër pemë ndarëse në Fig. 2 për ndarjet jo uniforme të objekteve në 2 klasa ekuivalente ka numrin mesatar të ndarjeve përgjatë të gjitha shtigjeve të mundshme të ndarjeve

që është më shumë se numri mesatar i ndarjeve, i barabartë me atë të marrë në shembullin e mëparshëm.

Kjo për faktin se sasia e informacionit të gjeneruar në secilën ndarje në përputhje me formulën e Shannon (6) është më pak se 1 bit, domethënë koha e kërkimit për objektin e dëshiruar nuk është minimale.

Në këtë rast duhet të përmbushet rregulli bazë i marrjes së informacionit, të cilin do ta formulojmë si më poshtë.

Sasia e informacionit të kërkuar për të kërkuar një objekt të tërë të dëshiruar nuk varet nga metoda e ndarjes së grupit origjinal të objekteve në klasa ekuivalente dhe mbetet konstante dhe e barabartë.

Kjo do të thotë që pavarësisht se cila është pema ndarëse e grupit fillestar të objekteve, sasia e kërkuar e informacionit për të gjetur njërën prej tyre do të jetë gjithmonë e njëjtë -.

Figura 2 - Pema e ndarjeve jo uniforme për, dhe

Ndarjet në klasa ekuivalente janë të përhapura në praktikë. Kështu, kodimi pozicional i fjalëve dhe numrave bazohet në to, i cili ndodh në procesin e ndarjes sekuenciale të grupeve të tyre origjinale në klasa ekuivalente duke përdorur shkronja dhe numra që përfaqësojnë karakteristikat e këtyre klasave. Së bashku, këto shkronja dhe numra formojnë alfabete dhe numri në të cilin ndahen grupet origjinale të fjalëve dhe numrave përfaqëson kardinalitetet e këtyre alfabeteve. Numri i ndarjeve përcakton gjatësinë e fjalëve dhe numrave.

Rrjedhimisht, çdo shkronjë ose shifër e një fjale ose numri tregon klasën ekuivalente të cilës i përkasin në këtë ose atë ndarje.

Shprehja kryesore për teorinë e informacionit e propozuar nga Shannon është

Ai pohon në lidhje me problemin e kërkimit se sasia e informacionit të prodhuar në procesin e tij është e barabartë me diferencën midis entropisë fillestare.

objekti i dëshiruar dhe mbetje

ku është numri i mbetur i objekteve, ndër të cilët është ai i dëshiruar.

Natyrisht, në procesin e ndarjeve dhe testimit, numri zvogëlohet dhe, në fund të fundit, me

Shprehja e fundit paraqet një kusht të rëndësishëm, i cili formulohet në parimin e unitaritetit.

Thelbi i tij qëndron në faktin se informacioni i plotë për një objekt do të merret nëse dhe vetëm nëse një objekt i tërë gjendet në procesin e kërkimit.

Nëse, atëherë kjo tregon që informacioni për objektin i transmetohet pjesërisht marrësit.

Një rast i veçantë do të jetë për të cilin. Sepse merr një vlerë negative - dhe, në përputhje me rrethanat

Kjo do të thotë se në rastin në shqyrtim, kur, gjatë testimit, gjenerohet informacion shtesë për detajet e objektit që i përkasin klasave të ekuivalencës tani të reja, të paeksploruara më parë. Kjo procedurë për detajimin e një objekti mund të zgjasë një kohë të pacaktuar. Për shembull, në pemën e ndarjeve në Fig. 1 pas një kulmi (klasa ekuivalente) që përmban një objekt pas ndarjes së 3-të, mund të ketë kulme që përmbajnë 0.5 objekte (ndarja e 4-të), pastaj 0.25, etj. Sa herë që sasia e informacionit për objektin rritet me 1 bit dhe mund të arrijë çdo vlerë.

Kjo procedurë konfirmon faktin e njohur në shkencë se çdo objekt mund të jetë pafundësisht i njohshëm, megjithatë, parimi i unitaritetit do të cenohet në këtë rast, pasi dhe në përputhje me rrethanat, d.m.th. objekti i analizuar nuk mund të identifikohet si një sistem integral.

I gjithë arsyetimi i mësipërm vlen edhe për problemet e kërkimit me një numër objektesh, me kusht që numrat jo të plotë të objekteve të pranohen në klasat ekuivalente të marra në procesin e ndarjeve.

Nga pabarazia del se

dhe përkatësisht

ku është entropia;

Entropia në.

Teorema 1. Nëse ndarja e tretë e numrit të objekteve përmban klasa ekuivalente me një numër të barabartë objektesh, atëherë ndodh pabarazia

Dëshmi.

Nga gjendja dhe, në përputhje me rrethanat, rrjedh se.

Teorema është vërtetuar.

Përfundimi 1. Entropia e ndarjes së i-të kufizohet nga pabarazia

Teorema 2. Nëse ndarja --të e numrit të objekteve në përmban klasa ekuivalente me numrin e objekteve, atëherë pabarazia

Dëshmi. Meqenëse, pra, ku është numri i objekteve të vendosura sipas klasave të ekuivalencës së ndarjes -të.

Nga gjendja dhe, në përputhje me rrethanat, rrjedh menjëherë se.

Teorema është vërtetuar.

Përfundimi 1 Entropia e mbetur kufizohet nga pabarazia

Në fig. 3, si shembull për teoremat 1, 2, jepet një pemë për tre ndarje me numrin fillestar të objekteve. Nga ajo mund të shihet se klasat e ndarjes së dytë përmbajnë nga 1.5 objekte secila, dhe klasat e ndarjes së tretë përmbajnë secila 0.75 objekte. Përgjatë boshtit vertikal të koordinatave në figurë janë numrat e objekteve origjinale, dhe horizontalisht vlera e informacionit total të marrë pas ndarjes së ardhshme 1, 2, 3 dhe vlera e informacionit të mbetur. Sasia e informacionit të gjeneruar në çdo hap mbetet konstante dhe maksimale:

Teorema 3.

Dëshmi. Që atëherë ku. Duke marrë logaritmin e shprehjes së fundit, marrim atë

Teorema është vërtetuar.

Figura 3 - Pema e ndarjes për.

Teorema 4

Dëshmi. Që atëherë ku. Duke marrë logaritmin e shprehjes së fundit, marrim atë.

Teorema është vërtetuar.

Përfundimi 1

Meqenëse gjatë ndarjeve numri në klasat e marra gjatë ndarjes -të përmban më shumë, dhe në klasat e ndarjes -të është më pak se 1 objekt, kjo do të thotë se sasia e informacionit për objektin pas ndarjes -të.

më pak se sasia e kërkuar për të identifikuar objektin e dëshiruar, dhe për këtë arsye nuk mund të përcaktohet plotësisht, dhe pas ndarjes së tretë, sasia e informacionit

vjen me bollëk dhe si rrjedhojë nuk përcaktohet vetëm objekti në vetvete, por edhe disa detaje të tij, të cilat janë të tepërta për zgjidhjen e problemit të kërkimit.

Për më tepër, vetëm në rastin e parë ka shkelje të parimit të unitaritetit, dhe në të dytin ky parim ruhet dhe madje sigurohet me besueshmëri më të madhe. Prandaj, në realitet, në praktikë, nëse grupi i analizuar i objekteve, ai zëvendësohet nga grupi më i afërt që përmban objekte, dhe kërkimi i objektit të dëshiruar kryhet tashmë midis objekteve të këtij grupi.

Prandaj, mund të flasim për një masë diskrete (numër të plotë) të informacionit, e cila është një lloj mase logaritmike Hartley, e cila është numri mesatar i ndarjeve në klasa ekuivalente që përmbajnë të njëjtin numër objektesh me probabilitet të barabartë derisa të merret ai i dëshiruari. . Kjo masë mund të përdoret në mënyrë efektive në problemet e matematikës diskrete dhe të kombinatorikës, ku zgjidhjet janë objekte me numër të plotë.

Megjithatë, ndarjet mund të bëhen edhe në një numër jo të plotë të klasave ekuivalente. Në këtë rast është e mundur të arrihet përmbushja e parimit të unitaritetit për çdo vlerë reale duke zgjidhur ekuacionin

relativisht.

Për shembull, kur vlera duhet të zgjidhet afërsisht e barabartë. Pastaj.

Kjo do të thotë që dhe, në përputhje me rrethanat, sasia e informacionit të marrë në 3 ndarje do të jetë e barabartë me

Në punët teorike, shpesh zgjidhet e barabartë, dhe në praktikë, më së shpeshti përdoret vlera e bazës së logaritmit, në bazë të së cilës merret një masë kaq moderne e informacionit si bit, domethënë grupi fillestar. i objekteve për këtë masë përbëhet nga, dhe objekti i dëshiruar gjendet në një ndarje në 2 klasa ekuivalente, secila prej të cilave përmban 1 objekt. Entropia e mbetur në këtë rast është e barabartë me 0 dhe, në përputhje me rrethanat, parimi i unitaritetit respektohet për bitin.

Vlera e marrë më lart për numrin e plotë të ndarjeve për grupin fillestar të objekteve mund të merret gjithashtu bazuar në konsideratat e mëposhtme.

Baza e logaritmit në të cilën

ku është një numër i plotë i ndarjeve që mund të gjenden nga shprehja

Përkatësisht

Nga (25) rezulton se

Për shembull, për,

Kjo do të thotë se nëse ndarjet e grupit origjinal të objekteve para marrjes së një numri të plotë bëhen në klasa ekuivalente, atëherë objekti i dëshiruar do të gjendet për ndarjet me numra të plotë që përfaqësojnë numrin e tyre minimal të mundshëm. Në këtë rast, gjatë secilës ndarje, prodhohet sasia maksimale e informacionit - një, dhe për ndarjet - një.

Le të përcaktojmë raportin (25) si densitetin fillestar të informacionit përpara ndarjes së parë:

Natyrisht, dendësia e informacionit ndryshon nga 1 në rangun nga 0 në 1.

Pra, për densitetin fillestar të informacionit

Pas çdo ndarje, dendësia e informacionit do të përcaktohet në përputhje me shprehjen

Pra, për shembullin e konsideruar më sipër, pas ndarjes së parë në dy klasa ekuivalente

dhe pas të dytës

Nga shprehja (28) rezulton se në rastin pas çdo ndarjeje, dendësia e informacionit zvogëlohet dhe vetëm kur ajo mbetet konstante për të gjitha ndarjet dhe e barabartë me maksimumin - 1.

Nga (26) rezulton se

dhe, në përputhje me rrethanat, për

Prandaj, duke ditur, është e mundur të përcaktohet numri i kërkuar i klasave të ekuivalencës në të cilat është e nevojshme të ndahet në mënyrë sekuenciale numri fillestar i objekteve për të marrë një numër të plotë të ndarjeve. Meqenëse kjo do të gjenerojë sasinë maksimale të mundshme të informacionit, ky do të jetë numri minimal i ndarjeve në kushtet e dhëna.

Përfundimi 1 i Teoremës 4 tregon se sasia e informacionit të gjeneruar në ndarjen e fundit

Për më tepër, në përputhje me (16), nuk është e barabartë me 0.

Për të marrë informacion të plotë rreth objektit, mjafton që. Pastaj shprehja (31) merr formën

Meqenëse nga (17) rezulton se

atëherë barazia (32) mund të arrihet në bazë të shprehjes

e cila, për një të dhënë, është e kënaqur me një shpërndarje të përshtatshme probabiliteti.

Kështu, për shembull, për

dhe përkatësisht

Për të arritur barazinë e fundit, rrjedh se probabilitetet dhe janë të barabarta me 0.15, përkatësisht; 0,85 ose 0,85; 0.15.

Kjo do të thotë se numri i marrë në ndarjen e dytë në madhësinë e objektit ndahet gjatë pjesëtimit të tretë në dy probabilitete dhe pjesë proporcionale (0,225 dhe 1,275), të cilat më pas analizohen me anë të një testi për lidhjen e njërit prej tyre me e dëshiruar. Probabiliteti i gjetjes së tyre është i barabartë me ose, ose në varësi të madhësisë së tyre.

Si rezultat, do të merret informacion i plotë për një nga objektet, megjithatë, përveç ndarjeve uniforme, u përdor edhe një i pabarabartë.

Në rastin e një mase thjesht logaritmike të informacionit me numrin e objekteve fillestare për t'u marrë, vlera duhet të jetë informacioni i marrë kur objektet ndahen në mënyrë jo të plotë në dy pjesë të barabarta në mënyrë që secila prej tyre të përmbajë elemente të dy objekteve. Në këtë rast, entropia do të jetë e barabartë me 0 sepse informacioni i marrë në procesin e ndarjes së fundit të numrit të plotë do të shkojë pjesërisht drejt eliminimit të ndërhyrjeve gjatë testimit të krijuar nga elementët e një objekti tjetër.

Nga ajo që u konsiderua më lart, rrjedh se informacioni matet me numrin e ndarjeve të një grupi objektesh të mundshëm derisa të merret një numër i plotë. Burimi i informacionit në këtë rast është testi, i cili tregon klasën e ekuivalencës në të cilën ndodhet objekti i kërkuar. Në të njëjtën kohë, informacioni si një ent i pavarur gjatë ndarjeve nuk manifestohet drejtpërdrejt në asnjë mënyrë, duke mbetur jashtë kuadrit të procedurës së matjes (duke llogaritur numrin e ndarjeve). Në test, ai manifestohet duke treguar rezultatet e krahasimit, i cili manifestohet në rastësinë ose jo të veçorive të klasave të ekuivalencës me tiparet përkatëse të testit. Kjo do të thotë se testi duhet të ketë informacion paraprakisht për karakteristikat e klasave të analizuara të ekuivalencës. Funksioni i tij përfundimtar është dekodimi i veçorive të këtyre klasave dhe zhvillimi i veprimeve të kontrollit që tregojnë se cila klasë e analizuar duhet të ndahet në nënklasa në hapin tjetër të ndarjeve, ose që objekti është gjetur dhe procedura e kërkimit duhet të jetë ndërprerë.

Thelbësore për kërkimin e një objekti është se ai mund të përcaktohet pa mëdyshje vetëm pasi të ketë marrë të gjithë informacionin rreth tij, gjë që ndodh vetëm kur ka entropi të mbetur. Kjo është e mundur vetëm nëse në procesin e ndarjeve do të merret një klasë ekuivalente që përmban një objekt. Në këtë rast, entropia dhe rrjedhimisht parimi i unitaritetit është i kënaqur.

Një rast i tillë do të jetë kur numri origjinal i objekteve. Nëse, atëherë me një ndarje uniforme, klasa e fundit e ekuivalencës do të përmbajë më pak se një objekt, dhe si rezultat do të merret informacion shtesë që detajon objektin dhe nuk përdoret në kërkimin e tij.

Në praktikë, në problemet e kodimit, përdoret gjerësisht zëvendësimi i numrit fillestar të objekteve me një numër, i cili, nga njëra anë, çon në përmbushjen e parimit të unitaritetit dhe nga ana tjetër, në një rritje të sasia e informacionit të tepërt të gjeneruar nga testi.

Dokumente të ngjashme

    Koncepti dhe qëllimet e metodës së objekteve fokale është kërkimi i ideve të reja duke bashkangjitur vetitë ose atributet e objekteve të rastësishme në objektin origjinal. Aktivizimi i të menduarit asociativ si një nga metodat e kërkimit heuristik në teorinë e vendimmarrjes.

    test, shtuar 24.12.2012

    Bazat teorike të përpunimit parësor të informacionit statistikor. Veçoritë e përcaktimit të numrit minimal të objekteve të vëzhgimit gjatë vlerësimit të treguesve të besueshmërisë. Analiza e punimit probabilistik të ligjeve të shpërndarjes normale dhe shpërndarjes Weibull.

    punim afatshkurtër, shtuar 22.03.2010

    Konceptet dhe metodat bazë të kodimit të informacionit. Karakteristikat e procesit të deshifrimit të barkodit. Teknologjia dhe pajisjet e barkodimit. Përdorimi i teknologjisë së identifikimit të automatizuar të barkodit në sistemet logjistike.

    punim termi shtuar 05/09/2013

    Koncepti i entropisë. Entropia si masë e shkallës së pasigurisë. Koncepti i informacionit. Matja e informacionit. Teorema e kodimit të zhurmës së Shannon-it. Një shembull i përdorimit të entropisë në parashikim dhe rëndësia e saj për parashikimin.

    abstrakt, shtuar 14.12.2008

    Zhvillimi i një modeli ekonomik dhe matematikor dhe zgjidhja e një problemi të programimit linear duke përdorur metoda matematikore. Problemi i transportit në formulimin e matricës dhe vetitë e tij. Ndërtimi i një plani fillestar të realizueshëm. Kriteri i optimizmit.

    punim afatshkurtër, shtuar 16.01.2011

    Bazat e modelimit matematik të objekteve përcaktuese dhe stokastike. Identifikimi i objekteve të kontrollit me përgjigje kalimtare. Marrja e një modeli me metodën e regresionit të shumëfishtë linear dhe kontrollimi i përshtatshmërisë së tij sipas kriterit të Fisher.

    punim termi shtuar 14.10.2014

    Algoritmet më të thjeshta për kërkim të rastësishëm të drejtuar. Algoritmi i mostrës më të mirë me katrorin udhëzues. Optimizues statistikor shumëkanalësh me kërkim të rastësishëm. Metoda statistikore e gradientit. Kërkimi i rastësishëm lokal i mostrës më të mirë.

    punim afatshkurtër, shtuar 02/08/2015

    Konceptet dhe përkufizimet e teorisë së algoritmeve gjenetike. Baza matematikore e fizikës shpikëse. Algoritmi gjenetik për një problem shpikës. Përshkrimi i operatorëve të algoritmeve gjenetike. Sistemi i kërkimit dhe gjurmimit mendor në mendjen e shpikësit.

    punim afatshkurtër, shtuar 22.05.2012

    Ndërtimi i një modeli matematikor të një problemi të dyfishtë (një sistem kufizimesh në fitimin për njësi dhe një funksion objektiv i kostove totale për lëndët e para. Përcaktimi i grupit optimal të çmimeve për lëndët e para, duke siguruar një minimum të kostove totale për lëndët e para. Analiza të variablave.

    test, shtuar 18.05.2015

    Planifikimi i eksperimentit si një disiplinë matematikore dhe statistikore. Kërkoni kushte dhe rregulla optimale për kryerjen e eksperimenteve për të marrë informacion për një objekt me koston më të ulët të punës. Teoria e hulumtimit të korrelacionit, masat e korrelacionit.

Masa kombinuese

Për një kuptim më të mirë, merrni parasysh disa shembuj të thjeshtë.

Shembulli 1... Le të bëjmë eksperimentin. Le të marrim një zare. Ai ka gjashtë anë, secila me numra nga një në gjashtë.

Le ta hedhim lart. Kur hidhet kërpudha, një nga numrat në anët e kapelës bie jashtë. Numri që rezulton është rezultat i përvojës sonë.

Duke hedhur zarin çdo herë, ne mund të marrim vetëm gjashtë numra të mundshëm. Le ta shënojmë këtë si N = 6.

Ky shembull ju lejon të kaloni në konceptin e një mase kombinuese të informacionit dhe të jepni përkufizimin e mëposhtëm:

Masa kombinuese e informacionit N është një mënyrë për të matur sasinë e informacionit duke vlerësuar numrin e kombinimeve të mundshme të artikujve të informacionit.

Meqenëse në shembullin me një zare, vetëm gjashtë variante të rezultatit të eksperimentit janë të mundshme, me fjalë të tjera, gjashtë kombinime, atëherë sasia e informacionit në përputhje me masën kombinuese është N = 6 kombinime.

Merrni parasysh shembullin e mëposhtëm.

Shembulli 2. Le të jepet një nga shifrat dhjetore, për shembull, shifra 8 dhe një nga shifrat heksadecimal - për shembull, shifra 6 (mund të merrni çdo heksadecimal tjetër - 8, B, F, etj.). Tani, në përputhje me përkufizimin e një mase kombinuese, le të përcaktojmë sasinë e informacionit që përmban secili prej këtyre numrave. Meqenëse shifra 8 është dhjetore, që do të thotë se përfaqëson një karakter nga dhjetë, N 8 = 10 kombinime. Po kështu, numri 6 përfaqëson një nga gjashtëmbëdhjetë karakteret, dhe për rrjedhojë N 6 = 16 kombinime. Prandaj, një shifër heksadecimal përmban më shumë informacion se një shifër dhjetore.

Nga shembulli i konsideruar, mund të konkludojmë se sa më pak numra të jenë në bazën e sistemit të numrave, aq më pak informacion mbart një nga elementët e tij.

Inxhinieri anglez R. Hartley propozoi të matet sasia e informacionit me një masë logaritmike binare:

ku N është numri i kombinimeve të ndryshme të artikujve të informacionit. Njësia e matjes së informacionit në këtë matje është biti.

Meqenëse formula e nxjerrë nga R. Hartley merr parasysh numrin e kombinimeve të mundshme N, është interesante të dihet se çfarë vlerësimi i sasisë së informacionit jepet nga masa binar logaritmike për shembujt e konsideruar më sipër.

Numërimi jep rezultatet e mëposhtme:

në shembullin e kubit I = log 2 6 = 2.585 bit;

në shembullin me sistemin e numrave dhjetorë, I = log 2 10 = 3.322 bit;

në shembullin me shënim heksadecimal I = log 2 16 = 4 bit;

në shembullin me sistemin binar, I = log 2 2 = 1 bit.

Shifra e fundit tregon se çdo shifër e sistemit të numrave binar përmban një bit informacion. Në përgjithësi, në sistemet teknike, sistemi i numrave binar përdoret për të koduar dy gjendje të mundshme, për shembull, 1 nënkupton praninë e rrymës elektrike në rrjet, 0 nënkupton mungesën e saj.



Në të gjithë shembujt e konsideruar më sipër, rezultatet e eksperimenteve ishin po aq të mundshme dhe të pavarura reciprokisht. Kjo do të thotë që kur hidhet zari, secila nga gjashtë fytyrat ka të njëjtën probabilitet për një rezultat të suksesshëm. Dhe gjithashtu që rezultati i hedhjes së radhës nuk varet në asnjë mënyrë nga rezultati i atij të mëparshëm.

Ngjarjet po aq të mundshme dhe reciprokisht të pavarura në jetën reale janë mjaft të rralla. Nëse i kushtoni vëmendje gjuhëve të folura, për shembull rusisht, atëherë mund të nxirrni përfundime interesante. Për të thjeshtuar kërkimin teorik në shkencën kompjuterike, përgjithësisht pranohet se alfabeti rus përbëhet nga 32 karaktere (e dhe e, si dhe b dhe b nuk ndryshojnë nga njëri-tjetri, por shtohet një hapësirë ​​midis fjalëve). Nëse supozojmë se çdo shkronjë e gjuhës ruse në mesazh shfaqet po aq shpesh dhe pas çdo shkronje mund të ketë ndonjë simbol tjetër, atëherë mund të përcaktojmë sasinë e informacionit në secilin simbol të gjuhës ruse si:

I = log 2 32 = 5.

Megjithatë, në fakt gjërat nuk janë ashtu. Në të gjitha gjuhët e folura, disa shkronja gjenden më shpesh, të tjera shumë më rrallë. Studimet thonë se ka përsëritjet e mëposhtme për 1000 shkronja:

Për më tepër, mundësia e shfaqjes së shkronjave individuale varet nga ajo se cilat shkronja i paraprijnë. Pra, në rusisht, një shenjë e butë nuk mund të ndjekë një zanore, katër zanore nuk mund të qëndrojnë në një rresht, etj. Çdo gjuhë e folur ka karakteristikat dhe modelet e veta. Prandaj, sasia e informacionit në mesazhet e ndërtuara nga simbolet e çdo gjuhe të folur nuk mund të vlerësohet as me masa logaritmike kombinatore as binar.

1

Punimi paraqet një model për përcaktimin e masës logaritmike të informacionit. Një objekt veçohet nga struktura e sistemit teknik dhe merren parasysh gjendjet e tij probabiliste të dështimit dhe funksionimit. Kur gjendjet janë njësoj të mundshme, propozohet përdorimi i masës Hartley, dhe për gjendjet jo ekuiprobabile, masa Shannon për një ose shumë objekte, nëse ato janë reciprokisht të pavarura. Modeli merr parasysh mundësinë e përcaktimit të masës së informacionit vetëm për një objekt. Të gjitha gjendjet e objektit ndahen në dy klasa. Secila nga klasat e përzgjedhura formohet në bazë të të dhënave për rrjedhën e ngjarjeve jo uniforme. Për secilën klasë të gjendjeve të objektit, përcaktohen probabilitetet totale dhe të përgjithësuara të funksionimit dhe dështimit. Këto probabilitete kanë gjetur zbatim në shprehjet e marra matematikore për të përcaktuar masën e pasigurisë së informacionit. Është treguar se formulat e marra janë identike dhe janë të zbatueshme si kur përdoret probabiliteti total ashtu edhe probabiliteti i përgjithësuar.

MASJA LOGARITMIKE E INFORMACIONIT TË GJENDJES SË OBJEKTIT TEKNIK

Dulesov A.S. 1 Kabaeva E.V. një

1 Universiteti Shtetëror Khakass n.a. N.F. Katanov

Abstrakt:

Artikulli paraqet modifikuesin e masës logaritmike të modelit të informacionit. Një objekt zgjidhet nga sistemi teknik dhe analizohen gjendjet e tij probabiliste të dështimit dhe punës. Kur gjendjet janë ekuiprobabile, rekomandohet të përdoret masa e Hartley-t, dhe kur ato nuk janë të mundshme, masa e Shanon-it preferohet për një ose më shumë objekte të ndërvarura. Modeli merr në konsideratë aftësinë për të modifikuar masën e informacionit vetëm për një objekt. Të gjitha gjendjet e objektit ndahen në dy klasa. Çdo klasë bazohet në të dhënat e rrjedhës së ngjarjeve joprobabile. Probabilitetet totale dhe të përgjithësuara të efikasitetit dhe dështimit përcaktohen për gjendjet e objektit të secilës klasë. Probabilitetet e studiuara përdoren në formulat matematikore për modifikimin e masës së pasigurisë së informacionit. Është treguar se formulat janë identike dhe mund të aplikohen si për probabilitetin total ashtu edhe për probabilitetin e përgjithësuar.

Fjalë kyçe:

Referencë bibliografike

Dulesov A.S., Kabaeva E.V. MASJA LOGARITMIKE E INFORMACIONIT TË GJENDJES SË OBJEKTIT TEKNIK // Rishikim Shkencor. shkenca teknike. - 2014. - Nr. 1. - F. 146-146;
URL: http://science-engineering.ru/ru/article/view?id=204 (data e aksesimit: 04/06/2019). Ne sjellim në vëmendjen tuaj revistat e botuara nga "Akademia e Shkencave të Natyrës"

Kjo masë përcakton dobinë e informacionit (vlerës) për përdoruesin për të arritur qëllimin e vendosur.

E gjithë teoria e informacionit bazohet në zbulimin e bërë nga R. Hartley në vitin 1928, dhe ai informacion mund të kuantifikohet.

Qasja e Hartley-t bazohet në bazat themelore teorike të grupeve, në thelb kombinuese, si dhe në disa supozime intuitive të qarta dhe mjaft të dukshme.

Nëse ka shumë elementë dhe një prej tyre zgjidhet, atëherë një sasi e caktuar informacioni komunikohet ose gjenerohet nga kjo. Ky informacion konsiston në faktin se nëse para seleksionimit nuk dihej se cili element do të zgjidhet, atëherë pas përzgjedhjes bëhet i ditur. Është e nevojshme të gjendet lloji i funksionit që lidh sasinë e informacionit të marrë kur zgjedh një element të caktuar nga grupi, me numrin e elementeve në këtë grup, domethënë me kardinalitetin e tij. bajt pragmatik algoritmik matës

Nëse grupi i elementeve nga i cili bëhet zgjedhja përbëhet nga një element i vetëm, atëherë është e qartë se zgjedhja e tij është e paracaktuar, domethënë nuk ka pasiguri zgjedhjeje - ka zero sasi informacioni.

Nëse grupi përbëhet nga dy elementë, atëherë pasiguria e zgjedhjes është minimale. Në këtë rast, sasia e informacionit është gjithashtu minimale.

Sa më shumë elementë në grup, aq më e madhe është pasiguria e zgjedhjes, aq më shumë informacion.

Numri i këtyre numrave (elementeve) në bashkësi është: N = 2i

Nga këto konsiderata të dukshme, kërkesa e parë vijon: informacioni është një funksion monoton i kardinalitetit të grupit origjinal.

Zgjedhja e një numri na jep sasinë e mëposhtme të informacionit: i = Regjistri 2 (N)

Kështu, sasia e informacionit që përmban një numër binar është e barabartë me numrin e shifrave binare në këtë numër.

Kjo shprehje është formula e Hartley për sasinë e informacionit.

Kur gjatësia e një numri dyfishohet, sasia e informacionit në të gjithashtu duhet të dyfishohet, pavarësisht nga fakti se numri i numrave në grup rritet në mënyrë eksponenciale (në katror, ​​nëse numrat janë binarë), domethënë nëse N2 = ( N1) 2, pastaj I2 = 2 * I1,

F (N1 * N1) = F (N1) + F (N1).

Kjo është e pamundur nëse sasia e informacionit shprehet si një funksion linear i numrit të elementeve në grup. Por ekziston një funksion i njohur që ka pikërisht një veti të tillë: është Log:

Regjistri 2 (N2) = Regjistri 2 (N1) 2 = 2 * Regjistri 2 (N1)

Kjo kërkesë e dytë quhet kërkesa shtesë.

Kështu, masa logaritmike e informacionit e propozuar nga Hartley përmbush njëkohësisht kushtet e monotonitetit dhe aditivitetit. Vetë Hartley arriti në masën e tij në bazë të konsideratave heuristike të ngjashme me ato të përshkruara sapo, por tani është vërtetuar me rigorozitet se masa logaritmike për sasinë e informacionit rrjedh pa mëdyshje nga këto dy kushte që ai postuloi.

Shembull. Janë 192 monedha. Dihet që njëri prej tyre është i rremë, për shembull, më i lehtë në peshë. Përcaktoni sa peshime duhen bërë për ta identifikuar atë. Nëse vendosim një numër të ndryshëm monedhash në peshore, marrim tre mundësi të pavarura: a) kupa e majtë është më e ulët; b) kupa e djathtë është më e ulët; c) kupat janë të balancuara. Kështu, çdo peshim jep sasinë e informacionit I = log23, prandaj, për të përcaktuar një monedhë false, duhet të bëhen të paktën k peshime, ku k më i vogël plotëson kushtin log23k log2192. Prandaj, k 5 ose k = 4 (ose k = 5 - nëse llogarisim si një që peshon dhe i fundit, që është e qartë për përcaktimin e monedhës). Pra, është e nevojshme të bëhen të paktën pesë peshime (5 mjaftojnë).

Udhëzime për vlerësimin e sasisë së informacionit

Ekzistojnë tre drejtime kryesore në teorinë e informacionit: strukturor, statistikor dhe semantik.

Strukturore- merr parasysh strukturën diskrete të grupeve të informacionit dhe matjen e tyre me numërim të thjeshtë të elementeve të informacionit. (Kodimi më i thjeshtë i vargjeve është një metodë kombinuese.)

Statistikore drejtimi funksionon me konceptin e entropisë si masë e pasigurisë, pra këtu merret parasysh probabiliteti i shfaqjes së mesazheve të caktuara.

Semantike drejtimi merr parasysh përshtatshmërinë, vlerën ose materialitetin e informacionit.

Këto tre fusha kanë fushat e tyre specifike të aplikimit. Strukturore përdoret për të vlerësuar aftësitë e mjeteve teknike të sistemeve të ndryshme të përpunimit të informacionit, pavarësisht nga kushtet specifike të përdorimit të tyre. Statistikore vlerësimet përdoren kur merren parasysh çështjet e transmetimit të të dhënave, duke përcaktuar gjerësinë e brezit të kanaleve të komunikimit. Semantike përdoren në zgjidhjen e problemeve të ndërtimit të sistemeve të transmetimit të informacionit për zhvillimin e pajisjeve koduese dhe në vlerësimin e efektivitetit të pajisjeve të ndryshme.

Masat strukturore të informacionit

Masat strukturore marrin parasysh vetëm strukturën diskrete të informacionit. Elementet e kompleksit të informacionit janë kuante - pjesë të pandashme të informacionit. Të dallojë gjeometrike, kombinuese dhe aditiv masat.

Përkufizimi i informacionit gjeometrike metoda është një matje e gjatësisë së linjës, sipërfaqes ose vëllimit të modelit gjeometrik të kompleksit të informacionit në numrin e kuanteve. Numri maksimal i mundshëm i kuanteve në dimensionet e dhëna strukturore përcakton kapaciteti informativ i sistemit... Kapaciteti i informacionit është një numër që tregon numrin e kuanteve në grupin e plotë të informacionit. Sipas fig. 1.2, G, sasia e informacionit M në kompleks X(T, N), e përcaktuar me metodën gjeometrike, është e barabartë me

X, T,N - intervalet në të cilat merren mostra diskrete.

V kombinuese sasia e informacionit llogaritet si numri i kombinimeve të elementeve. Këtu merren parasysh kombinimet e mundshme ose të realizuara.

Në shumë raste, një mesazh diskret mund të shihet si një fjalë e përbërë nga një numër elementësh. n, dhënë nga alfabeti i përbërë nga T elementet-shkronjat. Le të përcaktojmë numrin e mesazheve të ndryshme që mund të formohen nga një alfabet i caktuar. Nëse mesazhi përbëhet nga dy elementë ( n = 2), atëherë mund të ketë mesazhe të ndryshme në total. Për shembull, dhjetë shifra (0, 1, 2, ..., 9) mund të formojnë njëqind numra të ndryshëm nga 0 në 99. Nëse numri i elementeve është tre, atëherë numri i mesazheve të ndryshme është i barabartë, e kështu me radhë.

Kështu, numri i mesazheve të mundshme përcaktohet nga:

ku L- numri i mesazheve; P- numri i elementeve në një fjalë; T- alfabeti.

Më shumë L, aq më i ndryshëm mund të jetë çdo mesazh nga pjesa tjetër. Madhësia L mund të merret si masë e sasisë së informacionit. Megjithatë, zgjedhja L si masë e sasisë së informacionit shoqërohet me shqetësime: së pari, kur L= 1 informacion është i barabartë me zero, pasi natyra e mesazhit dihet paraprakisht (d.m.th., ka një mesazh dhe informacioni është i barabartë me zero); së dyti, nuk plotësohet kushti i shtimit linear të sasisë së informacionit, d.m.th. gjendja e aditivitetit. Nëse, për shembull, burimi i parë karakterizohet nga mesazhe të ndryshme, dhe i dyti -, atëherë numri i përgjithshëm i mesazheve të ndryshme për të dy burimet përcaktohet nga produkti

L = .

Për k burimet numri i përgjithshëm i mesazheve të ndryshme të mundshme është

Prandaj, Hartley prezantoi një masë logaritmike (shtesë) të sasisë së informacionit, e cila bën të mundur vlerësimin e sasisë së informacionit që përmban një mesazh nga logaritmi i numrit të mesazheve të mundshme.

Unë = .

Pastaj në L = 1Unë = 0, d.m.th. informacioni mungon.

Për k burimet e informacionit

ato. Unë = .

Masat statistikore të informacionit

Në qasjen statike probabilistike, marrja e një sasie të caktuar informacioni konsiderohet si rezultat i një zgjedhjeje të caktuar midis mesazheve të mundshme. Marrësi i informacionit mund të dijë paraprakisht ose të hamendësojë një pjesë të tij. Kur vjen një mesazh për ngjarje të shpeshta, gjasat e të cilave R priret në një, atëherë një mesazh i tillë është joinformues. Mesatarisht, mesazhet për ngjarjet, probabilitetet e të cilave priren në zero, janë po aq joinformative, d.m.th. ngjarje pothuajse të pamundura, pasi ngjarje të tilla raportohen jashtëzakonisht rrallë.

Ngjarjet mund të shihen si rezultate të mundshme të disa përvojave. Të gjitha rezultatet përbëjnë një grup të plotë ngjarjesh, ose një ansambël.

Ansambli karakterizohet nga fakti se shuma e probabiliteteve të të gjitha mesazheve në të është e barabartë me një, d.m.th.

.

Merrni parasysh mesazhet komplekse të përbëra nga P elemente, secila prej të cilave është e pavarur dhe zgjidhet nga alfabeti që përmban T shkronjat, me probabilitetet e përzgjedhjes së elementeve përkatësisht. Supozoni se një mesazh përfshin elemente të alfabetit, elemente, etj. Një mesazh i tillë karakterizohet nga një tabelë (Tabela 1.1).

Tabela 1.1

Lloji i artikullit ... ...
Numri i elementeve ... ...

Probabilitetet e zgjedhjes

elementet

Probabiliteti që mesazhi të përfshijë elementë është i barabartë, dhe probabiliteti i formimit të një mesazhi nga ,,, ... ,, ..., elementet do të jetë i barabartë

P = . (1.1)

Për gjatësi të gjata P burimi do të formojë mesazhe tipike në të cilat frekuenca relative e shfaqjes së elementeve individuale priret në probabilitetin e shfaqjes së këtyre elementeve, d.m.th.

, (1.2)

dhe probabiliteti i shfaqjes së mesazheve tipike R do të jetë i njëjtë dhe mund të gjendet nga (1.1), (1.2):

P =. (1.3)

Le të përcaktojmë numrin e mesazheve tipike:

meqenëse probabiliteti total i të gjitha mesazheve tipike tenton të bashkohet me rritjen e gjatësisë së mesazhit.

Megjithëse numri i mesazheve të mundshme, burimi praktikisht vetëm do të gjenerojë L mesazhe tipike, dhe probabiliteti i shfaqjes së mesazheve të tjera priret në zero.

Gjeni sasinë e informacionit Unë të përfshira në një mesazh:

Unë = log L = - log . (1.5)

Kjo shprehje (formula e Shanonit) jep një pamje më të plotë të burimit të informacionit sesa një masë shtesë (masa e Hartley). Le ta shpjegojmë këtë me shembullin e mëposhtëm. Nëse hedhim një monedhë, marrim një mesazh nga dy gjendje të mundshme (kokë ose bisht), domethënë një alfabet mesazhesh nga dy shkronja. Nëse hedhim një kub, njëra faqe e të cilit është blu, dhe fytyrat e tjera janë me ngjyrë rozë, atëherë këtu kemi edhe një alfabet me dy shkronja (blu ose rozë). Për të shkruar tekstin e marrë (mesazhin), në të dyja rastet, një shifër binare për shkronjë ( n = 1, t = 2).

Sipas Hartley këtu në të dyja rastet

Por ne e dimë se në rastin e parë, probabiliteti i secilit rezultat të eksperimentit është 0.5 (= 0.5). Dhe në rastin e dytë, dhe në përputhje me rrethanat. Masa e Hartley e injoron këtë.

Me ekuiprobabilitetin e simboleve (rast i veçantë), formula e Shannon-it degjeneron në formulën e Hartley-t:

Unë = - n .

Për kutinë e monedhës:

Unë = - 1 .

Për rastin e zarit:

Unë = - 1 .

Sasia e informacionit për element mesazhi quhet përmbajtje specifike informacioni ose entropia.

H =. (1.6)

Sasia e informacionit dhe entropia janë matje logaritmike dhe maten në të njëjtat njësi. Baza e logaritmit përcakton njësinë e matjes për sasinë e informacionit dhe entropinë. Binarit i përgjigjet bazës së logaritmit, e barabartë me dy, dhe quhet bit. Një bit është sasia e informacionit në mesazh në një nga dy rezultatet e mundshme të një përvoje. Përdoren gjithashtu logaritmet natyrore (NIT) dhe dhjetore (DIT). Njësi të ngjashme përdoren kur vlerësohet sasia e informacionit duke përdorur masën Hartley.

Nga formula e Shannon-it rezulton se sasia e informacionit që përmban një mesazh varet nga numri i elementeve të mesazhit. P, alfabet T dhe probabilitetet e përzgjedhjes së artikujve. Varësia Unë nga P eshte nje lineare.

Le të vëmë re disa veti të entropisë.

1. Entropia është një madhësi reale, e kufizuar dhe jo negative, d.m.th H> 0. Kjo veti rrjedh nga shprehja (1.6).

2. Entropia është minimale dhe e barabartë me zero nëse mesazhi dihet paraprakisht, domethënë nëse = 1, dhe

3. Entropia është maksimale nëse të gjitha gjendjet e elementeve të mesazhit janë njëlloj të mundshme.

H =, nëse . (1.7)

Ne gjejmë vlerën e entropisë maksimale duke përdorur (1.6) dhe (1.7):

Fizibiliteti, dobia e informacionit për zgjidhjen e një problemi mund të vlerësohet nga efekti që informacioni i marrë në zgjidhjen e problemit. Nëse gjasat për të arritur qëllimin rriten, atëherë informacioni duhet të konsiderohet i dobishëm.

Artikujt kryesorë të lidhur