Masa strukturore e informacionit. Masa shtesë Hartley

1. SASIA E INFORMACIONIT DHE MASJA E TIJ

Një grup mesazhesh të zgjedhura nga grupi i mesazheve futen nga burimi i informacionit në hyrjen e sistemit të transmetimit të informacionit (SPI) nga burimi i informacionit (Fig. 1).

Ndërhyrje

x 1 y 1

x 2 y 2

… …

x n y n

Fig. 1. Sistemi i transmetimit të informacionit

Ansambli i mesazheve - shumë mesazhe të mundshme me karakteristikat e tyre probabiliste - (X, f (X) } ... ku: X = (x 1 , X 2 , …, X m } - shumë mesazhe burimore të mundshme; i = 1, 2, ..., m, ku m- vëllimi i alfabetit; fq (x i) - probabiliteti i shfaqjes së mesazheve, dhe fq (x i) 0 dhe meqenëse probabilitetet e mesazheve përfaqësojnë një grup të plotë ngjarjesh, probabiliteti i tyre total është i barabartë me një

.

Çdo mesazh përmban një sasi të caktuar informacioni. Përcaktoni sasinë e informacionit që përmban mesazhi x i zgjedhur nga grupi i mesazheve burimore (X, f (X) } . Një nga parametrat që karakterizon këtë mesazh është probabiliteti i shfaqjes së tij - fq (x i), prandaj është e natyrshme të supozohet se sasia e informacionit Unë (x i) në mesazh x iështë një funksion fq (x i). Probabiliteti i shfaqjes së dy mesazheve të pavarura x 1 dhe x 2 e barabartë me produktin e probabiliteteve fq (x 1 , x 2 ) = fq (x 1 ). fq (x 2 ), dhe informacioni që përmbahet në to duhet të ketë vetinë e aditivitetit, d.m.th.

Unë (x 1 , x 2 ) = Unë (x 1 ) + Unë (x 2 ). ( 1)

Prandaj, për të vlerësuar sasinë e informacionit, propozohet një masë logaritmike:

. (2)

Në këtë rast, mesazhet më pak të mundshme përmbajnë sasinë më të madhe të informacionit, dhe sasia e informacionit në mesazh për një ngjarje të besueshme është e barabartë me zero. Sepse të gjitha logaritmet janë proporcionale, atëherë zgjedhja e bazës përcakton njësinë e informacionit:

log ax = log bx / log ba.

Në varësi të bazës së logaritmit, përdoren njësitë e mëposhtme të informacionit:

2 - [bit] ( shifra binar- njësi binare), përdoret në analizën e proceseve të informacionit në kompjuterë dhe pajisje të tjera që funksionojnë në bazë të sistemit të numrave binar;

e - [nit] ( shifra natyrale- njësi natyrore), përdoret në metodat matematikore të teorisë së komunikimit;

10 - [diq] ( shifra dhjetore- njësi dhjetore), përdoret në analizën e proceseve në pajisjet që punojnë me një sistem numrash dhjetorë.

Bit (njësia binare e informacionit) është sasia e informacionit që heq pasigurinë në lidhje me ndodhjen e njërës prej dy ngjarjeve të pavarura po aq të mundshme.

Sasia mesatare e informacionit për të gjithë grupin e mesazheve mund të merret duke vlerësuar mesatarisht të gjitha ngjarjet:

. (3)

Sasia e informacionit në një mesazh që përbëhet nga n jo po aq e mundshme për elementët e saj është e barabartë (kjo masë u propozua në 1948 nga K. Shannon):

. (4)

Për rastin e ngjarjeve të pavarura equiprobable, sasia e informacionit përcaktohet (kjo masë u propozua në 1928 nga R. Hartley):

. ( 5)

2. VETITË E SASISË SË INFORMACIONIT

1. Sasia e informacionit në një mesazh është në përpjesëtim të zhdrejtë me probabilitetin që ky mesazh të shfaqet.

2. Vetia e aditivitetit - sasia totale e informacionit nga dy burime është e barabartë me shumën e informacionit nga burimet.

3. Për një ngjarje me një rezultat, sasia e informacionit është zero.

4. Sasia e informacionit në një mesazh diskret rritet në varësi të rritjes së madhësisë së alfabetit - m.

Dërgoni punën tuaj të mirë në bazën e njohurive është e thjeshtë. Përdorni formularin e mëposhtëm

Studentët, studentët e diplomuar, shkencëtarët e rinj që përdorin bazën e njohurive në studimet dhe punën e tyre do t'ju jenë shumë mirënjohës.

Mbi arsyetimin e masës logaritmike të informacionit

Teoria e informacionit tani ka shkuar përtej kornizës së ngushtë të sistemeve të komunikimit, ku u aplikua fillimisht, dhe filloi të përdoret gjerësisht në fusha të tilla jo tradicionale si fizika, teoria e sistemeve, teoria e kontrollit, biologjia, matematika. Ajo ka gjetur aplikim veçanërisht të gjerë në fusha të tilla relativisht të reja të shkencës si shkenca kompjuterike, teoria e automatave dhe mbrojtja e të dhënave.

Prandaj, analiza e mëtejshme e themeleve të teorisë së informacionit është e nevojshme për të depërtuar në thelbin e saj, i cili sot ende mbetet kryesisht misterioz, dhe për të identifikuar mundësi të reja të zbatimit të saj për zgjidhjen e problemeve praktike.

Çështja më e rëndësishme mbi bazën e së cilës ndërtohet kjo apo ajo teori e informacionit është zgjedhja e masës së informacionit.

Ai përcaktohet kryesisht nga ato objekte, analiza e të cilave synon teorinë e zhvilluar.

Aktualisht, masat Hartley dhe Shannon përdoren më gjerësisht në teorinë e informacionit dhe në një numër rastesh masa Hartley paraqitet si një rast i veçantë i masës Shannon.

Megjithatë, sipas qëllimit të saj, masa e Hartley ka një ndryshim domethënës nga masa Shannon, pasi e para synon studimin e proceseve përcaktuese (të pamundshme) me gjatësi të kufizuar, dhe e dyta është në analizimin e proceseve probabiliste të çdo kohëzgjatjeje, për analizën. nga të cilat përdoren metoda statistikore.

Prandaj, teoria e informacionit duke përdorur një ose një tjetër prej këtyre masave quhet teoria e informacionit strukturor ose statistikor.

Përfundueshmëria e gjatësive të grupeve të të dhënave të analizuara çon, përkatësisht, në mundësinë e numërimit të numrit të tyre me numërim të thjeshtë ose duke përdorur ndonjë metodë matematikore, si dhe në përdorimin e metodave të njohura të pamundësisë për analizën e informacionit, për shembull, teoria e kallëzuesit e fundëm ose teoria e grupeve. Si rezultat, në teorinë e informacionit strukturor sot janë marrë metoda kodimi që nuk mund të zhvillohen në bazë të teorisë së informacionit statistikor.

Në të njëjtën kohë, teoria statistikore lejon marrjen e teoremave kufitare dhe kryerjen e analizave të informacionit të mesazheve bazuar në një grup të dhënash statistikore, në vend që të analizohet secili mesazh veç e veç, siç është rasti në teorinë e informacionit strukturor.

Masa logaritmike që qëndron në themel të teorisë strukturore të informacionit, ku dhe janë çdo numër pozitiv me gjatësi të fundme, jo të barabartë me 0, dhe gjithashtu jo të barabartë me 1, i propozuar nga Hartley në 1928, nuk u vërtetua logjikisht prej tij, por u prezantua në baza e konsideratave intuitive. Për më tepër, ajo që është e rëndësishme, në këtë formë, mund të marrë edhe vlera pozitive, në dhe negative, në.

Aktualisht, ai justifikohet nga vetia e aditivitetit të tij, e cila manifestohet në faktin se informacioni i përgjithshëm i gjeneruar së bashku nga dy burime informacioni dhe është i barabartë me shumën e informacionit të veçantë dhe nga secili prej tyre, siç tregohet, për shembull. , në.

Në të vërtetë, nëse secili nga dy burimet gjeneron gjithashtu mesazhe, përkatësisht, atëherë numri i tyre total

Duke marrë logaritmin e shprehjes (1), marrim barazinë

që vërteton vetinë e aditivitetit të masës së informacionit Hartley.

Le të shqyrtojmë një justifikim tjetër të masës Hartley të zbatuar për problemet e kërkimit (të vazhdueshme dhe diskrete).

Një tipar i problemeve të kërkimit diskret është fundshmëria e grupit fillestar të objekteve, duke përfaqësuar me probabilitet të barabartë zgjidhjet e mundshme për problemin e kërkimit diskret, ndër të cilët supozohet se ekziston një i dëshiruar. Kërkimi i tij kryhet në procesin e zgjidhjes së një problemi diskret, siç ndodh, për shembull, në problemin e njohur të shitësit udhëtues.

Në këtë problem, objekti i dëshiruar është një rrugë me gjatësi minimale, e zgjedhur nga një numër fillestar i fundëm i rrugëve të mundshme.

Zgjidhja e këtyre problemeve, në një mënyrë ose në një tjetër, është në procesin e ndarjeve vijuese të grupit fillestar të objekteve të mundshme - zgjidhjeve në, klasa ekuivalente dhe testimit të secilës prej tyre për praninë e objektit të dëshiruar në të. Në procesin e testimit eliminohet pasiguria për praninë e objektit të dëshiruar, e shoqëruar me gjenerimin e një sasie të përshtatshme informacioni.

Një rast i veçantë i ndarjes do të jetë kur objektet fillestare të mundshme ndahen në klasa ekuivalente në mënyrë që ato të përmbajnë një numër rreptësisht të barabartë të objekteve të plota.

Natyrisht, ndarje të tilla janë të mundshme vetëm nëse

ku është numri maksimal i ndarjeve para shfaqjes së një klase me një objekt.

Nëse marrim si masë të informacionit në këtë rast, atëherë ai përkon saktësisht me masën logaritmike Hartley, të marrë nga baza:

Kështu, numri i ndarjeve në një kërkim diskret të barabartë të mundshëm për një objekt midis të mundshmeve është një masë logaritmike e informacionit Hartley dhe, anasjelltas, masa Hartley përfaqëson, për rastin në shqyrtim, numrin e ndarjeve uniforme të një grupi objektet në klasa ekuivalente derisa të shfaqet një e dëshiruar.

Në rastin e përgjithshëm, kur ndahet grupi origjinal i përbërë nga objekte në klasa ekuivalente, secila prej tyre mund të përmbajë objekte dhe, në përputhje me rrethanat, probabiliteti për të gjetur objektin e dëshiruar në një ose një klasë tjetër është i barabartë me

ku.

Formula e Shannon për entropinë, e cila përcakton masën e pasigurisë së gjetjes së objektit të dëshiruar në një klasë të caktuar ekuivalence përpara testimit, gjatë ndarjes së parë

ku pohon se vlera e entropisë arrin një maksimum për ndarjen e parë

kur objekti i dëshiruar gjendet në klasa ekuivalente me probabilitete të barabarta

Në këtë rast.

Prandaj, sasia maksimale e informacionit të gjeneruar nga testi në procesin e heqjes së entropisë do të jetë gjithashtu e barabartë me këtë vlerë

Në mënyrë të ngjashme, në ndarjet e mbetura, nëse probabilitetet për të gjetur objektin e dëshiruar në klasat e reja të ekuivalencës janë të barabarta, do të merret sasia maksimale e informacionit, e barabartë me 1.

Nga kjo rezulton se për të arritur maksimumin e informacionit të gjeneruar nga testi, është e nevojshme që ato të ndahen në klasa ekuivalente me një numër të barabartë objektesh në secilën prej tyre në procesin e ndarjes së një grupi objektesh.

Meqenëse masa e Hartley në lidhje me problemin në shqyrtim përdor vetëm ndarje të tilla, kjo do të thotë se përcakton sasinë maksimale të mundshme të informacionit të marrë në procesin e kërkimit të një objekti diskret, dhe nëse është kështu, atëherë numri i ndarjeve dhe , në përputhje me rrethanat, koha e kërkimit duhet të jetë minimale në krahasim me çdo ndarje tjetër të mundshme. Ky është pikërisht tipari themelor i masës së informacionit Hartley.

Në fig. 1 tregon një pemë me 3 ndarje uniforme në 2 klasa të ekuivalencës së objekteve origjinale. Kulmet e tij përmbajnë numrin e objekteve që përmbahen në klasat e fituara të ekuivalencës. Në këtë rast, sasia maksimale e informacionit gjenerohet në çdo kulm.

shuma e të gjitha ndarjeve është një bit përbërës.

Figura 1 - Pema e ndarjeve uniforme me,

Natyrisht, numri i ndarjeve uniforme për këtë rast është minimal.

Një tjetër pemë ndarëse në Fig. 2 për ndarjet jo uniforme të objekteve në 2 klasa ekuivalente ka numrin mesatar të ndarjeve përgjatë të gjitha shtigjeve të mundshme të ndarjeve

që është më shumë se numri mesatar i ndarjeve, i barabartë me atë të marrë në shembullin e mëparshëm.

Kjo për faktin se sasia e informacionit të gjeneruar në secilën ndarje në përputhje me formulën e Shannon (6) është më pak se 1 bit, domethënë koha e kërkimit për objektin e dëshiruar nuk është minimale.

Në këtë rast duhet të përmbushet rregulli bazë i marrjes së informacionit, të cilin do ta formulojmë si më poshtë.

Sasia e informacionit të kërkuar për të kërkuar një objekt të tërë të dëshiruar nuk varet nga metoda e ndarjes së grupit origjinal të objekteve në klasa ekuivalente dhe mbetet konstante dhe e barabartë.

Kjo do të thotë që pavarësisht se cila është pema ndarëse e grupit fillestar të objekteve, sasia e kërkuar e informacionit për të gjetur njërën prej tyre do të jetë gjithmonë e njëjtë -.

Figura 2 - Pema e ndarjeve jo uniforme për, dhe

Ndarjet në klasa ekuivalente janë të përhapura në praktikë. Kështu, kodimi pozicional i fjalëve dhe numrave bazohet në to, i cili ndodh në procesin e ndarjes sekuenciale të grupeve të tyre origjinale në klasa ekuivalente duke përdorur shkronja dhe numra që përfaqësojnë karakteristikat e këtyre klasave. Së bashku, këto shkronja dhe numra formojnë alfabete dhe numri në të cilin ndahen grupet origjinale të fjalëve dhe numrave përfaqëson kardinalitetet e këtyre alfabeteve. Numri i ndarjeve përcakton gjatësinë e fjalëve dhe numrave.

Rrjedhimisht, çdo shkronjë ose shifër e një fjale ose numri tregon klasën ekuivalente të cilës i përkasin në këtë ose atë ndarje.

Shprehja kryesore për teorinë e informacionit e propozuar nga Shannon është

Ai pohon në lidhje me problemin e kërkimit se sasia e informacionit të prodhuar në procesin e tij është e barabartë me diferencën midis entropisë fillestare.

objekti i dëshiruar dhe mbetje

ku është numri i mbetur i objekteve, ndër të cilët është ai i dëshiruar.

Natyrisht, në procesin e ndarjeve dhe testimit, numri zvogëlohet dhe, në fund të fundit, me

Shprehja e fundit paraqet një kusht të rëndësishëm, i cili formulohet në parimin e unitaritetit.

Thelbi i tij qëndron në faktin se informacioni i plotë për një objekt do të merret nëse dhe vetëm nëse një objekt i tërë gjendet në procesin e kërkimit.

Nëse, atëherë kjo tregon që informacioni për objektin i transmetohet pjesërisht marrësit.

Një rast i veçantë do të jetë për të cilin. Sepse merr një vlerë negative - dhe, në përputhje me rrethanat

Kjo do të thotë se në rastin në shqyrtim, kur, gjatë testimit, gjenerohet informacion shtesë për detajet e objektit që i përkasin klasave të ekuivalencës tani të reja, të paeksploruara më parë. Kjo procedurë për detajimin e një objekti mund të zgjasë një kohë të pacaktuar. Për shembull, në pemën e ndarjeve në Fig. 1 pas një kulmi (klasa ekuivalente) që përmban një objekt pas ndarjes së 3-të, mund të ketë kulme që përmbajnë 0.5 objekte (ndarja e 4-të), pastaj 0.25, etj. Sa herë që sasia e informacionit për objektin rritet me 1 bit dhe mund të arrijë çdo vlerë.

Kjo procedurë konfirmon faktin e njohur në shkencë se çdo objekt mund të jetë pafundësisht i njohshëm, megjithatë, parimi i unitaritetit do të cenohet në këtë rast, pasi dhe në përputhje me rrethanat, d.m.th. objekti i analizuar nuk mund të identifikohet si një sistem integral.

I gjithë arsyetimi i mësipërm vlen edhe për problemet e kërkimit me një numër objektesh, me kusht që numrat jo të plotë të objekteve të pranohen në klasat ekuivalente të marra në procesin e ndarjeve.

Nga pabarazia del se

dhe përkatësisht

ku është entropia;

Entropia në.

Teorema 1. Nëse ndarja e tretë e numrit të objekteve përmban klasa ekuivalente me një numër të barabartë objektesh, atëherë ndodh pabarazia

Dëshmi.

Nga gjendja dhe, në përputhje me rrethanat, rrjedh se.

Teorema është vërtetuar.

Përfundimi 1. Entropia e ndarjes së i-të kufizohet nga pabarazia

Teorema 2. Nëse ndarja --të e numrit të objekteve në përmban klasa ekuivalente me numrin e objekteve, atëherë pabarazia

Dëshmi. Meqenëse, pra, ku është numri i objekteve të vendosura sipas klasave të ekuivalencës së ndarjes -të.

Nga gjendja dhe, në përputhje me rrethanat, rrjedh menjëherë se.

Teorema është vërtetuar.

Përfundimi 1 Entropia e mbetur kufizohet nga pabarazia

Në fig. 3, si shembull për teoremat 1, 2, jepet një pemë për tre ndarje me numrin fillestar të objekteve. Nga ajo mund të shihet se klasat e ndarjes së dytë përmbajnë nga 1.5 objekte secila, dhe klasat e ndarjes së tretë përmbajnë secila 0.75 objekte. Përgjatë boshtit vertikal të koordinatave në figurë janë numrat e objekteve origjinale dhe horizontalisht vlera e informacionit total të marrë pas ndarjes së radhës 1, 2, 3 dhe vlera e informacionit të mbetur. Sasia e informacionit të gjeneruar në çdo hap mbetet konstante dhe maksimale:

Teorema 3.

Dëshmi. Që atëherë ku. Duke marrë logaritmin e shprehjes së fundit, marrim atë

Teorema është vërtetuar.

Figura 3 - Pema e ndarjes për.

Teorema 4

Dëshmi. Që atëherë ku. Duke marrë logaritmin e shprehjes së fundit, marrim atë.

Teorema është vërtetuar.

Përfundimi 1

Meqenëse gjatë ndarjeve numri në klasat e marra gjatë ndarjes -të përmban më shumë, dhe në klasat e ndarjes -të është më pak se 1 objekt, kjo do të thotë se sasia e informacionit për objektin pas ndarjes -të.

më pak se sasia e kërkuar për të identifikuar objektin e dëshiruar, dhe për këtë arsye nuk mund të përcaktohet plotësisht, dhe pas ndarjes së tretë, sasia e informacionit

vjen me bollëk dhe si rrjedhojë nuk përcaktohet vetëm objekti në vetvete, por edhe disa detaje të tij, të cilat janë të tepërta për zgjidhjen e problemit të kërkimit.

Për më tepër, vetëm në rastin e parë ka shkelje të parimit të unitaritetit, dhe në të dytin ky parim ruhet dhe madje sigurohet me besueshmëri më të madhe. Prandaj, në realitet, në praktikë, nëse grupi i analizuar i objekteve, ai zëvendësohet nga grupi më i afërt që përmban objekte, dhe kërkimi i objektit të dëshiruar kryhet tashmë midis objekteve të këtij grupi.

Prandaj, mund të flasim për një masë diskrete (numër të plotë) informacioni, e cila është një lloj mase logaritmike Hartley, e cila është numri mesatar i ndarjeve në klasa ekuivalente që përmbajnë të njëjtin numër objektesh me probabilitet të barabartë derisa të merret ai i dëshiruari. . Kjo masë mund të përdoret në mënyrë efektive në problemet e matematikës diskrete dhe të kombinatorikës, ku zgjidhjet janë objekte me numër të plotë.

Megjithatë, ndarjet mund të bëhen edhe në një numër jo të plotë të klasave ekuivalente. Në këtë rast është e mundur të arrihet përmbushja e parimit të unitaritetit për çdo vlerë reale duke zgjidhur ekuacionin

relativisht.

Për shembull, kur vlera duhet të zgjidhet afërsisht e barabartë. Pastaj.

Kjo do të thotë që dhe, në përputhje me rrethanat, sasia e informacionit të marrë në 3 ndarje do të jetë e barabartë me

Në punët teorike, shpesh zgjidhet e barabartë, dhe në praktikë, më së shpeshti përdoret vlera e bazës së logaritmit, në bazë të së cilës merret një masë kaq moderne e informacionit si bit, domethënë grupi fillestar. i objekteve për këtë masë përbëhet nga, dhe objekti i dëshiruar ndodhet në një ndarje në 2 klasa ekuivalente, secila prej të cilave përmban 1 objekt. Entropia e mbetur në këtë rast është e barabartë me 0 dhe, në përputhje me rrethanat, parimi i unitaritetit respektohet për bitin.

Vlera e marrë më lart për numrin e plotë të ndarjeve për grupin fillestar të objekteve mund të merret gjithashtu bazuar në konsideratat e mëposhtme.

Baza e logaritmit në të cilën

ku është një numër i plotë i ndarjeve që mund të gjenden nga shprehja

Përkatësisht

Nga (25) rezulton se

Për shembull, për,

Kjo do të thotë se nëse ndarjet e grupit origjinal të objekteve para marrjes së një numri të plotë bëhen në klasa ekuivalente, atëherë objekti i dëshiruar do të gjendet për ndarjet me numra të plotë që përfaqësojnë numrin e tyre minimal të mundshëm. Në këtë rast, gjatë secilës ndarje, prodhohet sasia maksimale e informacionit - një, dhe për ndarjet - një.

Le të përcaktojmë raportin (25) si densitetin fillestar të informacionit përpara ndarjes së parë:

Natyrisht, dendësia e informacionit ndryshon nga 1 në rangun nga 0 në 1.

Pra, për densitetin fillestar të informacionit

Pas çdo ndarje, dendësia e informacionit do të përcaktohet në përputhje me shprehjen

Pra, për shembullin e konsideruar më sipër, pas ndarjes së parë në dy klasa ekuivalente

dhe pas të dytës

Nga shprehja (28) rezulton se në rastin pas çdo ndarjeje, dendësia e informacionit zvogëlohet dhe vetëm kur ajo mbetet konstante për të gjitha ndarjet dhe e barabartë me maksimumin - 1.

Nga (26) rezulton se

dhe, në përputhje me rrethanat, për

Prandaj, duke ditur, është e mundur të përcaktohet numri i kërkuar i klasave të ekuivalencës në të cilat është e nevojshme të ndahet në mënyrë sekuenciale numri fillestar i objekteve për të marrë një numër të plotë të ndarjeve. Meqenëse kjo do të gjenerojë sasinë maksimale të mundshme të informacionit, ky do të jetë numri minimal i ndarjeve në kushtet e dhëna.

Përfundimi 1 i Teoremës 4 tregon se sasia e informacionit të gjeneruar në ndarjen e fundit

Për më tepër, në përputhje me (16), nuk është e barabartë me 0.

Për të marrë informacion të plotë rreth objektit, mjafton që. Pastaj shprehja (31) merr formën

Meqenëse nga (17) rezulton se

atëherë barazia (32) mund të arrihet në bazë të shprehjes

e cila, për një të dhënë, është e kënaqur me një shpërndarje të përshtatshme probabiliteti.

Kështu, për shembull, për

dhe përkatësisht

Për të arritur barazinë e fundit, rrjedh se probabilitetet dhe janë të barabarta me 0.15, përkatësisht; 0,85 ose 0,85; 0.15.

Kjo do të thotë se numri i marrë në ndarjen e dytë në madhësinë e objektit ndahet gjatë pjesëtimit të tretë në dy probabilitete dhe pjesë proporcionale (0,225 dhe 1,275), të cilat më pas analizohen me anë të një testi për lidhjen e njërit prej tyre me e dëshiruar. Probabiliteti i gjetjes së tyre është i barabartë me ose, ose në varësi të madhësisë së tyre.

Si rezultat, do të merret informacion i plotë për një nga objektet, megjithatë, përveç ndarjeve uniforme, u përdor edhe një i pabarabartë.

Në rastin e një mase thjesht logaritmike të informacionit me numrin e objekteve fillestare për t'u marrë, vlera duhet të jetë informacioni i marrë kur objektet ndahen në mënyrë jo të plotë në dy pjesë të barabarta, në mënyrë që secila prej tyre të përmbajë elementë të dy objekteve. Në këtë rast, entropia do të jetë e barabartë me 0 sepse informacioni i marrë në procesin e ndarjes së fundit të numrit të plotë do të shkojë pjesërisht drejt eliminimit të ndërhyrjeve gjatë testimit të krijuar nga elementët e një objekti tjetër.

Nga ajo që u konsiderua më lart, rrjedh se informacioni matet me numrin e ndarjeve të një grupi objektesh të mundshëm derisa të merret një numër i plotë. Burimi i informacionit në këtë rast është testi, i cili tregon klasën e ekuivalencës në të cilën ndodhet objekti i kërkuar. Në të njëjtën kohë, informacioni si një ent i pavarur gjatë ndarjeve nuk manifestohet drejtpërdrejt në asnjë mënyrë, duke mbetur jashtë kuadrit të procedurës së matjes (duke llogaritur numrin e ndarjeve). Në test, ai manifestohet duke treguar rezultatet e krahasimit, i cili manifestohet në rastësinë ose jo të veçorive të klasave të ekuivalencës me tiparet përkatëse të testit. Kjo do të thotë se testi duhet të ketë informacion paraprakisht për karakteristikat e klasave të analizuara të ekuivalencës. Funksioni i tij përfundimtar është dekodimi i veçorive të këtyre klasave dhe zhvillimi i veprimeve të kontrollit që tregojnë se cila klasë e analizuar duhet të ndahet në nënklasa në hapin tjetër të ndarjeve, ose që objekti është gjetur dhe procedura e kërkimit duhet të jetë ndërprerë.

Thelbësore për kërkimin e një objekti është se ai mund të përcaktohet pa mëdyshje vetëm pasi të ketë marrë të gjithë informacionin rreth tij, gjë që ndodh vetëm kur ka entropi të mbetur. Kjo është e mundur vetëm nëse në procesin e ndarjeve do të merret një klasë ekuivalente që përmban një objekt. Në këtë rast, entropia dhe rrjedhimisht parimi i unitaritetit është i kënaqur.

Një rast i tillë do të jetë kur numri origjinal i objekteve. Nëse, atëherë me një ndarje uniforme, klasa e fundit e ekuivalencës do të përmbajë më pak se një objekt, dhe si rezultat, do të merret informacion shtesë që detajon objektin dhe nuk përdoret në kërkimin e tij.

Në praktikë, në problemet e kodimit, përdoret gjerësisht zëvendësimi i numrit fillestar të objekteve me një numër, i cili, nga njëra anë, çon në përmbushjen e parimit të unitaritetit dhe nga ana tjetër, në një rritje të sasia e informacionit të tepërt të gjeneruar nga testi.

Dokumente të ngjashme

Koncepti dhe qëllimet e metodës së objekteve fokale është kërkimi i ideve të reja duke bashkangjitur vetitë ose atributet e objekteve të rastësishme në objektin origjinal. Aktivizimi i të menduarit asociativ si një nga metodat e kërkimit heuristik në teorinë e vendimmarrjes.

test, shtuar 24.12.2012


Bazat teorike të përpunimit parësor të informacionit statistikor. Veçoritë e përcaktimit të numrit minimal të objekteve të vëzhgimit gjatë vlerësimit të treguesve të besueshmërisë. Analiza e punimit probabilistik të ligjeve të shpërndarjes normale dhe shpërndarjes Weibull.

punim afatshkurtër, shtuar 22.03.2010


Konceptet dhe metodat bazë të kodimit të informacionit. Karakteristikat e procesit të deshifrimit të barkodit. Teknologjia dhe pajisjet e barkodimit. Përdorimi i teknologjisë së identifikimit të automatizuar të barkodit në sistemet logjistike.

punim termi shtuar 05/09/2013


Koncepti i entropisë. Entropia si masë e shkallës së pasigurisë. Koncepti i informacionit. Matja e informacionit. Teorema e kodimit të zhurmës së Shannon-it. Një shembull i përdorimit të entropisë në parashikim dhe rëndësia e saj për parashikimin.

abstrakt, shtuar 14.12.2008


Zhvillimi i një modeli ekonomik dhe matematikor dhe zgjidhja e një problemi të programimit linear duke përdorur metoda matematikore. Problemi i transportit në formulimin e matricës dhe vetitë e tij. Ndërtimi i një plani fillestar të realizueshëm. Kriteri i optimizmit.

punim afatshkurtër, shtuar 16.01.2011


Bazat e modelimit matematik të objekteve përcaktuese dhe stokastike. Identifikimi i objekteve të kontrollit me përgjigje kalimtare. Marrja e një modeli me metodën e regresionit të shumëfishtë linear dhe kontrollimi i përshtatshmërisë së tij sipas kriterit të Fisher.

punim termi shtuar 14.10.2014


Algoritmet më të thjeshta për kërkim të rastësishëm të drejtuar. Algoritmi i mostrës më të mirë me katrorin udhëzues. Optimizues statistikor shumëkanalësh me kërkim të rastësishëm. Metoda statistikore e gradientit. Kërkimi i rastësishëm lokal i mostrës më të mirë.

punim afatshkurtër, shtuar 02/08/2015


Konceptet dhe përkufizimet e teorisë së algoritmeve gjenetike. Baza matematikore e fizikës shpikëse. Algoritmi gjenetik për një problem shpikës. Përshkrimi i operatorëve të algoritmeve gjenetike. Sistemi i kërkimit dhe gjurmimit mendor në mendjen e shpikësit.

punim afatshkurtër, shtuar 22.05.2012


Ndërtimi i një modeli matematikor të problemit të dyfishtë (një sistem kufizimesh mbi fitimin për njësi dhe funksioni i synuar i kostove totale për lëndët e para. Përcaktimi i grupit optimal të çmimeve për lëndët e para, duke siguruar një minimum të kostove totale për lëndët e para. Analiza të variablave.

test, shtuar 18.05.2015


Planifikimi i eksperimentit si një disiplinë matematikore dhe statistikore. Kërkoni kushte dhe rregulla optimale për kryerjen e eksperimenteve për të marrë informacion për një objekt me koston më të ulët të punës. Teoria e hulumtimit të korrelacionit, masat e korrelacionit.

Masa kombinuese

Për një kuptim më të mirë, merrni parasysh disa shembuj të thjeshtë.

Shembulli 1... Le të bëjmë eksperimentin. Le të marrim një zare. Ai ka gjashtë anë, secila me numra nga një në gjashtë.

Le ta hedhim lart. Kur hidhet kërpudha, një nga numrat në anët e kapelës bie jashtë. Numri që rezulton është rezultat i përvojës sonë.

Duke hedhur zarin çdo herë, ne mund të marrim vetëm gjashtë numra të mundshëm. Le ta shënojmë këtë si N = 6.

Ky shembull ju lejon të kaloni në konceptin e një mase kombinuese të informacionit dhe të jepni përkufizimin e mëposhtëm:

Masa kombinuese e informacionit N është një mënyrë për të matur sasinë e informacionit duke vlerësuar numrin e kombinimeve të mundshme të artikujve të informacionit.

Meqenëse në shembullin me zare, vetëm gjashtë variante të rezultatit të eksperimentit janë të mundshme, me fjalë të tjera, gjashtë kombinime, atëherë sasia e informacionit në përputhje me masën kombinuese është N = 6 kombinime.

Merrni parasysh shembullin e mëposhtëm.

Shembulli 2. Le të jepet një nga shifrat dhjetore, për shembull, shifra 8 dhe një nga shifrat heksadecimal - për shembull, shifra 6 (mund të merrni çdo heksadecimal tjetër - 8, B, F, etj.). Tani, në përputhje me përkufizimin e një mase kombinuese, le të përcaktojmë sasinë e informacionit që përmban secili prej këtyre numrave. Meqenëse shifra 8 është dhjetore, që do të thotë se përfaqëson një karakter nga dhjetë, N 8 = 10 kombinime. Po kështu, numri 6 përfaqëson një nga gjashtëmbëdhjetë karakteret, dhe për rrjedhojë N 6 = 16 kombinime. Prandaj, një shifër heksadecimal përmban më shumë informacion se një shifër dhjetore.

Nga shembulli i konsideruar, mund të konkludojmë se sa më pak numra të jenë në bazën e sistemit të numrave, aq më pak informacion mbart një nga elementët e tij.

Inxhinieri anglez R. Hartley propozoi të matet sasia e informacionit me një masë logaritmike binare:

ku N është numri i kombinimeve të ndryshme të artikujve të informacionit. Njësia e matjes së informacionit në këtë matje është biti.

Meqenëse formula e nxjerrë nga R. Hartley merr parasysh numrin e kombinimeve të mundshme N, është interesante të dihet se çfarë vlerësimi i sasisë së informacionit jepet nga masa binar logaritmike për shembujt e konsideruar më sipër.

Numërimi jep rezultatet e mëposhtme:

në shembullin e kubit I = log 2 6 = 2.585 bit;

në shembullin me sistemin e numrave dhjetorë, I = log 2 10 = 3.322 bit;

në shembullin me shënim heksadecimal I = log 2 16 = 4 bit;

në shembullin me sistemin binar, I = log 2 2 = 1 bit.

Shifra e fundit tregon se çdo shifër e sistemit të numrave binar përmban një bit informacion. Në përgjithësi, në sistemet teknike, sistemi i numrave binar përdoret për të koduar dy gjendje të mundshme, për shembull, 1 nënkupton praninë e rrymës elektrike në rrjet, 0 nënkupton mungesën e saj.

Në të gjithë shembujt e konsideruar më sipër, rezultatet e eksperimenteve ishin po aq të mundshme dhe të pavarura reciprokisht. Kjo do të thotë që kur hidhet zari, secila nga gjashtë fytyrat ka të njëjtën probabilitet për një rezultat të suksesshëm. Dhe gjithashtu që rezultati i hedhjes së radhës nuk varet në asnjë mënyrë nga rezultati i atij të mëparshëm.

Ngjarjet po aq të mundshme dhe reciprokisht të pavarura në jetën reale janë mjaft të rralla. Nëse i kushtoni vëmendje gjuhëve të folura, për shembull rusisht, atëherë mund të nxirrni përfundime interesante. Për të thjeshtuar kërkimin teorik në shkencën kompjuterike, përgjithësisht pranohet se alfabeti rus përbëhet nga 32 karaktere (e dhe e, si dhe b dhe b nuk ndryshojnë nga njëri-tjetri, por shtohet një hapësirë ​​midis fjalëve). Nëse supozojmë se çdo shkronjë e gjuhës ruse në mesazh shfaqet po aq shpesh dhe pas çdo shkronje mund të ketë ndonjë simbol tjetër, atëherë mund të përcaktojmë sasinë e informacionit në secilin simbol të gjuhës ruse si:

I = log 2 32 = 5.

Megjithatë, në fakt gjërat nuk janë ashtu. Në të gjitha gjuhët e folura, disa shkronja gjenden më shpesh, të tjera shumë më rrallë. Studimet thonë se ka përsëritjet e mëposhtme për 1000 shkronja:

Për më tepër, mundësia e shfaqjes së shkronjave individuale varet nga ajo se cilat shkronja i paraprijnë. Pra, në rusisht, një shenjë e butë nuk mund të ndjekë një zanore, katër zanore nuk mund të qëndrojnë në një rresht, etj. Çdo gjuhë e folur ka karakteristikat dhe modelet e veta. Prandaj, sasia e informacionit në mesazhet e ndërtuara nga simbolet e çdo gjuhe të folur nuk mund të vlerësohet as me masa logaritmike kombinatore as binar.

Punimi paraqet një model për përcaktimin e masës logaritmike të informacionit. Një objekt veçohet nga struktura e sistemit teknik dhe merren parasysh gjendjet e tij probabiliste të dështimit dhe funksionimit. Kur gjendjet janë ekuiprobabile, propozohet të përdoret masa e Hartley-t, dhe për gjendjet jo ekuiprobabile, masa e Shannon-it për një ose shumë objekte, nëse ato janë reciprokisht të pavarura. Modeli merr parasysh mundësinë e përcaktimit të masës së informacionit vetëm për një objekt. Të gjitha gjendjet e objektit ndahen në dy klasa. Secila nga klasat e përzgjedhura formohet në bazë të të dhënave për rrjedhën e ngjarjeve jo uniforme. Për secilën klasë të gjendjeve të objektit, përcaktohen probabilitetet totale dhe të përgjithësuara të funksionimit dhe dështimit. Këto probabilitete kanë gjetur zbatim në shprehjet e marra matematikore për të përcaktuar masën e pasigurisë së informacionit. Është treguar se formulat e marra janë identike dhe janë të zbatueshme si kur përdoret probabiliteti total ashtu edhe probabiliteti i përgjithësuar.

gjendjen e një objekti teknik

entropia

matja logaritmike e informacionit

1. Vilchinskaya OO, Gataullin IN, Golovinov S.O. Përcaktimi i sasisë së informacionit në strukturën e një sistemi teknik // Teknologjitë e informacionit: drejtimet prioritare të zhvillimit. Libër. 5: monografi. - Novosibirsk: TsRNS - Shtëpia botuese "Sibprint", 2010. - 261 f.

2. Dulesov A.S., Semenova M.Yu., Khrustalev V.I. Karakteristikat e entropisë së një sistemi teknik // Kërkim themelor. - 2011. - Nr. 8 (pjesa 3). - S. 631-636.

3. Dulesov A.S., Uskova E.A. Zbatimi i qasjeve të Hartley dhe Shannon për problemet e përcaktimit të sasisë së informacionit në sistemet teknike // Pyetje të shkencës dhe praktikës moderne. Universiteti me emrin NË DHE. Vernadsky. - 2009. - Nr.2 (16). - S. 46-50.

4. Dulesov A.S., Uskova E.A. Zbatimi i formulës Hartley për të vlerësuar marrëdhëniet strukturore të elementeve në problemin e sigurimit të funksionimit të besueshëm të sistemeve teknike // Pyetje të shkencës dhe praktikës moderne. Universiteti me emrin NË DHE. Vernadsky. - 2009. - Nr 6 (20). - S. 37-41.

5. Kuznetsov N.A. Ndërveprimi i informacionit në sistemet teknike dhe të gjalla // Proceset e informacionit. - 2001. - T. 1. - Nr. 1. - S. 1-9.

Prezantimi. Një sërë kërkesash vendosen për sistemet komplekse teknike, ndër të cilat dallohet ruajtja e një niveli të lartë të besueshmërisë (operabilitetit). Sistemet shumë të besueshme, si rregull, i nënshtrohen kontrollit dhe diagnostikimit për të eliminuar në kohë problemet e mundshme, shfaqja e të cilave është e një natyre probabiliste. Në përgjithësi, monitorimi sistematik ju lejon të merrni një pamje të përgjithshme të gjendjes së sistemit. Duke e pasur atë në dorë, është e mundur të zhvillohen zgjidhje që synojnë ruajtjen e sjelljes së qëndrueshme të sistemit, ruajtjen e nivelit të besueshmërisë, duke zgjidhur kështu problemin e kibernetikës. Përveç kësaj, duke gjurmuar "lëvizjen" e një sistemi në kohë dhe hapësirë, mund të gjykohet evolucioni ose plakja e tij, por nga pikëpamja e sinergjisë.

Plakja është një proces i natyrshëm në sistemet teknike, i cili është i lidhur pazgjidhshmërisht me një koncept të tillë si "pasiguria". Ka shumë qasje metodologjike për të analizuar proceset dhe për të ruajtur shëndetin e sistemeve. Njëri prej tyre bazohet në përdorimin e teorisë së informacionit dhe ka të bëjë me zgjidhjen e problemit të marrjes së një mase të pasigurisë së informacionit (entropisë). Nga ana tjetër, vlera e entropisë së informacionit shërben si masë e zgjedhjes së alternativave të mundshme.

Në teorinë e informacionit, masa e Hartley-t, e cila bën të mundur matjen e proceseve përcaktuese me gjatësi të fundme, dhe masa e Shanon-it - procese të çdo kohëzgjatjeje, analiza e të cilave përdor metoda probabilistiko-statistikore, kanë gjetur zbatimin e tyre praktik. Të dyja masat përfshihen në drejtimet strukturore dhe statistikore të teorisë së informacionit.

Kur funksionon një objekt teknik, nënsistemi i kontrollit transmeton sinjale ose mesazhe në lidhje me gjendjen e sistemit, nga i cili formohet një grup të dhënash statistikore. Zbatimi i tyre dhe drejtimet e teorisë së informacionit mund të përdoren si bazë për analizën e informacionit.

Model për përcaktimin e masës së informacionit. Sistemi teknik mund të paraqitet në formën e një diagrami strukturor me praninë e elementeve dhe lidhjeve ndërmjet tyre. Nga pikëpamja e vlerësimit të besueshmërisë, në strukturë futen tregues: kohëzgjatja e rikuperimit të elementit, shkalla e dështimit, etj. Mbi bazën e tyre përcaktohet probabiliteti i dështimit dhe funksionimi pa dështim i elementit. Shumica e treguesve janë të natyrës probabiliste, për shkak të pranisë së pasigurisë në sjelljen e sistemit. Përdorimi i një mase të pasigurisë së informacionit mund të shërbejë si një mjet efektiv për vlerësimin e gjendjes së një sistemi teknik, elementeve dhe strukturës së tij. Mundësitë e aplikimit të kësaj mase në sistemet teknike gjenden në punime. Një ndryshim në gjendje ndikon në performancën e funksioneve, njëra prej të cilave shoqërohet me transferimin e energjisë (burimeve) në sistem. Bazuar në veçoritë funksionale të sistemit, të paktën dy opsione për vlerësimin e gjendjes (ndryshimet strukturore) janë të mundshme. E para nuk lidhet me procesin e rrjedhës, e dyta merr parasysh drejtimin e rrjedhave në diagramin strukturor të sistemit. Më tej, kur ndërtojmë një model, le të shqyrtojmë opsionin e parë.

Modeli më i thjeshtë për përcaktimin sasior të përmbajtjes strukturore të një sistemi është qasja e Hartley-t, i cili propozoi llogaritjen e sasisë së informacionit që përmban një mesazh. Për rastin tonë, do të supozojmë se sistemi dhe secili prej elementeve të tij mund të jenë në një nga dy gjendjet diskrete të pavarura: efikas dhe jofunksional. Atëherë mund të supozohet se informacioni nga elementët në sistemin e monitorimit dhe kontrollit vjen në formën e sinjaleve diskrete: 0 - elementi i sistemit nuk funksionon (është në gjendje jofunksionale); 1 - elementi është duke punuar (është në gjendje pune). Nëse supozojmë se nuk jemi të interesuar për kohën e qëndrimit të një elementi në një shtet të caktuar, atëherë numri i përgjithshëm i të gjitha gjendjeve të mundshme të elementeve do të shprehet me formulën:

ku: k = 2 - numri i gjendjeve të mundshme të një elementi ose sistemi; n është numri i elementeve në sistemin në shqyrtim.

Në formulën (1), numri i përgjithshëm i gjendjeve (kombinimeve) N është numri i mesazheve të formuara nga sinjale ekuiprobabile dhe të pavarura që vijnë nga elementët. Me një rritje të numrit të elementeve n, rritet numri i kombinimeve N. Prandaj, Hartley përdori vlerën e N si bazë për përcaktimin e masës së sasisë së informacionit. Sipas (1), përcaktohet numri maksimal i gjendjeve të sistemit. Në një situatë reale (për një periudhë të caktuar kohore, për shembull, një vit), numri i gjendjeve do të jetë gjithmonë më i vogël se N. Meqenëse ne mund të jemi të interesuar për gjendjen e sistemit në intervale të veçanta kohore, një masë e tillë e sasia e informacionit, sipas (1), nuk është e përshtatshme për përdorim praktik. Hartley gjeti një zgjidhje duke supozuar: sasia e informacionit që përmbaja në mesazhe duhet të jetë një funksion i N, domethënë, I = f (N). Meqenëse numri i elementeve n është një eksponent, një funksion logaritmik përdoret për të përcaktuar I:

Meqenëse numri i gjendjeve k dhe baza e logaritmit janë marrë të barabartë me 2, sasia e informacionit në kushte të tilla merret si njësi, e cila quhet "bit" (njësi binar).

Shfaqja e faktorëve në sistem çon në shfaqjen e një ose një tjetër prej shteteve të tij, i cili është i pavarur në raport me gjendjen e kundërt. Kushti i pavarësisë së shteteve tregon se informacioni i përgjithshëm, sipas (2), do të jetë i barabartë me shumën e informacionit të veçantë dhe. Këtu dhe janë numri i gjendjeve që lidhen me funksionimin dhe dështimin e elementeve të sistemit, përkatësisht. Numri total i tyre

Për shembull, nëse marrim parasysh dy elementë në sistem, secila prej të cilave mund të jetë në një nga dy gjendjet, atëherë për 3 elementë - N = 8.

Duke marrë logaritmin e shprehjes (3), marrim:

që vërteton vetinë e aditivitetit të masës së informacionit Hartley. Kjo masë është e vlefshme me kusht që në sistem të ketë gjendje të barabarta që formojnë një bashkësi të fundme.

Le të zgjerojmë aftësitë e masës Hartley në lidhje me problemet e gjetjes së përmbajtjes diskrete të strukturës së sistemit, me kusht që grupi fillestar të jetë i kufizuar.

Meqenëse konsiderohen vetëm dy gjendje të sistemit - të funksionueshme dhe të dështimit, ato formojnë dy klasa të ekuivalencës së gjendjeve (shih shprehjen (4)). Supozojmë më tej se secili prej elementeve të sistemit teknik gjeneron gjendje të lidhura vetëm me dy klasa ekuivalence.

Nëse marrim parasysh numrin e elementeve, atëherë sipas (1) masa e fituar përkon me masën logaritmike Hartley:

Nga (5) mund të shihet se sasia e informacionit në bit është e barabartë me numrin e elementeve të sistemit. Prandaj, për gjendjet ekuiprobabile dhe reciprokisht të pavarura të elementeve, sasia e informacionit mund të shprehet përmes formulës:

Kështu, në prani të elementeve në sistem dhe në gjendje të barabarta, shprehja (6) është një masë logaritmike e informacionit Hartley.

Në (6) shtetet (puna dhe dështimi) janë shkrirë së bashku. Megjithatë, është e dëshirueshme të veçohen gjendjet e kundërta, pasi kur ato bashkohen, kuptimi i vlerësimit të nivelit të besueshmërisë përmes masës së informacionit humbet. Për më tepër, probabilitetet për të gjetur një element në secilën prej gjendjeve janë të pabarabarta. Meqenëse detyra më e rëndësishme është ruajtja e një niveli të lartë të besueshmërisë së një elementi ose sistemi, atëherë në praktikë probabiliteti i një gjendje të operueshme do të jetë gjithmonë më i lartë se probabiliteti i kundërt. Për të shmangur bashkimin e informacionit (në natyrë të kundërt në vlerësimin e besueshmërisë së sistemit), çdo klasë ekuivalente duhet të konsiderohet veçmas.

Probabiliteti i pabarabartë i pranisë së gjendjeve për një element ose një sistem na detyron të përdorim formulën Shannon. Kjo e fundit është një masë e pasigurisë së pranisë ose pranisë probabiliste të gjendjes së një elementi në një klasë të caktuar ekuivalence. Le të shqyrtojmë marrjen e një formule duke përdorur shembullin e mëposhtëm.

Për shembull, kur vlerësohet besueshmëria e një sistemi teknik, gjendjet e elementeve të tij merren parasysh në intervale të gjata kohore (një vit ose më shumë). Në intervalin kohor të caktuar, shtetet alternohen, duke ndjekur njëra-tjetrën, duke formuar një rrjedhë ngjarjesh. Në këtë rrjedhë, secila prej ngjarjeve karakterizohet nga një lloj (dështim ose punë), koha e ndodhjes dhe përfundimit, si dhe tregues të tjerë. Këto gjendje regjistrohen në organin e kontrollit, një nga detyrat e të cilit është ruajtja e një niveli të lartë të performancës së sistemit. Zgjidhja e këtij problemi (në rastin tonë, përmes përcaktimit të sasisë së informacionit), rryma ekzistuese e ngjarjeve klasifikohet duke i referuar ngjarjet në një element specifik të i-të ose në vetë sistemin. Pra, për një nga elementët, duke pasur një rrjedhë ngjarjesh, është e mundur të përcaktohen probabilitetet e shfaqjes së secilit prej tyre: pi dhe qi - probabiliteti i gjetjes së elementit i-të në gjendje pune dhe jofunksionale. Probabilitetet e ndodhjes së ngjarjeve të të njëjtit lloj formojnë probabilitetin total, pi + qi = 1. Pastaj sasia e informacionit në rast të ngjarjeve të pabarabarta dhe të pavarura reciprokisht të përfshira në një element përcaktohet nga formula Shannon:

Nëse i konsiderojmë elementët e sistemit që funksionojnë në mënyrë të pavarur, atëherë duke përdorur formulën Shannon, informacioni mund të përkufizohet si

(8)

Probabilitetet në (8) para logaritmit mesatarizojnë vlerën e vetë logaritmit. Nëse gjendjet nuk ndahen sipas llojit, atëherë kjo shprehje mund të rishkruhet si

(9)

subjekt i B (9) - vlera mesatare e probabilitetit të ndodhjes së ngjarjeve të të gjithë n elementëve.

Megjithatë, (8) ka pak përdorim për shkak të pranisë së ndërlidhjeve ndërmjet elementeve, dhe për këtë arsye gjendjet e elementeve do të përcaktojnë gjendjet e vetë sistemit. Nëse detyra është të përcaktohet sasia e informacionit që përmban sistemi, atëherë do të kërkojë plotësimin e disa kushteve: 1) duhet të ketë të dhëna agregate për gjendjet e sistemit për një periudhë të gjatë kohore; 2) të ketë të dhëna për secilin prej elementeve. Për shembull, në bazë të kushtit të dytë, zgjidhja e problemit mund të merret në bazë të rezultateve të paraqitura në punë. Më tej, do të shqyrtojmë mundësinë e përcaktimit të masës së informacionit vetëm për një element, duke përjashtuar sistemin nga shqyrtimi.

Më pas do të shqyrtojmë mundësitë në përcaktimin e masës së informacionit vetëm për një element (objekt). Në këtë rast, do të jetë e drejtë të përdoret shprehja (7) nën kushtin p + q = 1. Atëherë informacioni maksimal arrihet në p = q dhe do të jetë i barabartë me 1.

Në shprehjet për përcaktimin e masës së informacionit, vlefshmëria e përdorimit të logaritmit bazë 2 shpjegohet me ndarjen e të gjithë grupit të gjendjeve të elementeve në dy klasa ekuivalente: gjendjet e operueshme dhe probabilitetet e tyre do t'i referohen klasës së parë. k1, ato jofunksionale - në klasën e dytë k2. Të dyja klasat e ekuivalencës përfshijnë një numër të plotë gjendjesh m = G + L, ku G është numri i gjendjeve shëndetësore, L është mosfunksionimi i një elementi sistemi. Në klasën e parë, ekziston një grup gjendjesh G me probabilitet total, në të dytën - L me probabilitet total. Kështu, çdo klasë ndahet në gjendje të veçanta jo ekuivalente.

Duke veçuar 2 klasa ekuivalente, ku secila prej tyre ka grupin e vet të gjendjeve jo të mundshme, informacioni sipas (7) mund të përcaktohet me shprehjen:

me kusht , (11)

ku pg dhe ql janë probabiliteti i gjendjeve g-të të operueshme dhe l-të të papunueshme, përkatësisht, (m = G + L) është numri i përgjithshëm i gjendjeve të elementit. Shprehjet (7) dhe (10) përkojnë dhe mund të aplikohen kur të dhënat merren duke ndjekur rrjedhën e ngjarjeve ose të dhëna statistikore të përgjithësuara më parë. Nëse probabilitetet e gjendjeve të elementit janë të barabarta - рg = ql, (për shembull рg = ql = 0,125 dhe G = L = 4) sipas shprehjes (10) dhe në varësi të kushtit (11), marrim vlerën maksimale të informacionit. I * = 1, ndërsa sipas (8 ) - I = 3. Kështu, nëse probabilitetet janë të barabarta, vlera e parë nënkupton vlerën maksimale të informacionit që përmban një element, e dyta - në 3 elementë që funksionojnë në mënyrë të pavarur. Në rastin e fundit, përdorimi i (8) është i paligjshëm.

Shpesh në praktikën e llogaritjes së nivelit të besueshmërisë, analisti mbështetet në disponueshmërinë e të dhënave statistikore. Në të njëjtën kohë, ai mund të marrë vlera të përgjithësuara të gatshme ose, duke grumbulluar përvojën e funksionimit, të marrë parasysh rrjedhën e ngjarjeve, duke marrë kështu një sërë probabilitetesh dhe, bazuar në teoremën e shtimit të probabiliteteve, gjen vlerën totale dhe , në përputhje me rrethanat, totali q. Duke zëvendësuar këto vlera në (7), mund të përcaktoni sasinë e informacionit që përmban një element.

Kështu, shprehja (10) është një masë logaritmike e pasigurisë së informacionit të përmbajtur në një element, duke marrë parasysh ndarjen në gjendje funksionale dhe jooperative.

Vini re një veçori tjetër në marrjen e masës së pasigurisë. Është e lidhur me faktin se formula e Shannon përputhet me formulat e Hartley (3) - (6) për ngjarje të mundshme. Nëse marrim parasysh rrjedhën e gjendjeve (ngjarjeve) jo uniforme, atëherë duke marrë parasysh (3), probabilitetet e përgjithësuara të secilës prej klasave gjenden nga Shannon si

dhe (12)

Me tyre duke përcaktuar Teorema e shumëzimit të probabiliteteve funksionon, pasi supozohet se niveli i besueshmërisë së një elementi mund të përfaqësohet në formën e ngjarjeve të pavarura që ndodhin në mënyrë të njëpasnjëshme. Duke pasur probabilitete të përgjithësuara sipas (12), mund të konkludojmë se masa e informacionit për secilën nga klasat ekuivalente ka vetinë e aditivitetit. Pastaj masa e informacionit mund të përcaktohet me formulën:

Në (13), vlerat e pav dhe qav mesatarizojnë vlerën e informacionit.

Nëse pav dhe qav njihen në këtë shprehje, atëherë ajo do të korrespondojë me formulën (10). Në thelb, shprehjet për përcaktimin e vlerave mesatare duhet të marrin parasysh faktin se në secilën klasë ekuivalente ngjarjet nuk janë homogjene në natyrën e paraqitjes së tyre dhe përmbajtjen e arsyeve që i kanë shkaktuar ato. Prandaj, baza e logaritmit gjatë përcaktimit të informacionit për një klasë ngjarjesh duhet të ndryshojë nga baza e pranuar tashmë e barabartë me 2.

Në teorinë e logaritmeve, shprehja është e njohur , e cila në rastin tonë (për shembull, për klasën k1) duket si

Shprehja (14) nënkupton sa vijon:

(15)

Lidhja në (15) mund të konsiderohet si dendësi informacioni. Pastaj (për shembull, për klasën k1), mund të shkruani relacionin:

ku

Pastaj (13), duke marrë parasysh vlerat mesatare, mund të shkruhet në formën:

(17)

Le të pranojmë kushtin: G = L = 4; pg = ql = 0,125. Më pas, sipas shprehjes (17) dhe sipas kushtit (11), vlera maksimale e masës së informacionit, e cila konfirmon përputhshmërinë me shprehjen (10).

konkluzioni. Nga sa më sipër rezulton se struktura e një sistemi teknik, e përbërë nga elementë dhe lidhje ndërmjet tyre, i nënshtrohet analizës dhe vlerësimit të informacionit nga pikëpamja e besueshmërisë. Secili prej elementeve mund të jetë në një nga dy gjendjet: punë ose dështim. Numri i gjendjeve, nëse janë njësoj të mundshëm, përcakton vlerën e masës Hartley sipas (6) dhe ndahet në dy klasa të ekuivalencës: klasën e operueshme dhe klasën e gjendjeve jofunksionale të elementit të sistemit. Nëse ngjarjet janë të pabarabarta, atëherë masa e informacionit për një element mund të përcaktohet me formulën (7). Kur elementët janë reciprokisht të pavarur, atëherë duke përdorur formulën e Shannon (8) dhe (9), mund të përcaktohet masa e informacionit për sistemin në tërësi.

Duke marrë parasysh gjendjet vetëm për një element ose objekt, secila nga klasat e zgjedhura formohet në bazë të të dhënave për rrjedhën e ngjarjeve të pabarabarta. Për secilën nga klasat e ekuivalencës, është e mundur të përcaktohen probabilitetet totale dhe të përgjithësuara të funksionueshmërisë dhe dështimit të një elementi. Këta tregues janë të zbatueshëm për të përcaktuar masën e pasigurisë së informacionit të një elementi sipas shprehjeve të marra (10) dhe (17) me ndarje në një klasë të gjendjeve të operueshme dhe të paoperueshme. Tregohet se (10) dhe (17) janë identike dhe të zbatueshme: shprehja e parë - në prani të probabilitetit total, e dyta - në probabilitetin e përgjithësuar.

Bazuar në përdorimin e formulave të mësipërme, është e mundur të përcaktohet masa e pasigurisë për elementë të të njëjtit lloj dhe, në bazë të vlerave të marra, të zgjidhet ajo më pak e besueshme.

Rishikuesit:

Nagruzova Lyubov Petrovna, Doktor i Shkencave Teknike, Profesor i Departamentit "Ndërtimi" të Institutit Teknik Khakass - një degë e Institucionit Arsimor Autonom Shtetëror Federal të Arsimit të Lartë Profesional "Universiteti Federal Siberian", Abakan.

Bulakina Elena Nikolaevna, Doktor i Shkencave Teknike, Profesor i Departamentit "Automobila dhe Industria e Automjeteve" të Institutit Teknik Khakass - një degë e Institucionit Arsimor Autonom Shtetëror Federal të Arsimit të Lartë Profesional "Universiteti Federal Siberian", Abakan.

Referencë bibliografike