Структурная мера информации. Аддитивная мера Хартли

1. КОЛИЧЕСТВО ИНФОРМАЦИИ, И ЕЕ МЕРА

На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.1).

Помехи

x 1 y 1

x 2 y 2

… …

x n y n

Рис.1. Система передачи информации

Ансамбль сообщений - множество возможных сообщений с их вероятностными характеристиками - {Х, р (х ) } . При этом: Х={х 1 , х 2 , …, х m } - множество возможных сообщений источника; i = 1, 2 , ..., m , где m - объем алфавита; p (x i ) - вероятности появления сообщений, причем p (x i ) 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице

.

Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении x i , выбранном из ансамбля сообщений источника {Х, р (х ) } . Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p (x i ), поэтому естественно предположить, что количество информации I (x i ) в сообщении x i является функцией p (x i ). Вероятность появления двух независимых сообщений x 1 и x 2 равна произведению вероятностей p (x 1 , x 2 ) = p (x 1 ). p (x 2 ), а содержащаяся в них информация должна обладать свойством аддитивности, т.е.:

I (x 1 , x 2 ) = I (x 1 ) +I (x 2 ). (1)

Поэтому для оценки количества информации предложена логарифмическая мера:

. (2)

При этом, наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т.к. все логарифмы пропорциональны, то выбор основания определяет единицу информации:

log a x = log b x/log b a .

В зависимости от основания логарифма используют следующие единицы информации:

2 - [бит] (bynary digit - двоичная единица), используется при анализе ин-формационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

e - [нит] (natural digit - натуральная единица), используется в математических методах теории связи;

10 - [дит] (decimal digit - десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

Битом (двоичной единицей информации) - называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям:

. (3)

Количество информации, в сообщении, состоящем из n не равновероятных его элементов равно (эта мера предложена в 1948 г.К. Шенноном):

. (4)

Для случая независимых равновероятных событий количество инфор-мации определяется (эта мера предложена в 1928 г.Р. Хартли):

. (5)

2. СВОЙСТВА КОЛИЧЕСТВА ИНФОРМАЦИИ

1. Количество информации в сообщении обратно-пропорционально вероятности появления данного сообщения.

2. Свойство аддитивности - суммарное количество информации двух источников равно сумме информации источников.

3. Для события с одним исходом количество информации равно нулю.

4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита - m .

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Об обосновании логарифмической меры информации

Теория информации в настоящее время вышла за узкие рамки систем связи, где она первоначально применялась, и начала широко использоваться в таких нетрадиционных для нее областях, как физика, теория систем, теория управления, биология, математика. Особенно широкое применение она нашла в таких относительно новых областях науки, как информатика, теория автоматов, защита данных.

Поэтому необходим дальнейший анализ основ теории информации с целью проникновения в ее суть, которая и на сегодня еще остается во многом загадочной, и выявление новых возможностей ее применения для решения практических задач.

Важнейшим вопросом, на основе которого строится та или иная теория информации, является выбор меры информации.

Он во многом определяется теми объектами, на анализ которых направлена разрабатываемая теория.

В настоящее время в теории информации наибольшее распространение имеют меры Хартли и Шеннона, причем в ряде случаев меру Хартли представляют как частный случай меры Шеннона.

Однако уже по своему назначению мера Хартли имеет существенное отличие от меры Шеннона, так как первая направлена на исследование детерминированных (невероятностных) процессов конечной длины, а вторая - на анализ вероятностных процессов любой длительности, для анализа которых используются статистические методы .

Соответственно теория информации, использующая ту или иную из указанных мер, называется структурной или статистической теорией информации.

Конечность длин анализируемых массивов данных приводит соответственно к возможности подсчета их числа простым перебором или с помощью каких-либо математических методов, а также к применению для информационного анализа известных невероятностных методов, например, теории конечных предикатов или теории групп. В результате в структурной теории информации на сегодня получены методы кодирования, которые не могут быть разработаны на основе статистической теории информации.

В то же время статистическая теория позволяет получить предельные теоремы и вести информационный анализ сообщений на основе статистического набора данных, а не анализа каждого сообщения в отдельности, как это происходит в структурной теории информации.

Лежащая в основе структурной теории информации логарифмическая мера, где и - любые положительные числа конечной длины, не равные 0, а еще и не равное 1, предложенная Хартли в 1928 г., не была им логически обоснована, а вводилась на основе интуитивных соображений . Причем, что существенно, в таком виде она может принимать как положительные, при, так и отрицательные, при, значения.

В настоящее время она обосновывается свойством ее аддитивности, которое проявляется в том, что общая информация, генерируемая совместно двумя источниками информации и, равна сумме отдельных информаций и от каждого из них, как это показано, например, в .

Действительно, если каждый из двух источников и генерирует соответственно и сообщений, то их общее количество

Прологарифмировав выражение (1), получим равенство

которое доказывает свойство аддитивности меры информации Хартли.

Рассмотрим другое обоснование меры Хартли применительно к задачам поиска (непрерывного и дискретного).

Особенностью задач дискретного поиска является конечность исходного множества объектов, представляющих с равной вероятностью возможные решения задачи дискретного поиска, среди которых предположительно находится один искомый. Его поиск осуществляется в процессе решения дискретной задачи, как это происходит, например, в широко известной задаче коммивояжера.

В этой задаче искомым объектом является маршрут минимальной длины, выбираемый из некоторого исходного конечного числа возможных маршрутов.

Решение указанных задач так или иначе находится в процессе последовательных разбиений исходного множества из возможных объектов - решений на, классов эквивалентности и тестирование каждого из них на предмет наличия в нем искомого объекта. В процессе тестирование происходит устранение неопределенности о наличии искомого объекта, сопровождающееся выработкой соответствующего количества информации.

Особый случай разбиения будет тогда, когда исходные возможных объектов разбиваются на классов эквивалентности так, чтобы в них находились строго равные количества целых объектов.

Очевидно, что такие разбиения возможны только в том случае, когда

где - максимальное число разбиений до появления класса с одним объектом.

Если за меру информации в данном случае взять, то она в точности совпадает с логарифмической мерой Хартли, взятой по основанию:

Таким образом, число разбиений при равновероятном дискретном поиске объекта среди возможных представляет собой логарифмическую меру информации Хартли и, наоборот, мера Хартли представляет для рассматриваемого случая число равномерных разбиений множества из объектов на классов эквивалентности до появления одного искомого.

В общем случае при разбиении исходного множества, состоящего из объектов, на классов эквивалентности в каждом из них может содержаться объектов и соответственно вероятность нахождения искомого объекта в том или ином классе равна

При этом.

Формула Шеннона для энтропии, определяющая меру неопределенности нахождения искомого объекта в том или ином классе эквивалентности до тестирования, при первом разбиении

где утверждает, что величина энтропии достигает максимума для первого разбиения

при нахождении искомого объекта в классах эквивалентности с равными вероятностями

В данном случае.

Соответственно максимальное количество информации, вырабатываемой тестом в процессе снятия энтропии, будет также равно этой величине

Аналогично и на остальных разбиениях при равенстве вероятностей нахождения искомого объекта в новых классах эквивалентности будет получено максимальное количество информации, равное 1.

Из этого следует, что для достижения максимума генерируемой тестом информации нужно в процессе разбиений множества объектов разбивать их на классы эквивалентности с равным количеством объектов в каждом из них.

Так как мера Хартли применительно к рассматриваемой задаче использует именно такие разбиения, то это значит, что она определяет максимально возможное количество информации, получаемое в процессе поиска дискретного объекта, а раз это так, то число разбиений и соответственно время поиска должно быть при этом минимальным по сравнению с любыми другими возможными разбиениями. Именно в этом состоит принципиальная особенность меры информации Хартли.

На рис. 1 показано дерево с 3 равномерными разбиениями на 2 класса эквивалентности исходных объектов. В его вершинах проставляются содержащиеся в полученных классах эквивалентности количества объектов. В данном случае в каждой вершине генерируется максимальное количество информации

в сумме по всем разбиениям составляющее бита.

Рисунок 1 - Дерево равномерных разбиений с,

Очевидно, что число равномерных разбиений для данного случая с минимально.

Другое дерево разбиений на рис. 2 для неравномерных разбиений объектов на 2 класса эквивалентности имеет среднее число разбиений по всем возможным путям разбиений

что больше среднего числа разбиений, равного, полученного в предыдущем примере.

Это вызвано тем, что количество информации, вырабатываемое при каждом разбиении в соответствии с формулой Шеннона (6), меньше 1 бита, то есть время поиска искомого объекта не является минимальным.

При этом должно выполняться основное правило информационного поиска, которое сформулируем следующим образом.

Количество информации, необходимое для поиска одного целого искомого объекта не зависит от способа разбиения исходного множества объектов на классы эквивалентности и остается постоянным и равным.

Это значит, что какое бы не было дерево разбиений исходного множества из объектов необходимое количество информации для нахождения одного из них всегда будет одним и тем же - .

Рисунок 2 - Дерево неравномерных разбиений при, и

Разбиения на классы эквивалентности широко распространены на практике. Так, на них основывается позиционное кодирование слов и чисел, которое происходит в процессе последовательных разбиений их исходных множеств на классы эквивалентности с помощью букв и цифр, которые представляют признаки этих классов. В совокупности эти буквы и цифры образуют алфавиты, а число, на которое разбиваются исходные множества слов и цифр, представляет собой мощности этих алфавитов. Число разбиений определяет при этом длину слов и чисел.

Следовательно, каждая буква или цифра слова или числа указывает класс эквивалентности, к которому они принадлежат в том или ином разбиении.

Основное выражение для теории информации, предложенное Шенноном, имеет вид

Оно утверждает применительно к задаче поиска, что количество производимой в его процессе информации равно разности между начальной энтропией

искомого объекта и остаточной

где - остаточное число объектов, среди которых имеется искомый.

Очевидно, что в процессе разбиений и тестирования число уменьшается и в конечном итоге при

Последнее выражение представляет важное условие, которое сформулировано в как принцип унитарности.

Суть его сводится к тому, что полная информация об объекте будет получена тогда и только тогда, когда в процессе поиска будет найден один целый объект.

Если же, то это говорит о том, что информация об объекте передана приемнику частично.

Особым будет случай, для которого. Для него принимает отрицательное значение - и соответственно

Это значит, что в рассматриваемом случае, когда, при тестировании вырабатывается дополнительная информация о деталях объекта, принадлежащих теперь уже новым, ранее неисследованным классам эквивалентности. Такая процедура детализации объекта может длиться неопределенно долго. Например, в дереве разбиений на рис. 1 после вершины (класса эквивалентности), содержащий после 3-го разбиения один объект, могут идти вершины, содержащие 0,5 объекта (4-е разбиение), затем 0,25 и т.д. Каждый раз величина информации об объекте при этом увеличивается на 1 бит и может достичь любой величины.

Эта процедура подтверждает хорошо известный в науке факт, что любой объект может быть неограниченно познаваем, однако принцип унитарности при этом будет нарушен, так как и соответственно, т.е. анализируемый объект не может идентифицироваться как целостная система.

Все приведенные выше рассуждения относятся и к задачам поиска с числом объектов при условии, что в получаемых в процессе разбиений классах эквивалентности допускаются нецелые числа объектов.

Из неравенства следует, что

и соответственно

где - энтропия при;

Энтропия при.

Теорема 1. Если -е разбиение числа объектов, содержит классы эквивалентности с равным количеством объектов, то имеет место неравенство

Доказательство.

Из условия и соответственно следует, что.

Теорема доказана.

Следствие 1. Энтропия -го разбиения ограничена неравенством

Теорема 2. Если -е разбиение числа объектов при содержит классы эквивалентности с количеством объектов, то имеет место неравенство

Доказательство. Так как, то, где - количество объектов, размещенных по классам эквивалентности -го разбиения.

Из условия и соответственно непосредственно следует, что.

Теорема доказана.

Следствие 1 Остаточная энтропия ограничена неравенством

На рис. 3 в качестве примера к теоремам 1, 2 приведено дерево для трех разбиений с исходным количеством объектов. Из него видно, что классы второго разбиения содержат по 1,5 объекта, а классы третьего разбиения по 0,75 объекта, . По вертикальной оси координат на рисунке расположены номера исходных объектов, а по горизонтали величина получаемой после очередного разбиения 1, 2, 3 суммарной информации и значение остаточной информации. Величина вырабатываемой на каждом шаге информации остается при этом постоянной и максимальной:

Теорема 3.

Доказательство. Так как, то, где. Прологарифмировав последнее выражение, получим, что

Теорема доказана.

Рисунок 3 - Дерево разбиений при.

Теорема 4

Доказательство. Так как, то, где. Прологарифмировав последнее выражение, получим, что.

Теорема доказана.

Следствие 1

Так как при разбиениях числа в классах, получаемых при -м разбиении, содержится больше, а в классах -го разбиения меньше 1-го объекта, то это значит, что количество информации об объекте после -го разбиения

меньше требуемого количества, необходимого для идентификации искомого объекта, и значит он не может быть полностью определен, а после -го разбиения количество информации

поступает с избытком, и в результате определяется не только сам объект, а и некоторые его детали, что для решения задачи поиска является излишним.

При этом только в первом случае происходит нарушение принципа унитарности, а во втором этот принцип сохраняется и даже обеспечивается с большей надежностью. Поэтому реально на практике, если анализируемое множество объектов, оно заменяется ближайшим множеством, содержащим объектов, и поиск искомого объекта производится уже среди объектов этого множества.

Поэтому можно говорить о дискретной (целочисленной) мере информации, являющейся разновидностью логарифмической меры Хартли, которая представляет собой среднее число разбиений на классы эквивалентности, содержащие с равной вероятностью одинаковое количество объектов, до получения искомого. Эта мера эффективно может использоваться в задачах дискретной математики и комбинаторики, где решения представляют собой целочисленные объекты.

Однако разбиения могут производиться и на нецелое число классов эквивалентности. В этом случае можно достичь выполнения принципа унитарности для любого действительного значения, решив уравнение

относительно.

Например, при значение надо выбрать примерно равным. Тогда.

Это значит, что и соответственно количество получаемой за 3 разбиения информации будет равно

В теоретических работах часто выбирают равным, а на практике наиболее часто используют значение основания логарифма, на базе которого получена такая современная мера информации, как бит, - , то есть исходное множество объектов для этой меры состоит из, а искомый объект находится за одно разбиение на 2 класса эквивалентности, каждый из которых содержит по 1 объекту. Остаточная энтропия в этом случае равна 0 и соответственно для бита соблюден принцип унитарности.

Полученное выше значение для целого числа разбиений для исходного множества объектов, можно получить и исходя из следующих соображений.

Основание логарифма, при котором

где - целое число разбиений, которое можно найти из выражения

Соответственно

Из (25) следует, что

Например, для,

Это означает, что если разбиения исходного множества из объектов до получения одного целого производить на класса эквивалентности, то искомый объект будет найден за целых разбиения, которые представляют их минимально возможное число. При этом во время каждого разбиения производится максимальное количество информации - единица, а за разбиения - единицы.

Определим отношение (25) как начальную плотность информации до первого разбиения:

Очевидно, что плотность информации изменяется при изменении от 1 до в пределах от 0 до 1.

Так для, начальная плотность информации

После каждого разбиения плотность информации будет определяться в соответствии с выражением

Так, для рассматриваемого выше примера после первого разбиения на два класса эквивалентности

а после второго

Из выражения (28) следует, что в случае после каждого разбиения плотность информации уменьшается и только при остается постоянной для всех разбиений и равной максимальной - 1.

Из (26) следует, что

и соответственно при

Следовательно, зная, можно определить необходимое число классов эквивалентности, на которое необходимо последовательно разбивать исходное число объектов, чтобы получить целое число разбиений. Так как при этом будет вырабатываться максимальное возможное количество информации, то это будет минимальное число разбиений при данных условиях.

Следствие 1 теоремы 4 показывает, что количество информации, вырабатываемой на -м последнем разбиении

При этом в соответствии с (16) не равно 0.

Для получения полной информации об объекте достаточно, чтобы. Тогда выражение (31) примет вид

Так как из (17) следует, что

то достичь равенства (32) можно, исходя из выражения

которое при заданном выполняется при соответствующем распределении вероятностей.

Так, например, для

и соответственно

Для достижения последнего равенства следует, чтобы вероятности и равнялись соответственно 0,15; 0,85 или 0,85; 0,15.

Это значит, что полученное во 2-м разбиении число в размере объекта разбивается во время 3-го разбиения на две пропорциональные вероятностям и части (0,225 и 1,275), которые затем анализируются тестом на предмет отношения одной из них к искомой. Вероятность их нахождения равна или, или в зависимости от их величины.

В результате будет получена полная информация об одном из объектов, однако при этом, кроме равномерных разбиений, использовалось и неравномерное.

В случае чисто логарифмической меры информации при числе исходных объектов для получения величина должна представлять собой информацию, получаемую при неполном -м разбиении объектов на две равные части так, что в каждой из них будут присутствовать элементы двух объектов. При этом энтропия будет равна 0 потому, что получаемая в процессе последнего целого -го разбиения информация будет частично идти на устранение помех при тестировании, создаваемыми элементами другого объекта.

Из рассмотренного выше следует, что информация измеряется числом разбиений множества из возможных объектов до получения одного целого искомого. Источником информации в данном случае выступает тест, который указывает класс эквивалентности, в котором находится искомый объект. При этом информация как самостоятельная сущность во время разбиений прямо себя никак не проявляет, оставаясь вне рамок измерительной процедуры (подсчета числа разбиений). В тесте она проявляет себя путем указания результатов сравнения, проявляющегося в совпадении или несовпадении признаков классов эквивалентности с соответствующими признаками, имеющимися у теста. Это значит, что тест должен заранее иметь информацию о признаках анализируемых классов эквивалентности. Его конечной функцией являются дешифрация признаков этих классов и выработка управляющих воздействий, указывающих, какой класс из анализируемых должен разбиваться на подклассы на следующем шаге разбиений, или о том, что объект найден и процедура поиска должна быть прекращена.

Существенным для поиска объекта является то, что он может однозначно быть определен только после получения всей информации о нем, что происходит только тогда, когда остаточная энтропия. Это возможно только в случае, если в процессе разбиений будет получен класс эквивалентности, содержащий один объект. В этом случае энтропия и тем самым удовлетворен принцип унитарности.

Такой случай будет тогда, когда исходное число объектов. Если, то при равномерном разбиении последний -й класс эквивалентности будет содержать меньше одного объекта, и в результате будет получена дополнительная информация, детализирующая объект и не используемая при его поиске.

На практике в задачах кодирования широко используется замена исходного числа объектов числом, что, с одной стороны, приводит к удовлетворению принципа унитарности, а с другой - к увеличению количества вырабатываемой тестом избыточной информации.

Подобные документы

Понятие и цели метода фокальных объектов - поиска новых идей путем присоединения к исходному объекту свойств или признаков случайных объектов. Активизация ассоциативного мышления как один из способов эвристического исследования в теории принятия решений.

контрольная работа , добавлен 24.12.2012


Теоретические основы первичной обработки статистической информации. Особенности определения минимального числа объектов наблюдения при оценке показателей надежности. Анализ вероятностной бумаги законов нормального распределения и распределения Вейбулла.

курсовая работа , добавлен 22.03.2010


Основные понятия и способы кодирования информации. Особенности процесса расшифровки штрих-кода. Технология и оборудование для штрихового кодирования. Использование в логистических системах технологии автоматизированной идентификации штриховых кодов.

курсовая работа , добавлен 09.05.2013


Понятие энтропии. Энтропия как мера степени неопределенности. Понятие об информации. Измерение информации. Теорема Шеннона о кодировании при наличии помех. Пример использования энтропии в прогнозировании и ее значение для прогнозирования.

реферат , добавлен 14.12.2008


Разработка экономико-математической модели и решение задачи линейного программирования с использованием математических методов. Транспортная задача в матричной постановке и ее свойства. Построение исходного допустимого плана. Критерий оптимальности.

курсовая работа , добавлен 16.01.2011


Основы математического моделирования детерминированных и стохастических объектов. Идентификация объектов управления по переходной характеристике. Получение модели методом множественной линейной регрессии и проверка ее адекватности по критерию Фишера.

курсовая работа , добавлен 14.10.2014


Простейшие алгоритмы направленного случайного поиска. Алгоритм наилучшей пробы с направляющим гиперквадратом. Многоканальный статистический оптимизатор со случайным поиском. Метод статистического градиента. Локальный случайный поиск по наилучшей пробе.

курсовая работа , добавлен 08.02.2015


Понятия и определения теории генетических алгоритмов. Математический базис изобретательской физики. Генетический алгоритм изобретательской задачи. Описание операторов генетических алгоритмов. Система мысленного поиска и слежения в сознании изобретателя.

курсовая работа , добавлен 22.05.2012


Построение математической модели двойственной задачи (системы ограничений по единичной прибыли и целевую функцию общих издержек на сырье. Определение оптимального набора цен на сырье, обеспечивающего минимум общих затрат на сырье. Анализ переменных.

контрольная работа , добавлен 18.05.2015


Планирование эксперимента как математико-статистическая дисциплина. Поиск оптимальных условий и правил проведения опытов с целью получения информации об объекте с наименьшей затратой труда. Теория корреляционного исследования, меры корреляционной связи.

Комбинаторная мера

Для лучшего понимания рассмотрим несколько простейших примеров.

Пример 1 . Проведем опыт. Возьмем игральный кубик. Он имеет шесть сторон, на каждой из которых изображены числа от одного до шести.

Подбросим его. При бросании кубика выпадает одно из имеющихся на сторонах кубика число. Получившееся таким образом число - есть исход нашего опыта.

Подбрасывая игральный кубик сколь угодно раз, мы можем получить только шесть возможных чисел. Обозначим это как N = 6.

Этот пример позволяет перейти к понятию комбинаторной меры информации и дать следующее определение:

Комбинаторная мера информации N - это способ измерения количества информации путем оценки количества возможных комбинаций информационных элементов.

Поскольку в примере с игральным кубиком возможно только шесть вариантов исхода опыта, иными словами, шесть комбинаций, то и количество информации в соответствии с комбинаторной мерой составляет N = 6 комбинаций.

Рассмотрим следующий пример.

Пример 2. Пусть задана одна из десятичных цифр, например, цифра 8 и одна из шестнадцатеричных – к примеру, цифра 6 (можно было взять любую другую шестнадцатеричную - 8, В, F и т. д.). Теперь, в соответствии с определением комбинаторной меры, определим количество информации, заключенное в каждой из этих цифр. Поскольку цифра 8 является десятичной, а значит, представляет один символ из десяти, то N 8 = 10 комбинаций. Аналогично, цифра 6 представляет один из шестнадцати символов, а поэтому N 6 = 16 комбинаций. Следовательно, что шестнадцатеричная цифра содержит больше информации, чем десятичная.

Из рассмотренного примера можно сделать вывод, что чем меньше цифр находится в основании системы счисления, тем меньше информации несет в себе один ее элемент.

Английский инженер Р. Хартли предложил измерять количество информации двоичной логарифмической мерой:

где N - количество различных комбинаций информационных элементов. Единицей измерения информации при таком измерении является бит.

Поскольку выведенная Р.Хартли формула учитывает количество возможных комбинаций N, то интересно узнать, какую оценку количества информации дает двоичная логарифмическая мера для рассмотренных выше примеров.

Подсчет дает следующие результаты:

в примере с кубиком I = log 2 6 = 2,585 бит;

в примере с десятичной системой счисления I = log 2 10 = 3,322 бит;

в примере с шестнадцатеричной системой счисления I = log 2 16 = 4 бит;

в примере с двоичной системой счисления I = log 2 2 = 1 бит.

Последняя цифра говорит о том, что в каждой цифре двоичной системы счисления содержится один бит информации. Вообще, в технических системах двоичная система счисления применяется для кодировки двух возможных состояний, например 1 обозначает наличие электрического тока в сети, 0 - его отсутствие.

Во всех рассмотренных выше примерах исходы опытов были равновероятными и взаимно независимыми. Это означает, что при подбрасывании кубика каждая из шести граней имеет одинаковую вероятность результативного исхода. А также, что результат следующего подбрасывания никак не зависит от результата предшествующего.

Равновероятные и взаимно независимые события в реальной жизни встречаются довольно редко. Если обратить внимание на разговорные языки, например русский, то можно сделать интересные выводы. Для упрощения теоретических исследований в информатике принято считать, что русский алфавит состоит из 32 символов (е и ё, а также ь и ъ между собой не различаются, но добавляется знак пробела между словами). Если считать, что каждая буква русского языка в сообщении появляется одинаково часто и после каждой буквы может стоять любой другой символ, то можно определить количество информации в каждом символе русского языка как:

I = log 2 32 = 5.

Однако, фактически все бывает не так. Во всех разговорных языках одни буквы встречаются чаще, другие - гораздо реже. Исследования говорят, что на 1000 букв приходится следующее число повторений:

Кроме того, вероятность появления отдельных букв зависит от того, какие буквы им предшествуют. Так, в русском языке после гласной не может следовать мягкий знак, не могут стоять четыре гласные подряд и так далее. Любой разговорный язык имеет свои особенности и закономерности. Поэтому количество информации в сообщениях, построенных из символов любого разговорного языка, нельзя оценивать ни комбинаторной, ни двоичной логарифмической мерами.

В работе представлена модель определения логарифмической меры информации. Из структуры технической системы выделяется объект, и рассматриваются его вероятностные состояния отказа и работы. Когда состояния равновероятны, предлагается использовать меру Хартли, а для неравновероятных – меру Шеннона для одного и многих объектов, если они взаимонезависимы. Модель учитывает возможности определения меры информации только для одного объекта. Все состояния объекта разбиты на два класса. Каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого класса состояний объекта определены суммарные и обобщенные вероятности работоспособности и отказа. Данные вероятности нашли применение в полученных математических выражениях для определения меры неопределенности информации. Показано, что полученные формулы идентичны и применимы как при использовании суммарной вероятности, так и обобщенной вероятности.

состояние технического объекта

энтропия

логарифмическая мера информации

1. Вильчинская О.О., Гатауллин И.Н., Головинов С.О. и др. Определение количества информации в структуре технической системы // Информационные технологии: приоритетные направления развития. Кн. 5: монография. – Новосибирск: ЦРНС – Изд-во «Сибпринт», 2010. – 261 с.

2. Дулесов А.С., Семенова М.Ю., Хрусталев В.И. Свойства энтропии технической системы // Фундаментальные исследования. – 2011. – № 8 (часть 3). – С. 631-636.

3. Дулесов А.С., Ускова Е.А. Применение подходов Хартли и Шеннона к задачам определения количества информации технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 2 (16). – С. 46-50.

4. Дулесов А.С., Ускова Е.А. Применение формулы Хартли для оценки структурных связей элементов в задаче обеспечения надежного функционирования технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 6 (20). – С. 37-41.

5. Кузнецов Н.А. Информационное взаимодействие в технических и живых системах // Информационные процессы. – 2001. – Т. 1. – № 1. – С. 1-9.

Введение. К сложным техническим системам предъявляется ряд требований, среди которых выделяют поддержание высокого уровня надежности (работоспособности). Высоконадежные системы, как правило, подлежат контролю и диагностике с целью своевременного устранения возможных неполадок, появление которых имеет вероятностную природу. В целом систематический контроль позволяет получить общую картину состояния системы. Имея её на руках, можно вырабатывать решения, направленные на сохранение устойчивого поведения системы, сохранение уровня надежности, тем самым решая задачу кибернетики. Кроме этого, отслеживая «движение» системы во времени и пространстве, можно судить о её эволюции или старении, но уже с позиции синергетики.

Естественным процессом в технических системах является старение, которое неразрывно связано с таким понятием, как «неопределенность». Существует множество методологических подходов к анализу процессов и поддержанию работоспособности систем. Один из них основан на использовании теории информации и касается решения задачи получения меры неопределенности информации (энтропии) . В свою очередь значение информационной энтропии служит мерой выбора из возможных альтернатив.

В теории информации нашли свое практическое применение мера Хартли, позволяющая измерять детерминированные процессы конечной длины, и мера Шеннона - процессы любой длительности, анализ которых использует вероятностно-статистические методы. Обе меры входят в структурное и статистическое направления теория информации.

При эксплуатации технического объекта подсистема контроля передает сигналы или сообщения о состоянии системы, из которых формируется набор статистических данных. Их применение и направления теории информации могут быть положены в основу информационного анализа.

Модель определения меры информации. Техническую систему можно представить в виде структурной схемы с наличием элементов и связей между ними. С позиции оценки надежности в структуру вводят показатели: продолжительность восстановления элемента, частота отказов и др. На их основе определяют вероятность отказа и безотказной работы элемента. Большинство показателей носят вероятностный характер, обусловленный наличием неопределенности поведения системы. Применение меры неопределенности информации может послужить эффективным средством для оценки состояния технической системы, её элементов и структуры. С возможностями применения данной меры в технических системах можно ознакомиться в работах . Изменение состояния влияет на выполнение функций, одна из которых связана с передачей энергии (ресурсов) в системе. Исходя из функциональных особенностей системы возможны, по крайней мере, два варианта оценки состояния (изменения структуры). Первый не связан с учетом потокового процесса, второй учитывает направление потоков в структурной схеме системы. Далее при построении модели примем к рассмотрению первый вариант.

Простейшей моделью количественной оценки структурного содержания системы является подход Хартли, который предложил вычислять количество информации, содержащейся в сообщении. Для нашего случая будем предполагать, что система и каждый из её элементов могут находиться в одном из двух независимых дискретных состояний: работоспособное и неработоспособное. Тогда можно предположить, что от элементов в систему контроля и управления информация поступает в виде сигналов дискретного вида: 0 - элемент системы не работает (находится в неработоспособном состоянии); 1 - элемент работает (находится в работоспособном состоянии). Если предположить, что нас не интересует время пребывания элемента в том или ином состоянии, то общее число всевозможных состояний элементов будет выражаться формулой:

где: k = 2 - число возможных состояний элемента или системы; п - количество элементов в рассматриваемой системе.

В формуле (1) общее число состояний (комбинаций) N - это количество сообщений, сформированных из равно-вероятных и независимых сигналов идущих от элементов. С ростом количества элементов п число комбинаций N увеличивается. Поэтому величину N Хартли использовал в качестве основы для определения меры количества информации. По (1) определяется максимальное количество состояний системы. В реальной обстановке (за определенный промежуток времени, например год) количество состояний всегда будет меньше N. Поскольку нас может интересовать состояние системы на отдельных интервалах времени, то такая мера количества информации, по (1), не удобна для практического использования. Хартли нашел решение, предположив: количество информации I, содержащееся в сообщениях, должно быть функцией от N, то есть I = f(N). Так как число элементов п является показателем степени, то для определения I применяют логарифмическую функцию:

Поскольку число состояний k и основание логарифма приняты равными 2, то количество информации при таких условиях принимается за единицу, которая называется «бит» (двоичная единица).

Появление факторов в системе приводит к возникновению того или иного её состояния, которое по отношению к противоположному состоянию независимо. Условие о независимости состояний указывает на то, что общая информация, по (2), будет равна сумме отдельных информаций и . Здесь и - количество состояний, относящихся к работе и отказу элементов системы соответственно. Их общее количество

Например, если рассматривать два элемента в системе, каждый из которых может находиться в каком-либо из двух состояний, то а для 3-х элементов - N = 8.

Прологарифмировав выражение (3), получим:

которое доказывает свойство аддитивности меры информации Хартли. Данная мера справедлива при условии наличия в системе равновероятных состояний, образующих конечное множество .

Расширим возможности меры Хартли применительно к задачам поиска дискретного содержания структуры системы, при условии конечности исходного множества .

Поскольку рассматриваются только два состояния системы - работоспособное и отказ, то они образуют два класса эквивалентности состояний (см. выражение (4)). Полагаем далее, что каждый из элементов технической системы генерирует состояния, относящиеся только к двум классам эквивалентности.

Если принять во внимание количество элементов , то согласно (1) полученная мера совпадет с логарифмической мерой Хартли:

Из (5) видно, что количество информации в битах равно количеству элементов системы. Следовательно, для равновероятных и взаимонезависимых друг от друга состояний элементов количество информации может выразиться через формулу:

Таким образом, при наличии в системе элементов и при равновероятных состояниях выражение (6) представляет собой логарифмическую меру информации Хартли.

В (6) состояния (работа и отказ) слиты воедино. Однако противоположные состояния желательно разделять, поскольку при их слиянии утрачивается смысл оценки уровня надежности через меру информации. Кроме этого, вероятности нахождения элемента в каждом из состояний неравнозначны. Поскольку важнейшей задачей является сохранение высокого уровня надежности элемента или системы, то на практике вероятность работоспособного состояния всегда будет выше противоположной вероятности. Во избежание слияния информаций (противоположных по своей сути при оценке надежности системы) нужно каждый класс эквивалентности рассматривать в отдельности.

Неравновероятность наличия состояний для элемента или системы вынуждает использовать формулу Шеннона. Последняя является мерой неопределенности наличия или вероятностного присутствия состояния элемента в том или ином классе эквивалентности. Рассмотрим получение формулы на следующем примере.

Например, оценивая надежность технической системы, состояния её элементов рассматриваются на длительных интервалах времени (год и более). На выделенном участке времени состояния перемежаются, следуя друг за другом, образуя поток событий. В этом потоке каждое из событий характеризуется видом (отказ или работа), временем появления и окончания, а также иными показателями. Эти состояния фиксируются в органе управления, одной из задач которого является сохранение высокого уровня работоспособности системы. Решая эту задачу (в нашем случае через определение количества информации), имеющийся поток событий классифицируют, относя события к конкретному i-му элементу либо к самой системе. Так, для одного из элементов, имея поток событий, можно определить вероятности появления каждого из них: pi и qi - вероятность нахождения i-го элемента в работоспособном и неработоспособном состоянии. Вероятности появления событий одного вида образуют суммарную вероятность, pi + qi = 1. Тогда количество информации при неравновероятных и взаимонезависимых событиях, содержащееся в одном элементе, определяется по формуле Шеннона:

Если рассматривать элементы системы как независимо функционирующие, тогда по формуле Шеннона можно определить информацию как

(8)

Вероятности в (8), стоящие перед логарифмом, усредняют значение самого логарифма. Если не разделять состояния по виду, то данное выражение можно переписать как

(9)

при условии В (9) - среднее значение вероятности появления событий всех n элементов.

Однако (8) малопригодно из-за наличия взаимосвязей между элементами, и по этой причине состояния элементов будут определять состояния самой системы. Если ставится задача определить количество информации, содержащейся в системе, то она потребует выполнения некоторых условий: 1) следует иметь совокупные данные о состояниях системы за длительный промежуток времени; 2) иметь данные по каждому из элементов. Например, исходя из второго условия, решение задачи можно получить, опираясь на результаты, представленные в работе . Далее будем рассматривать возможности определения меры информации лишь для одного элемента, исключив из рассмотрения систему.

Далее рассмотрим возможности в определении меры информации лишь для одного элемента (объекта). В данном случае будет справедливым использование выражения (7) при условии p + q = 1. Тогда максимум информации достигается при p = q и будет равен 1.

В выражениях для определения меры информации справедливость применения логарифма по основанию 2 объясняется разбиением всего множества состояний элемента на два класса эквивалентности: работоспособные состояния и их вероятности отнесем к первому классу k1, неработоспособные - ко второму классу k2. Оба класса эквивалентности включают в себя целое число состояний m = G + L, где G - число состояний работоспособности, L - неработоспособности элемента системы. В первом классе присутствует множество G состояний с суммарной вероятностью , во втором - L с суммарной вероятностью Тем самым каждый класс разбит на отдельные неравновероятные состояния.

Выделив 2 эквивалентных класса, где каждому из них принадлежит собственное множество неравновероятных состояний, информацию согласно (7) можно определить по выражению:

при условии , (11)

где pg и ql - вероятность g-го работоспособного и l-го неработоспособного состояний соответственно, (m = G + L) - полное количество состояний элемента. Выражения (7) и (10) совпадают и могут быть применены тогда, когда получены данные путем отслеживания потока событий либо ранее обобщенные статистические данные. При равенстве вероятностей состояний элемента - рg = ql, (например рg = ql = 0,125 и G = L = 4) по выражению (10) и при соблюдении условия (11) получим максимальное значение информации I* = 1, тогда как по (8) - I = 3. Тем самым при равенстве вероятностей первая величина означает максимальное значение информации, содержащейся в одном элементе, вторая - в 3-х независимо функционирующих элементах. В последнем случае использование (8) неправомерно.

Часто в практике расчетов уровня надежности аналитик опирается на наличие статистических данных. При этом он может взять уже готовые обобщенные значения либо, накапливая опыт эксплуатации, рассматривает поток событий, получая тем самым серию вероятностей, и на основе теоремы сложения вероятностей находит суммарное значение и соответственно суммарное q. Подставив эти значения в (7), можно определить количество информации, содержащееся в одном элементе.

Таким образом, выражение (10) представляет собой логарифмическую меру неопределенности информации, содержащуюся в одном элементе, с учетом разделения на работоспособное и неработоспособное состояния.

Отметим еще одну особенность в получении меры неопределенности. Она связана с тем, что формула Шеннона согласуется с формулами Хартли (3)-(6) для равновероятных событий. Если рассматривать поток неравновероятных состояний (событий), то принимая во внимание (3), обобщенные вероятности каждого из классов находятся по Шеннону как

и (12)

При их определении работает теорема умножения вероятностей, поскольку предполагается, что уровень надежности элемента можно представить в виде последовательно протекающих независимых событий . Имея обобщенные вероятности по (12), можно сделать вывод о том, что мера информации для каждого из классов эквивалентности обладает свойством аддитивности. Тогда меру информации можно определить по формуле:

В (13) величины pср и qср усредняют значение информации.

Если в данном выражении будут известны pср и qср, то оно будет соответствовать формуле (10). По сути выражения для определения усредненных значений должны учитывать факт того, что в каждом эквивалентном классе события не являются однородными по характеру появления и содержанию причин, их породивших. Следовательно, основание логарифма при определении информации для одного класса событий должно отличаться от уже принятого основания, равного 2.

В теории о логарифмах известно выражение , которое в нашем случае (например, для k1 класса) выглядит как

Из выражения (14) вытекает следующее:

(15)

Отношение в (15) может быть рассмотрено как плотность информации. Тогда (например, для класса k1) можно записать соотношение:

где

Тогда (13) с учетом средних величин можно записать в виде:

(17)

Примем условие: G = L = 4; рg = ql = 0,125. Тогда по выражению (17) и при соблюдении условия (11) максимальное значение меры информации что подтверждает соответствие выражению (10).

Заключение. Из рассмотренного выше следует, что структура технической системы, состоящая из элементов и связей между ними, подлежит информационному анализу и оценке с позиции надежности. Каждый из элементов может находиться в одном из двух состояний: работа или отказ. Количество состояний, если они равновероятны, определяет значение меры Хартли согласно (6) и разделяется на два класса эквивалентности: класс работоспособных и класс неработоспособных состояний элемента системы. Если события неравновероятны, то мера информации для одного элемента может быть определена по формуле (7). Когда элементы взаимонезависимы, то по формуле Шеннона (8) и (9) можно определить меру информации для системы в целом.

Рассматривая состояния лишь для одного элемента или объекта, каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого из классов эквивалентности можно определить суммарные и обобщенные вероятности работоспособности и отказа элемента. Эти показатели применимы для определения меры неопределенности информации элемента по полученным выражениям (10) и (17) с разделением на класс работоспособных и неработоспособных состояний. Показано, что (10) и (17) идентичны и применимы: первое выражение - при наличии суммарной вероятности, второе - при обобщенной вероятности.

На основе использования вышеупомянутых формул можно для однотипных элементов определить меру неопределенности и на основе полученных величин выделить менее надежный из них.

Рецензенты:

Нагрузова Любовь Петровна, д.т.н., профессор кафедры «Строительство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.

Булакина Елена Николаевна, д.т.н., профессор кафедры «Автомобили и автомобильное хозяйство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.

Библиографическая ссылка