Количество информации как мера уменьшения неопределенности знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.
Сообщения обычно содержат информацию о каких-либо событиях. Количество информации для событий с различными вероятностями определяется по формуле:
или из показательного уравнения:
Пример 2.1. После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегосяA, который выучил лишь половину билетов, и сообщение об оценке учащегосяB, который выучил все билеты.
Опыт показывает, что для учащегося Aвсе четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле 2.2:
I = log 2 4 = 2 бит
На основании опыта можно также предположить, что для учащегося Bнаиболее вероятной оценкой является «5» (p 1 = 1/2), вероятность оценки «4» в два раза меньше (p 2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p 3 = p 4 = 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2.1:
I = -(1/2Elog 2 1/2 + 1/4Elog 2 1/4 + 1/8Elog 2 1/8 + 1/8Elog 2 1/8) бит = 1,75 бит
Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.
Пример 2.2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.
Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:
p б = 0,1; p к = 0,2; p з = 0,3; p с = 0,4
События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой 2.1:
I = -(0,1·log 2 0,1+ 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) бит
Пример 2.3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?
Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).
Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое - ответу «Нет».
Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).
По формуле 2.2 и с помощью калькулятора получаем:
I = log 2 12 »3,6 бит
Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.
Единицы измерения количества информации
Единицы измерения количества информации. За единицу количества информации принят 1 бит - количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.
Принята следующая система единиц измерения количества информации:
1 байт = 8 бит
1 Кбайт = 2 10 байт
1 Мбайт = 2 10 Кбайт = 2 20 байт
1 Гбайт = 2 10 Мбайт = 2 20 Кбайт = 2 30 байт
Определение количества информации, представленной с помощью знаковых систем
Если рассматривать символы алфавита как множество возможных сообщений (событий) N, то количество информации, которое несет один знак можно определить из формулы 2.1. Если считать появление каждого знака алфавита в тексте событиями равновероятными, то для определения количества информации можно воспользоваться формулой 2.2 или уравнением 2.3.
Количество информации, которое несет один знак алфавита тем больше, чем больше знаков входят в этот алфавит, т.е. чем больше мощность алфавита.
Количество информации, содержащейся в сообщении, закодированном с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.
Пример 2.5. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.
Перевести информационный объем сообщения в биты:
I = 10 240 бит
Определить количество бит, приходящееся на один символ:
10 240 бит: 2 048 = 5 бит
По формуле 2.3 определить количество символов в алфавите.
Данные об автореЧетвергова Ю. Н.
Место работы, должность:
МОУ "Средняя общеобразовательная школа №1 г. Порхова", учитель
Псковская область
Характеристики урока (занятия)
Уровень образования:
Среднее (полное) общее образование
Целевая аудитория:
Учитель (преподаватель)
Класс(ы):
Предмет(ы):
Информатика и ИКТ
Цель урока:
Повторение, закрепление, контроль знаний и умений
Тип урока:
Урок комплексного применения ЗУН учащихся
Учащихся в классе (аудитории):
Используемая методическая литература:
Поурочные разработки по информатике. 10 класс. О. Л. Соколова;
Используемое оборудование:
Программа "Калькулятор"
Калькулятор
Тема. Количество информации. Формулы Хартли и Шеннона
Ход занятия
Повторение материала пройденного на уроке. Дополнение.(10 минут)
Тренировочные карточки. Групповая работа (20 минут)
Решение задач. Парная работа (10 минут)
Контрольная работа. (40 минут)
Взаимопроверка. Работа над ошибками.
Основные знания, умения и компетенции
Знания:
Какие события равновероянные, какие - не равновероятные;
Как найти вероятность события;
Как найти количество информации в сообщении при разных событиях.
Умения:
Различать равновероятные и не равновероятные события;
Находить количество информации при разных событиях.
Компетенции:
Сотрудничество
Коммуникативность
Креативность и любознательность
Критическое мышление (оценочное суждение)
Повторение материала пройденного на урокеКакие события равновероянные, какие - не равновероятные?
В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:
I = log 2 K ,
Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2 I .
Иногда формулу Хартли записывают так:
I = log 2 K = log 2 (1 / р) = - log 2 р,
т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.
Шарик находится в одной из трех урн: А, В или С. Определить сколько бит информации содержит сообщение о том, что он находится в урне В.
Решение.
Такое сообщение содержит I = log 2 3 = 1,585 бита информации.
Но не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".
"Однажды в детстве я уронил бутерброд. Глядя, как я виновато вытираю масляное пятно, оставшееся на полу, старший брат успокоил меня:
Не горюй, это сработал закон бутерброда.
Что еще за закон такой? - спросил я.
Закон, который гласит: "Бутерброд всегда падает маслом вниз". Впрочем, это шутка, - продолжал брат.- Никакого закона нет. Просто бутерброд действительно ведет себя довольно странно: большей частью масло оказывается внизу.
Давай-ка еще пару раз уроним бутерброд, проверим, - предложил я. - Все равно ведь его придется выкидывать.
Проверили. Из десяти раз восемь бутерброд упал маслом вниз.
И тут я задумался: а можно ли заранее узнать, как сейчас упадет бутерброд маслом вниз или вверх?
Наши опыты прервала мать…"
(Отрывок из книги "Секрет великих полководцев", В.Абчук).
В 1948 г. американский инженер и математик К Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.
Если I - количество информации,
К - количество возможных событий, р i - вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:
I = - Sum р i log 2 р i , где i принимает значения от 1 до К.
Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:
I = - Sum 1 / К log 2 (1 / К ) = I = log 2 К .
При равновероятных событиях получаемое количество информации максимально.
Как найти вероятность события?
Если заключённые в каком-то сообщении сведения являются для человека новыми, понятными, пополняют его знания, т.е. приводят к уменьшению неопределённости знаний, то сообщение содержит информацию.
1 бит - количество информации, которое содержится в сообщении, которое уменьшает неопределённость знаний в 2 раза.
Пример
При бросании монеты возможны 2 события (случая) - монета упадёт орлом или решкой, причём оба события равновероятны (при большом количестве бросаний количество случаев падения монеты орлом и решкой одинаковы). После получения сообщения о результате падения монеты неопределённость знаний уменьшилась в 2 раза, и, поэтому, количество информации, полученное при этом равно 1 бит.
Как найти количество информации в сообщении при разных событиях?
Вычисление количества информации для равновероятных событий.
Если события равновероятны, то количество информации можно рассчитать по формуле:
N = 2 I
где N - число возможных событий,
I - количество информации в битах.
Формула была предложена американским инженером Р. Хартли в 1928 г.
Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?
Решение.
Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий
равно 32.
N = 32, I = ?
N = 2 I , 32 = 2 5 , I = 5 бит .
Ответ: 5 бит.
Вычисление количества информации для событий с различными вероятностями.
Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий.
1. В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный.
2. При случайном падении бутерброда вероятность падения его маслом вниз (более тяжёлой стороной) больше, чем маслом вверх.
3. В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Самая большая вероятность для рыбака - поймать в этом пруду пескаря, на втором месте - карася, на третьем - щуку.
Количество информации в сообщении о некотором событии зависит от его вероятности. Чем меньше вероятность события, тем больше информации оно несёт.
P
=
K
/
N
, где К - количество случаев реализации одного из исходов события,
N
- общее число возможных исходов одного из событий
2
I
=
log
2
(1/
p
), где
I
- количество информации,
p
- вероятность события
Задача 1. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.
Решение
.
Вероятность вытаскивания белого шара
P
1 = 40/50 = 0,8
Вероятность вытаскивания чёрного шара
P
2 = 10/50 = 0,2
Количество информации о вытаскивании белого шара
I
1
=
log
2
(1/0,8) =
log
2
1,25 =
log
1,25/
log
2
»
0,32 бит
Количество информации о вытаскивании чёрного шара
I 2 = log 2 (1/0,2) = log 2 5 = log5/log2 » 2,32 бит
Ответ : 0,32 бит, 2,32 бит
Что такое логарифм?
Логарифмом числа а по основанию b называется показатель степени, в которую надо возвести число a , чтобы получить число b .
a logab = b, a > 0, b > 0, a ≠ 1
Разбор задач
Определить количество информации, получаемое при реализации одного из событий, если бросают
а) несимметричную четырехгранную пирамидку;
б) симметричную и однородную четырехгранную пирамидку.
Решение.
А) Будем бросать несимметричную четырехгранную пирамидку.
Вероятность отдельных событий будет такова:
р1 = 1 / 2,
р2 = 1 / 4,
р3 = 1 / 8,
р4 = 1 / 8,
тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле:
I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).
б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:
I = log 2 4 = 2 (бит).
2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?
3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?
4. Сколько различных чисел можно закодировать с помощью 8 бит?
Решение: I=8 бит, K=2 I =2 8 =256 различных чисел.
Задача 2. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней - 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу?
Решение.
События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей.
Общее количество карасей и окуней в пруду 1500 + 500 = 2000.
Вероятность попадания на удочку карася
p 1 = 1500/2000 = 0,75, окуня p 2 = 500/2000 = 0,25.
I 1 = log 2 (1/ p I ), I 1 = log 2 (1/ p 2 ), где P 1 и P 2 - вероятности поймать карася и окуня соответственно.
I 1 = log 2 (1 / 0,75) » 0,43 бит, I 2 = log 2 (1 / 0,25) =2 бит - количество информации в сообщении поймать карася и поймать окуня соответственно.
Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона
I = - p 1 log 2 p 1 - p 2 log 2 p 2
I = - 0,75*log 2 0,75 - 0,25*log 2 0,25 = - 0,75*(log0,75/log2)-0,25*(log0,25/log2) =
0,311 + 0,5 = 0,811
Ответ: в сообщении содержится 0,811 бит информации
Тренировочные карточки (20 минут)
№1
1. В коробке лежало 32 разноцветных карандаша. Сколько информации несет сообщение о том, что из коробки достали красный карандаш?
2. Сообщение о том, что ваш друг живет на 9 этаже, несет 4 бита информации. Сколько этажей в доме?
3. Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?
4. Книга, набранная с помощью компьютера, содержит 250 страниц; на каждой странице—40 строк, в каждой строке—60 символов. Каков объем информации в книге?
5. Записать следующие числа в двоичной системе счисления: 37 и 52.
№2
2. В школьной библиотеке 8 стеллажей с книгами. На каждом стеллаже 4 полки. Библиотекарь сообщил Васе, что нужная ему книга находится на пятом стеллаже на второй сверху полке. Какое количество информации библиотекарь передал Васе?
4. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 2 раза?
5. Записать следующие числа в двоичной системе счисления: 12 и 49.
1. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?
2. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?
3. Племя Пульти имеет 16-ти символьный алфавит. Племя Мульти использует 32-х символьный алфавит. Вожди племен обменялись письмами. Письмо племени Пульти содержало 90 символов, а письмо племени Мульти—70 символов. Сравните объемы информации, содержащейся в письмах.
4. Сколько килобайт составит сообщение из 384 символов 8-ми символьного алфавита?
5. Записать следующие числа в двоичной системе счисления: 33 и 15.
2. Сообщение занимает 2 страницы и содержит 1/16Кбайта информации. На каждой странице записано 256 символов. Какое количество информации несет одна буква использованного алфавита?
3. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 11 символов. Какой объем информации оно несет?
4. В коробке лежат 64 разноцветных карандаша. Какое количество информации содержит сообщение, что из коробки достали зеленый карандаш?
5. Записать следующие числа в двоичной системе счисления: 17 и 42.
1. Какое количество информации получит второй игрок после первого хода первого игрока в игре “крестики-нолики” на поле 4х4?
2. В барабане для розыгрыша лотереи находится 8 шаров. Сколько информации содержит сообщение о первом выпавшем номере, например, выпал номер 2?
3. Количество бит информации в сообщении “Миша на олимпиаде по информатике занял одно из 16 мест”?
4. Растровый графический файл содержит черно-белое изображение с 16 градациями серого цвета размером 10х10 точек. Каков информационный объем этого файла?
5. Записать следующие числа в двоичной системе счисления: 28 и 51.
1. Алфавит племени Мульти состоит из 8 букв. Какое количество информации содержит сообщение, состоящее из 13 символов?
2. Растровый графический файл содержит черно-белое изображение (без градаций серого) размером 100х100 точек. Каков информационный объем этого файла?
3. При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Сколько чисел содержит этот диапазон?
4. Была получена телеграмма: ” Встречайте, вагон 6”. Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?
5. Записать следующие числа в двоичной системе счисления: 23 и 38.
1. Производится бросание симметричной четырехгранной пирамидки. Какое количество информации мы получаем в зрительном сообщении о ее падении на одну из граней?
2. Каков информационный объем текста, содержащего слово КОДИРОВКА, в 8-ми битной кодировке?
3. Цветное (с палитрой из 256 цветов) растровое графическое изображение имеет размер 10х10 точек. Какой объем памяти займет это изображение?
4. Сообщение о том, что ваш друг живет на 8 этаже, несет 4 бита информации. Сколько этажей в доме?
5. Записать следующие числа в двоичной системе счисления: 19 и 46.
1. Происходит выбор одной карты из колоды в 32карты. Какое количество информации мы получаем в зрительном сообщении о выборе определенной карты?
2. Какое количество информации требуется для двоичного кодирования каждого символа набора из 256 символов?
3. Текст занимает 0,5Кбайта памяти компьютера. Сколько символов содержит этот текст?
4. Алфавит племени Пульти состоит из 128 букв. Какое количество информации несет одна буква этого алфавита?
5. Записать следующие числа в двоичной системе счисления: 11 и 35.
1. “Дома ли твой друг?”— спросили ученика в школе. “Нет”,— ответил он. Сколько информации содержит ответ?
2. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?
3. В коробке лежат 16 разноцветных шаров. Какое количество информации содержит сообщение, что из коробки достали желтый шар?
4. При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Сколько чисел содержит этот диапазон?
5. Записать следующие числа в двоичной системе счисления: 13 и 41.
1. Чему равно количество бит информации в сообщении “Ваня на олимпиаде по информатике занял одно из 8 мест”?
2. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице — 40 строк, в каждой строке — 60 символов. Каков объем информации в книге? Определить в Кбайтах.
3. При угадывании целого числа в диапазоне от 1 до N было получено 8 бит информации. Чему равно N?
4. Сообщение, записанное буквами из 32-х символьного алфавита, содержит 30 символов. Какой объем информации оно несет?
5. Записать следующие числа в двоичной системе счисления: 16 и 39.
1. Алфавит племени Мульти состоит из 16 букв. Какое количество информации несет одна буква этого алфавита?
2. Сообщение о том, что ваш друг живет на 8 этаже, несет 5 бит информации. Сколько этажей в доме?
3. Найти максимальное количество книг (каждая объемом 200 страниц, на каждой странице 60 строк, 80 символов в строке), полностью размещенных на лазерном диске емкостью 600 Мбайт.
4. Какое количество информации, необходимо для отгадывания одного из 64 чисел?
5. Записать следующие числа в двоичной системе счисления: 14 и 53.
1. Была получена телеграмма: ”Встречайте, вагон 4”. Известно, что в составе поезда 8 вагонов. Какое количество информации было получено?
2. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита (сколько символов в алфавите?), с помощью которого записано сообщение?
3. “Вы выходите на следующей остановке?” — спросили человека в автобусе. “Да”, — ответил он. Сколько информации содержит ответ?
4. Сообщение, записанное буквами из 16-ти символьного алфавита, содержит 25 символов. Какой объем информации содержит ответ?
5. Записать следующие числа в двоичной системе счисления: 26 и 47.
1. Сколько килобайтов составляет сообщение, содержащее 12288 битов?
2. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 4 раза?
3. Сколько символов содержит сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?
4. Группа школьников пришла в бассейн, в котором 8 дорожек для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 4. Сколько информации получили школьники из этого сообщения?
5. Записать следующие числа в двоичной системе счисления: 18 и 25.
1. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?
2. Для записи текста использовался 256-ти символьный алфавит. Каждая страница содержит 30 строк по 60 символов в строке. Какой объем информации содержат 6 страниц текста?
3. В барабане для розыгрыша лотереи находится 64 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 32)?
4. При угадывании целого числа в некотором диапазоне было получено 7 бит информации. Сколько чисел содержит этот диапазон?
5. Записать следующие числа в двоичной системе счисления: 27 и 56.
1. Сообщение о том, что Петя живет в первом подъезде, несет 2 бита информации. Сколько подъездов в доме?
2. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 40 символов. Какой объем информации оно несет?
3. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
4. Сколько килобайтов составит сообщение из 284 символов 16-ти символьного алфавита?
5. Записать следующие числа в двоичной системе счисления: 10 и 29.
1. Какое количество информации получит второй игрок после первого хода первого игрока в игре в “крестики-нолики” на поле 4х4?
2. Какое количество байт информации содержится в 1Мбайте?
3. Каково было количество возможных событий, если после реализации одного из них мы получили количество информации равное 7 бит?
4. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?
5. Записать следующие числа в двоичной системе счисления: 22 и 59.
1. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 40 символов. Какой объем информации оно несет?
2. Какое количество информации получит второй игрок в игре “Угадай число” при правильной стратегии, если первый игрок загадал число в интервале от 1 до 64?
3. Для записи текста использовался 256-ти символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 3 страницы текста?
4. Текст занимает 0,25Кбайт памяти компьютера. Сколько символов содержит этот текст?
5. Записать следующие числа в двоичной системе счисления: 32 и 51.
1. Какое количество бит информации содержится в 1 Кбайте?
2. Первое племя имеет 16-ти символьный алфавит. Второе племя использует 32-х символьный алфавит. Вожди племен обменялись письмами. Письмо первого племени содержало 90 символов, а письмо второго племени — 80 символов. Сравните объемы информации, содержащейся в письмах.
3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?
4. Информация передается со скоростью 2,5Кбайт/с. Какой объем информации будет передан за 20мин?
5. Записать следующие числа в двоичной системе счисления: 21 и 48.
Решение задач по выбору (20 минут)
№1
Сообщение записано с помощью алфавита, содержащего 8 символов. Ка кое количество информации несет одна буква этого алфавита? Решение: I = log 2 8 = 3 бита.
Ответ: 3 бита.
№2
Информационный объем одного символа некоторого сообщения равен 6 битам. Сколько символов входит в алфавит, с помощью которого было/ составлено это сообщение? Решение: N = 2 I = 2 6 = 64 символа.
Ответ: 64 символа.
№3
Информационный объем одного символа некоторого сообщения равен 5 битам. Каковы пределы (максимальное и минимальное значение) мощности алфавита, с помощью которого составлено это сообщение?
Решение: N = 2 I = 2 5 = 32 — максимальное значение мощности алфавита. Если символов будет больше хотя бы на один, то для кодирования понадобится 6 бит.
Минимальное значение — 17 символов, т.к. для меньшего количества символов будет достаточно 4 бит. Ответ: 4 бита.
№4
Сообщение, записанное буквами из 128-символьного алфавита, содержания 30 символов. Какой объем информации оно несет?
Дано: N = 128, К = 30.
Найти: 1 т — ?
Решение:
1) I т = KI , неизвестно I ;
2) I = log 2 N = log 2 l 28 = 7 бит — объем одного символа;
3) I т = 30*7 = 210 бит — объем всего сообщения.
Ответ: 210 бит объем всего сообщения.
№5
Сообщение, составленное с помощью 32-символьного алфавита, содержит 80 символов. Другое сообщение составлено с использованием 64-символьного алфавита и содержит 70 символов. Сравните объемы информации, содержащейся в сообщениях.
Дано: N 1 = 32, К 1 = 80, N 2 = 64, К 2 = 70.
Найти: I т1 I т2
Решение:
I ) I 1 = log 2 Nl = log 2 32 = 5 бит — объем одного символа первого сооб-щения;
Все мы привыкли к тому, что все вокруг можно измерить. Мы можем определить массу посылки, длину стола, скорость движения автомобиля. Но как определить количество информации, содержащееся в сообщении? Ответ на вопрос в статье.
Итак, давайте для начала выберем сообщение. Пусть это будет «Принтер — устройство вывода информации. «. Наша задача — определить, сколько информации содержится в данном сообщении. Иными словами — сколько памяти потребуется для его хранения.
Определение количества информации в сообщении
Для решения задачи нам нужно определить, сколько информации несет один символ сообщения, а потом умножить это значение на количество символов. И если количество символов мы можем посчитать, то вес символа нужно вычислить. Для этого посчитаем количество различных символов в сообщении. Напомню, что знаки препинания, пробел — это тоже символы. Кроме того, если в сообщении встречается одна и та же строчная и прописная буква — мы считаем их как два различных символа. Приступим.
В слове Принтер 6 различных символов (р встречается дважды и считается один раз), далее 7-й символ пробел и девятый — тире . Так как пробел уже был, то после тире мы его не считаем. В слове устройство 10 символов, но различных — 7, так как буквы с , т и о повторяются. Кроме того буквы т и р уже была в слове Принтер . Так что получается, что в слове устройство 5 различных символов. Считая таким образом дальше мы получим, что в сообщении 20 различных символов.
2 i =N
Подставив в нее вместо N количество различных символов, мы узнаем, сколько информации несет один символ в битах. В нашем случае формула будет выглядеть так:
2 i =20
Вспомним и поймем, что i находится в диапазоне от 4 до 5 (так как 2 4 =16, а 2 5 =32). А так как бит — минимальная и дробным быть не может, то мы округляем i в большую сторону до 5. Иначе, если принять, что i=4, мы смогли бы закодировать только 2 4 =16 символов, а у нас их 20. Поэтому получаем, что i=5, то есть каждый символ в нашем сообщении несет 5 бит информации.
Осталось посчитать сколько символов в нашем сообщении. Но теперь мы будем считать все символы , не важно повторяются они или нет. Получим, что сообщение состоит из 39 символов. А так как каждый символ — это 5 бит информации, то, умножив 5 на 39 мы получим:
5 бит x 39 символов = 195 бит
Это и есть ответ на вопрос задачи — в сообщении 195 бит информации. И, подводя итог, можно написать алгоритм нахождения объема информации в сообщении :
- посчитать количество различных символов.
- подставив это значение в формулу 2i=N найти вес одного символа (округлив в большую сторону)
- посчитать общее количество символов и умножить это число на вес одного символа.
Для того чтобы иметь возможность сравнивать различные источники сообщений и различные линии и каналы связи, необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналом информацию. Такая мера в виде количества информации была введена К. Шенноном на основе концепции выбора, что позволило ему построить достаточно общую математическую теорию связи.
Рассмотрим основные идеи этой теории применительно к дискретному источнику, выдающему последовательность элементарных сообщений. Попытаемся найти удобную меру количества информации, заключенной в некотором сообщении. Основная идея теории информации заключается в том, что эта мера определяется не конкретным содержанием данного сообщения, а тем фактом, что источник выбирает данное элементарной т общение из конечного множества . Эта идея оправдана тем, что на ее основании удалось получить ряд далеко идущих и в то же время нетривиальных результатов, хорошо согласующихся с интуитивными представлениями о передаче информации. Основные из этих результатов будут изложены далее.
Итак, если источник производит выбор одного элементарного сообщения () из множества алфавита , то выдаваемое им количество информации зависит не от конкретного содержания этого элемента, а от того, каким образом этот выбор осуществляется. Если выбираемый элемент сообщения заранее определен, то естественно полагать, что заключающаяся в нем информация равна нулю. Поэтому будем считать, что выбор буквы происходит с некоторой вероятностью . Эта вероятность может, вообще говоря, зависеть от того, какая последовательность предшествовала данной букве. Примем, что количество информации, заключенное в элементарном сообщении является непрерывной функцией этой вероятности , и попытаемся определить вид этой функции так, чтобы он удовлетворял некоторым простейшим интуитивным представлениям об информации.
С этой целью произведем простое преобразование сообщения, заключающееся в том, что каждую пару «букв» ,создаваемых последовательно источником, мы будем рассматривать как одну укрупненную «букву». Такое преобразование назовем укрупнением алфавита. Множество укрупненных «букв» образует алфавит объемом , так как вслед за каждым из элементов алфавита может, вообще говоря, выбираться любой из элементов. Пусть есть вероятность того, что источник произведет последовательный выбор элементов и . Тогда, рассматривая пару , как букву нового алфавита можно утверждать, что в этой паре заключено количество информации .
Естественно потребовать, чтобы количество информации, заключенное в паре букв, удовлетворяло условию аддитивности, т. е. равнялось сумме количеств информации, содержащихся в каждой из букв и первоначального алфавита . Информация, содержащаяся в букве , равна , где - вероятность выбора буквы после всех букв, предшествовавших ей. Для определения информации, содержащейся в букве , нужно учесть вероятность выбора буквы после буквы с учетом также всех букв, предшествовавших букве . Эту условную вероятность обозначим . Тогда количество информации в букве выразится функцией .
С другой стороны, вероятность выбора пары букв по правилу умножения вероятностей равна
Требование аддитивности количества информации при операции укрупнения алфавита приводит к равенству
Пусть и . Тогда
для любых и
должно
соблюдаться уравнение
Случаи или мы исключаем из рассмотрения, так как вследствие конечного числа букв алфавита эти равенства означают, что выбор источником пары букв , является невозможным событием.
Равенство (1.3) является функциональным уравнением, из которого может быть определен вид функции . Продифференцируем обе части уравнения (1.3) по р:
.
Умножим обе части полученного уравнения на р и введем обозначение , тогда
(1.4)
Это уравнение должно быть справедливо при любом и любом . Последнее ограничение не существенно, так как уравнение (1.4) симметрично относительно и и, следовательно, должно выполняться для любой пары положительных значений аргументов, не превышающих единицы. Но это возможно лишь в том случае, если обе части (1.4) представляют некоторую постоянную величину , откуда
Интегрируя полученное уравнение, найдем
, (1.5)
где - произвольная постоянная интегрирования.
Формула (1.5) определяет класс функций , выражающих количество информации при выборе буквы , имеющей вероятность , и удовлетворяющих условию аддитивности. Для определения постоянной интегрирования воспользуемся высказанным выше условием, по которому заранее предопределенный элемент сообщения, т. е. имеющий вероятность , не содержит информации. Следовательно, , откуда сразу следует, что . - основание натуральных логарифмов), или, другими словами, равна информации, содержащейся в сообщении о том, что наступило событие, вероятность которого равнялась
считая, что логарифм берется по любому основанию, лишь бы это основание сохранялось на протяжении решаемой задачи.
Благодаря свойству аддитивности информации выражения (1.6) позволяют определить количество информации не только в букве сообщения, но и в любом сколь угодно длинном сообщении. Нужно лишь принять за вероятность выбора этого сообщения из всех возможных с учетом ранее выбранных сообщений.
Основное содержание темы: Известны два подхода к измерению информации: содержательный и алфавитный. Алфавитный подход используется для измерения количества информации в тексте, представленном в виде последовательности символов некоторого алфавита. Такой подход не связан с содержанием текста. Количество информации в этом случае называется информационным объемом текста. С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком.
Практическая работа 2. Решение задач с применением формулы Хартли
Цель работы: определение количества информации при содержательном подходе.
1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;
2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;
3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.
Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:
1. Все возможные варианты события равновероятны. Их число конечно и равно N.
2. Вероятности (p) возможных вариантов события разные и они заранее известны: {p i }, i = 1..N.
Если равновероятные события, то величины i и N связаны между собой формулой Хартли:
2 i = N (1), где
i – количество информации в сообщении о том, что произошло одно из N равновероятных событий, измеряется в битах.
N - число возможных вариантов события.
Формула Хартли - это показательное уравнение. Если i - неизвестная величина, то решением уравнения (1) будет:
Формулы (1) и (2) тождественны друг другу.
Оборудование:
1. Разберите ниже приведенные примеры задач с решениями. Запишите в тетрадь.
Задача 1. Найти количество информации в однозначном сообщении.
Решение :
N=1 => 2 i =1 => i=0 бит
Задача 2. Измерить количество информации при ответе на вопрос: «Какие завтра намечаются осадки?»
Решение:
N=4 => 2 i =4 => i=2 бит
Задача 3. Получено сообщение, объемом 10 бит. Какое количество сообщений возможно составить из полученных данных?
Решение:
i=10 => 2 10 =1024 => N=1024 сообщения
1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?
2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?
3. Некто задумал натуральное число в диапазоне от 1 до 32. Какое минимальное число вопросов надо задать, чтобы гарантированно угадать задуманное (выделенное) число. Ответы могут быть только «да» или «нет».
4. (Задача о фальшивой монете). Имеется 27 монет, из которых 26 настоящих и одна фальшивая. Каково минимальное число взвешиваний на рычажных весах, за которое можно гарантированно определить одну фальшивую монету из 27, используя то, что фальшивая монета легче настоящей. Рычажные весы имеют две чашки и с их помощью можно лишь установить, одинаково ли по весу содержимое чашек, и если нет, то содержимое какой из чашек тяжелее.
5. Сколько вопросов следует задать и как их нужно сформулировать, чтобы узнать с какого из 16 путей отправляется ваш поезд?
6. Какое количество информации получит первый игрок после первого хода второго игрока в игре "крестики - нолики" на поле 4 х 4?
7. После реализации одного из возможных событий получили количество информации равное 15 бит. Какое количество возможных событий было первоначально?
8. Определить стратегию угадывания одной карты из колоды из 32 игральных карт (все четыре шестерки отсутствуют), если на вопросы будут даны ответы "да" или "нет".
9. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?
10. Сообщение о том, что ваш друг живет на 6 этаже несет 4 бита информации. Сколько этажей в доме.
11. Информационная емкость сообщения о том, что из корзины, где лежало некоторое количество разноцветных шаров, достали зеленый шар, несет в себе 0, 375 байта информации. Сколько в корзине было шаров.
12. В библиотеке 16 стеллажей. На каждом стеллаже по 8 полок Библиотекарь сказал Оле, что интересующая ее книга находится на 3 стеллаже, на 2-й сверху полке. Какое количество информации получила Оля?
13. В мешке находятся 30 шаров, из них 10 белых и 20 черных. Какое количество информации несет сообщение о том, что достали белый шар, черный шар?
14. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил четверку?
15. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?
16. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?
17. В ящике лежат перчатки (белые и черные). Среди них – 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?
1. Какой принцип положен в основу измерения количества информации?
2. Каким образом определяется единица количества информации при кибернетическом подходе?
3. Что принимается за минимальную единицу количества информации с точки зрения уменьшения неопределенности знаний в 2 раза?
4. В каких случаях применяют формулу Хартли?
Практическая работа 3. Вычисление количества информации на основе вероятностного подхода
Цель работы: совершенствование навыка по определению количества информации на основе вероятностного подхода
Краткое теоретическое обоснование: см. практическую работу 2.
Оборудование: дидактические материалы по теме «Определение количества информации»
Последовательность выполнения:
Задача 1. В языке племени Мумбо-Юмбо всего 20 разных слов. Сколько бит нужно, чтобы закодировать любое из этих слов?
Решение .
· По условию задачи у нас имеется 20 различных вариантов.
· Количество бит информации, необходимое для задания 20 равновероятных (одинаково принимаемых в расчет) вариантов можно рассчитать по формуле:
h=log 2 20» 4,32 бит
или при выборе двухсимвольного алфавита для кодирования достаточно составить слово из 5 бит.
Задача 2. В доме 14 окон. Сколько различных сигналов можно подать, зажигая свет в окнах? Сколько бит информации несет в себе каждый такой сигнал?
Решение .
· Каждое окно несет в себе 1 бит информации: горит - не горит.
· Количество различных равновероятных сигналов, передаваемое с помощью 14 бит равно 2 14 = 16 384.
· Каждый из 16 384 сигналов несет в себе 14 бит информации.
2. Решите следующие задачи. Результат оформите в тетради.
1. В корзине лежат шары. Все разного цвета. Сообщение о том, что достали синий шар, несет 5 бит информации. Сколько всего шаров в корзине?
2. В соревновании участвуют 4 команды. Сколько информации в сообщении, что выиграла 3-я команда?
3. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?
4. В коробке 5 синих и 15 красных шариков. Какое количество информации несет сообщение, что из коробки достали синий шарик?
5. В коробке находятся кубики трех цветов: красного, желтого и зеленого, причем желтых в два раза больше красных, а зеленых на 6 больше, чем желтых. Сообщение о том, что из коробки случайно вытащили желтый кубик, содержало 2 бита информации. Сколько было зеленых кубиков?
6. Студенты группы изучают один из трех языков: английский, немецкий или французский, причем 12 студентов не учат английский. Сообщение, что случайно выбранный студент Петров изучает английский, несет log23 бит информации, а что Иванов изучает французский – 1 бит. Сколько студентов изучают немецкий язык?
7. В составе 16 вагонов, среди которых К – купейные, П – плацкартные и СВ – спальные. Сообщение о том, что ваш друг приезжает в СВ, несет 3 бита информации. Сколько в поезде вагонов СВ?
8. Студенческая группа состоит из 21 человека, которые изучают немецкий или французский языки. Сообщение о том, что студент A изучает немецкий язык, несет log 2 3 бит информации. Сколько человек изучают французский язык?
9. Сколько информации несет сообщение о том, что было угадано число в диапазоне целых чисел от 684 до 811?
10. Для дистанционной передачи роботу различных команд применяются сигналы в 6 бит, причем сигнала в 5 бит недостаточно для передачи всех команд. Может ли общее количество всех команд для этого робота быть равно:
42 командам? 70 командам?
28 командам? 55 командам?
Какое наименьшее и какое наибольшее количество команд может получать робот?
11. Одиннадцать одноклассников решают голосованием, куда пойти после уроков. При голосовании каждый может быть либо “за” либо “против”. Сколько различных вариантов голосования может быть? Сколько бит потребуется, чтобы закодировать результаты голосования?
12. Какое минимальное количество бит информации требуется для кодирования всех букв русского алфавита?
13. Друзья в соседних домах договорились передавать друг другу сообщения в виде световых сигналов. Сколько лампочек им понадобиться для кодирования 10 различных слов?
14. В компьютерной игре распознаются 65 различных команд управления. Сколько бит требуется отвести в блоке памяти для кодирования каждой команды? Достаточно ли отведенных бит для кодирования 100 команд?
Контрольные вопросы:
1. Какие события являются равновероятностными?
2. Приведите примеры из жизни равновероятностных событий.
3. Какая формула связывает между собой количество возможных событий и количествоинформации?
4. Как зависит количество информации от количества возможных событий?
5. Верно ли высказывание о том что, чем больше количество возможных событий, тем меньше количество информации будет содержать сообщение о результатах опыта.
Ответ обоснуйте.
Практическая работа 4 . Решение задач с применением формулы Шеннона
Цель работы: приобретение навыка по определению количества информации на основе вероятностного подхода
Краткое теоретическое обоснование:
Степень неопределенности – одна из характеристик случайного события, которую назвали энтропией. Обозначается - Н(α). За единицу энтропии принимается неопределенность, содержащаяся в опыте, имеющем два равновероятностных исхода. Существуют множества ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета не симметрична (одна сторона тяжелее другой), то при её бросании вероятности выпадения «орла» и «решки» будут различаться. Формулу для вычисления количества информации в случае различных вероятностей событий предложил К.Шеннон в 1948 году. В этом случае количество информации определяется по формуле:
P i log 2 p i , где I –количество информации, N –количество возможных событий, p i –вероятности отдельных событий. Вероятность события p i =1/N.
Для решения задач такого типа нам необходимо знать формулу расчета вероятности исхода. Она выглядит так:
где M – это величина, показывающая сколько раз произошло событие, N – это общее число возможных исходов какого-то процесса.
Необходимо знать, что в сумме все вероятности дают единицу или в процентном выражении 100%.
Оборудование: дидактические материалы по теме «Определение количества информации».
Последовательность выполнения:
Задача 1. Из колоды выбрали 16 карт (все “картинки” и тузы) и положили на стол рисунком вниз. Верхнюю карту перевернули. Верхняя перевернутая карта оказалась черной дамой. Сколько информации будет заключено в сообщении о том, какая именно карта оказалась сверху?
Решение .
В результате сообщения об исходе случайного события не наступает полной определенности: выбранная карта может иметь одну из двух черных мастей.
Так как информация есть уменьшение неопределенности знаний:
До переворота карты неопределенность (энтропия) составляла
H1 = log 2 N1, после него – H2 = log 2 N2.
(причем в условиях задачи N1 = 16, а N2 = 2).
В итоге информация вычисляется следующим образом:
I = H1 – H2 = log 2 N1 – log 2 N2 = log 2 N1/N2 = log 2 16/2 = 3 бита.
Задача 2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?
Решение .
Р 1 =0,5; Р 2 =Р 3 =0,25 Þ бита.
Задача 3. Определить количество информации, получаемое при реализации одного из событий, если бросают
а) несимметричную четырехгранную пирамидку;
б) симметричную и однородную четырехгранную пирамидку.
Решение .
а) Будем бросать несимметричную четырехгранную пирамидку.
Вероятность отдельных событий будет такова:
тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле Шеннона т.к. неравновероятностные события:
I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).
б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки, т.е. равновероятностные события:
I = log 2 4 = 2 (бит).
2. Решите следующие задачи. Результат оформите в тетради.
1. В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?
2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?
3. За контрольную работу по информатике получено 8 пятерок, 13 четверок, 6 троек и 2 двойки. Какое количество информации получил Васечкин при получении тетради с оценкой?
4. Известно, что в ящике лежат 20 шаров. Из них 10 - черных, 4 - белых, 4 - желтых и 2 - красный. Какое количество информации несёт сообщения о цвете вынутого шара?
5. В сейфе банкира Богатеева лежат банкноты достоинством 1, 10 или 100 талеров каждая. Банкир раскрыл свой сейф и наугад вытащил из него одну банкноту. Информационный объем сообщения "Из сейфа взята банкнота достоинством в 10 талеров" равен 3 бита. Количество информации, содержащееся в сообщении "Из сейфа взята банкнота достоинством не в 100 талеров", равно 3-log25 бит. Определите информационный объем зрительного сообщения о достоинстве вынутой банкноты.
3. Выполните упражнение
Ниже приведены 11 событий:
1. Первый встречный человек мужского пола.
2. За понедельником будет вторник.
3. За контрольную работу можно получить «отлично».
4. К телефону из пяти членов семьи подойдет младший сын.
6. После лета буде зима.
7. Каждый из 15 учеников, посещающих данные занятия, поступит на математическую специальность.
8. В лотерее победит билет с номером 777777.
9. Подброшенная монетка упадет гербом вверх.
10. На подброшенном кубике выпадет шесть очков.
11. Из выбираемых наугад карточек с цифрами выберем карточку с цифрой 5.
Задание среди 11 событий записать номера тех, которые:
1. Достоверные _________________________________________________
2. Невозможные ________________________________________________
3. Неопределенные______________________________________________
4. Среди неопределенных указать те, которые имеют 2 равновозможных исхода ______________________________________________________
5. Неопределенные события расставить в порядке возрастания числа равновероятных исходов _______________________________________
6. Назвать событие более неопределенное____________________________
7. Назвать событие менее неопределенное. ___________________________
8. Учитывая задания № 6 и № 7, установить зависимость степени неопределенности от числа равновероятных исходов. ____________________________________________________________
9. Сделать тот же вывод, используя понятие вероятности. ____________________________________________________________
Контрольные вопросы:
1. Какие бывают события?
2. Приведите примеры равновероятных и неравновероятных событий?
3. Как определить вероятность выполнения определенного события?
4. При каких событиях применяют формулу Шеннона для определения количества информационного сообщения?
5. При каком условии формула Хартли становится частным случаем формулы Шеннона?
Практическая работа 5 . Решение задач на определение количества информации
Цель работы: приобретение навыка по определению количества информации на основе вероятностного и содержательного подхода
Краткое теоретическое обоснование: В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Это понятие не затрагивает смысла и важности передаваемого сообщения, а связано со степенью его неопределенности.
Клод Шеннон определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу количества информации принял то, что впоследствии назвали битом (bit). Количество информации, приходящееся на один элемент сообщения (знак, букву), называется энтропией. Энтропия и количество информации измеряются в одних и тех же единицах – в битах.
Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум, т.е. энтропию выражают как: H0 = log 2 m.
В общем случае количество энтропии H произвольной системы X (случайной величины), которая может находиться в m различных состояниях x 1 , x 2 , … x m c вероятностями p 1 , p 2 , … p m , вычисляют по формуле Шеннона.
Оборудование: дидактические материалы по теме «Определение количества информации».
Последовательность выполнения:
1. Разберите примеры решения задач
Задача 1. Определите количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом
Решение.
В рассматриваемом случае длина сообщения, соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.
Количество элементов сообщения (знаков) в одной строке равно числу значений, которое может принять амплитуда импульсов в строке m = 8.
Количество информации в одной строке: I = n log m = 600 log 8, а количество информации
в кадре: I = 625 I = 625 600 log 8 = 1,125 =106 бит
Задача 2. В велокроссе участвуют 119 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 70 велосипедистов?
1) 70 бит 2) 70 байт 3) 490 бит 4) 119 байт
Решение.
1) велосипедистов было 119, у них 119 разных номеров, то есть, нам нужно закодировать 119 вариантов;
2) по таблице степеней двойки находим, что для этого нужно минимум 7 бит (при этом можно закодировать 128 вариантов, то есть, еще есть запас); итак, 7 бит на один отсчет;
3) когда 70 велосипедистов прошли промежуточный финиш, в память устройства записано 70 отсчетов;
4) поэтому в сообщении 70*7 = 490 бит информации (ответ 3).
2. Решите следующие задачи. Результат оформите в тетради.
1. В зоопарке 32 обезьяны живут в двух вольерах, А и Б. Одна из обезьян – альбинос (вся белая). Сообщение «Обезьяна-альбинос живет в вольере А» содержит 4 бита информации. Сколько обезьян живут в вольере Б?
2. В корзине лежат 32 клубка шерсти, из них 4 красных. Сколько бит информации несет сообщение о том, что достали клубок красной шерсти?
3. Двое играют в «крестики-нолики» на поле 4 на 4 клетки. Какое количество информации получил второй игрок, узнав ход первого игрока?
4. В некоторой стране автомобильный номер длиной 7 символов составляется из заглавных букв (всего используется 26 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 20 автомобильных номеров.
5. В велокроссе участвуют 678 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 200 велосипедистов?
Контрольные вопросы:
1. Дайте определение энтропии.
2. Как связаны между собой понятия количества информации и энтропии?
3. Какие подходы к определению количества информации вам известны?
4. В чем смысл каждого из подходов к определению количества информации?
5. Что называется измерением информации?
6. Какие способы определения количества информации существуют?
7. Дайте определение количества информации.
Практическая работа 6 . Решение задач на определение объема информации
Цель работы: приобретение навыка по определению количества информации на основе алфавитного подхода
Краткое теоретическое обоснование:
Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита.
Алфавит – упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.
Мощность алфавита – количество символов алфавита. Двоичный алфавит содержит 2 символа, его мощность равна двум. Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.
Чтобы определить объем информации в сообщении при алфавитном подходе, нужно последовательно решить задачи:
1. Определить количество информации (i) в одном символе по формуле
2 i = N, где N - мощность алфавита.
2. Определить количество символов в сообщении (m).
3. Вычислить объем информации по формуле: I = i * K.
Количество информации во всем тексте (I), состоящем из K символов, равно произведению информационного веса символа на К:
I = i * К.
Эта величина является информационным объемом текста.
Единицы измерения информации
Основная единица измерения информации –бит. 8 бит составляют 1 байт . Наряду с байтами для измерения количества информации используются более крупные единицы:
1 Кбайт = 2 10 байт = 1024 байта;
1 Мбайт = 2 10 Кбайт = 1024 Кбайт;
1 Гбайт = 2 10 Мбайт = 1024 Мбайт.
1 Терабайт (Тб) = 1024 Гбайт = 2 40 байта,
1 Петабайт (Пб) = 1024 Тбайта = 2 50 байта.
Оборудование: дидактические материалы по теме «Определение количества информации».
Последовательность выполнения:
1. Разберите примеры решения задач и запишите их в тетрадь.
Задача 1. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 32 строки по 64 символа в строке. Какой объем информации содержат 5 страниц этого текста?
Решение:
N=256, => 2 i = 256, => i=8 bit
k=32*64*5 символов
I=i*k=8*32*64*5 bit = 8*32*64*5/8 b = 32*64*5/1024 kb = 10 kb
Задача 2. Можно ли уместить на одну дискету книгу, имеющую 432 страницы, причем на каждой странице этой книги 46 строк, а в каждой строке 62 символа?
Решение :
Т.к. речь идет о книге, напечатанной в электронном виде, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit
k = 46*62*432 символов
I = i*k = 8*46*62*432 bit = 8*46*62*432/8 b = 46*62*432/1024 kb = 1203,1875 kb = 1,17 Mb
Т.к. объем дискеты 1,44 Mb, а объем книги 1,17 Mb, то она на дискету уместится.
Задача 3 . Скорость информационного потока – 20 бит/с. Сколько минут потребуется для передачи информации объемом в 10 килобайт.
Решение :
t = I/v = 10 kb/ 20 бит/c = 10*1024 бит/ 20 бит/c = 512 c = 8,5 мин
Задача 4 . Лазерный принтер печатает со скоростью в среднем 7 Кбит в секунду. Сколько времени понадобится для распечатки 12-ти страничного документа, если известно, что на одной странице в среднем по 45 строк, в строке 60 символов.
Решение :
Т.к. речь идет о документе в электронном виде, готовым к печати на принтере, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit
K = 45*60*12 символов
I = i*k = 8*45*60*12 bit = 8*45*60*12/8 b = 45*60*12/1024 kb = 31,6 kb
t = I/v = 31,6 kb/ 7 Кбит/c = 31,6*8 kбит/ 7 Кбит/c = 36 c
Задача 5. Автоматическое устройство осуществило перекодировку информационного сообщения на русском языке, из кодировки Unicode, в кодировку КОИ-8. При этом информационное сообщение уменьшилось на 480 бит. Какова длина сообщения?
Решение :
Объем 1 символа вкодировке КОИ-8 равен 1 байту, а в кодировке Unicode – 2 байтам.
Пусть x – длина сообщения, тогда I КОИ-8 = 1*x b, а I Unicode = 2*x b.
Получаем 2*x8 bит – 1*x*8 бит = 480 бит, 8x = 480, х = 60 символов в сообщении.
2. Решите следующие задачи. Результат оформите в тетради.
1. Некоторый алфавит содержит 128 символов. Сообщение содержит 10 символов. Определите объем сообщения.
2. Считая, что один символ кодируется 8-ю битами, оцените информационный объем следующей поговорки в кодировке КОИ-8: Верный друг лучше сотни слуг.
3. Один и тот же текст на русском языке записан в различных кодировках. Текст, записанный в 16-битной кодировке Unicode, на 120 бит больше текста, записанного в 8-битной кодировке КОИ-8. Сколько символов содержит текст?
4. Сколько гигабайт содержит файл объемом 235 бит?
5. Текстовый файл copia.txt имеет объем 40960 байт. Сколько таких файлов можно записать на носитель объемом 5 Мбайт?
6. К текстовому сообщению объемом 46080 байт добавили рисунок объемом 2,5 Мбайт. Сколько кбайт информации содержит полученное сообщение?
7. В алфавите некоторого языка два символа Х и О. Слово состоит из четырех символов, например: ООХО, ХООХ. Укажите максимально возможное количество слов в этом языке.
8. Для записи текста использовался 64-символьный алфавит. Сколько символов в тексте, если его объем равен 8190 бита?
9. Укажите наибольшее натуральное число, которое можно закодировать 8 битами (если все числа кодируется последовательно, начиная с единицы).
10. Некоторый алфавит содержит 2 символа. Сообщение занимает 2 страницы, на каждой по 16 строк, и в каждой строке по 32 символа. Определите объем сообщения.
11. Сколько бит информации содержится в сообщении объемом 1/4 килобайта?
12. Найдите х из следующего соотношения: 8х бит = 16 Мбайт.
13. Цветное растровое графическое изображение с палитрой 256 цветов имеет размер 64х128 пикселей. Какой информационный объем имеет изображение?
14. Для хранения растрового изображения размером 64х128 пикселей отвели 4 Кбайта памяти. Каково максимально возможное количество цветов в палитре изображения?
Контрольные вопросы:
1. Как измеряется информация при содержательном подходе?
2. В чем заключается алфавитный подход к определению количества информации?
3. Что такое алфавит? Что называется мощностью алфавита? Что называется объемом информации?
4. Чему равен информационный вес символа компьютерного алфавита?
6. Почему информационная емкость русской буквы «а» больше информационной ёмкости английской буквы?
7. Какие единицы измерения информации существуют?
Практическая работа7 . Комплексная работа по определению количества информации
Цель работы: контроль навыков определения количества информации.
Краткое теоретическое обоснование: см.практические работы 1-6.
Оборудование: Контрольные материалы из КОС по дисциплине «Основы теории информации»
Последовательность выполнения:
· Выполните ТЗ№1. Тест 3. Единицы измерения информации. В тесте необходимо выбрать только один ответ из предложенных вариантов. Выполнять тест лучше самостоятельно, без применения конспектов, учебников и прочей вспомогательной литературы.
· Выполните ПЗ№2. Задачи 1-10.
