Измерение количества информации

Цели урока:

- сформировать у учащихся понимание вероятности, равновероятных

событий, неравновероятных событий; учить находить количество

информации;

- воспитание информационной культуры учащихся, внимательности,

аккуратности, дисциплинированности, усидчивости;

- развитие познавательных интересов, самоконтроля, умения

конспектировать.

Оборудование:

доска, компьютер, мультимедийный проектор, сопроводительная компьютерная презентация – Приложение 1, карточки с задачами – Приложение 2, справочный материал – Приложение 3, материал для тестирования – Приложение 4.

План урока (материал рассчитан на два спаренных урока):

Первый урок: Организационный момент. Проверка и актуализация знаний. Первая теоретическая часть. Практическая часть (решение задач).

Второй урок:Вторая теоретическая часть.ТестираавниеДомашнее задание. Итог урока.

ХОД УРОКАI. Организацонный. момент.Приветствие, проверка присутствующих. Объяснение хода урока.

II. Проверка и актуализация знаний. Что такое информация? Как может быть представлена информация? Приведите примеры. Зависит ли смысл, содержание информации от способа

представления?

Какие формы представления информации вы знаете? Какие свойства информации вы знаете? Представьте информацию о погоде в различной форме.

Мы с вами говорили, что основным понятием в информатике является “информация”. А можно ли измерить количество информации и как это сделать?

Как и любую величину, информацию можно измерять и находить ее количество.

III. Теоретическая часть.УРОК 1.

Информация обладает качественными и количественными характеристиками.

Для того чтобы дать количественную характеристику необходимо качественные показатели отбросить. Одним из первых ученых, давших количественное определение информации, стал американский инженер Ральф Хартли.

Для того чтобы «привязать» количество информации к числам, Хартли высказал предположение:

«Возникновение и прием информации связаны с устранением неопределенности в выборе одного из нескольких возможных вариантов.»

Хартли предложил рассматривать информацию как устраненную неопределенность. Для измерения информации при таком определении он сформулировал следующие законы, которым должно подчиняться количество информации.

Если можно выбрать только один заранее всем известный вариант, то количество информации при таком выборе равно нулю.

Чем больше количество возможных вариантов, тем больше информации содержится в сообщении о выборе конкретного варианта (монотонность).

Количество информации, содержащейся в сообщении о результатах нескольких (независимых) выборов, должно быть равно сумме количеств информации, содержащейся в сообщениях об этих выборах по отдельности.

Если обозначить зависимость количества информации от количества вариантов N как , то переписанные в математическом виде перечисленные законы будут выглядеть так:

1. Info(1) = 0;2. N1 >N 2 => Info(N1) > 1пfo(N2);3. Info(N1)+ Info(N2)+…+ Info(Nk)= Info(N1N2N…Nk)

Сформулировав эти требования, Хартли заметил, что им полностью удовлетворяет функция логарифм:

В этом подходе за единицу информации принимается такое количество информации, которое снижает неопределенность исхода опыта (количество возможных исходов) в два раза.

При измерении количества информации Хартли учитывал только количество возможных исходов рассматриваемого опыта, не принимая во внимание то, что они могут иметь разную вероятность. Клод Элвуд Шеннон же считал, что нельзя игнорировать информацию о том, что некоторые исходы опыта имеют большую вероятность, например:

Когда сообщают прогноз погоды, то сведения о том, что будет

дождь, более вероятно летом, а сообщение о снеге – зимой.

Если вы – лучший ученик в классе, то вероятность сообщения о том,

что за контрольную работу вы получили 5, больше, чем вероятность

получения двойки.

Если на озере живет 500 уток и 100 гусей, то вероятность

подстрелить на охоте утку больше, чем вероятность подстрелить гуся.

Если в мешке лежат 10 белых шаров и 3 черных, то вероятность

достать черный шар меньше, чем вероятность вытаскивания белого.

Если монета несимметрична (одна сторона тяжелее другой), то при

ее бросании вероятности выпадения “орла” и “решки” будут различаться.

И вот в 1948 г. Шеннон предложил формулу для вычисления количества информации в случае различных вероятностей событий:

 где I – количество информации;N – количество возможных событий;pi – вероятность i-го события. Вероятность события выражается в долях

единицы и вычисляется по формуле: (3)где k – количество конкретных событий, т.е. величина, показывающая,

сколько раз произошло интересующее нас событие.

Знак минус в формуле Шеннона не означает, что количество информации в сообщении – отрицательная величина. Объясняется это тем, что вероятность р, согласно определению, меньше единицы, но больше нуля.

Так как логарифм числа, меньшего единицы, т.е. log pi – величина отрицательная, то произведение вероятности на логарифм числа будет положительным.

Например: пусть при бросании несимметричной 4-х гранной пирамидки

вероятности отдельных событий будут равны:

Тогда,

Этот подход к определению количества информации называется вероятностным.

Если , следовательно исходы равновероятны, то

вероятность каждого исхода – это число , то

  Например. Определим количество информации, которое мы получим

при бросании симметричной и однородной 4-х гранной пирамидки:

Таким образом, при бросании симметричной пирамидки, когда события равновероятны, получим большее количество информации (2 бита), чем при бросании несимметричной (1,75 бита), когда события неравновероятны.

Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

Если количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число вещественное, то необходимо воспользоваться калькулятором или следующей таблицей:

N I N I N I N I

1 0,00000 17 4,08746 33 5,04439 49 5,61471

2 1,00000 18 4,16993 34 5,08746 50 5,64386

3 1,58496 19 4,24793 35 5,12928 51 5,67243

4 2,00000 20 4,32193 36 5,16993 52 5,70044

5 2,32193 21 4,39232 37 5,20945 53 5,72792

6 2,58496 22 4,45943 38 5,24793 54 5,75489

7 2,80735 23 4,52356 39 5,28540 55 5,78136

8 3,00000 24 4,58496 40 5,32193 56 5,80735

9 3,16993 25 4,64386 41 5,35755 57 5,83289

10 3,32193 26 4,70044 42 5,39232 58 5,85798

11 3,45943 27 4,75489 43 5,42626 59 5,88264

12 3,58496 28 4,80735 44 5,45943 60 5,90689

13 3,70044 29 4,85798 45 5,49185 61 5,93074

14 3,80735 30 4,90689 46 5,52356 62 5,95420

15 3,90689 31 4,95420 47 5,55459 63 5,97728

16 4,00000 32 5,00000 48 5,58496 64 6,00000

Вопросы: Какие существуют два подхода к измерению информации? Каким образом можно подсчитать количество информации в

сообщении? Одинаковую ли вероятность реализации имеют события? Приведите примеры событий с одинаковой вероятностью, с разной

вероятностью. Как определить количество информации при равновероятных

событиях? Как определить количество информации при неравновероятных

событиях? По какой формуле вычисляется вероятность? Как при вероятностном подходе можно измерить информацию для

конкретного события?

III. Решение задач.

1. Вероятность первого события составляет 0,5, а второго и третьего – 0,25. Какое количество информации мы получим после реализации одного из них? (Ответ: 1,5 бита)

2. В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы. (Ответ: количество информации в сообщении о том, что достали белый шар, равно 1,1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит. При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность вытаскивания красного шара, а информации при этом получилось меньше. Это не

случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.)

3. В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

Вопросы к учащимся:- Являются ли события равновероятными? Почему? (Нет, т.к.

количество кубиков разное.)

Если позволяет время, то можно решить и другие задачи из карточки с заданиями – Приложение 2.

 IV Теоретическая частьУРОК 2.Несмотря на то, что Шеннон существенно улучшил понятие и способ

вычисления количества информации, его подходу также присущи некоторые недостатки. Так, например, его интересует лишь объективная составляющая количества информации безотносительно состояния осведомленности того, кто ее получает.

Отсюда возникает вопрос: как и по каким критериям оценивать субъективное количество информации в сообщении? Существует несколько подходов к решению этого вопроса.

Измерение целесообразности информации.Предположим, что вероятность достижения субъектом намеченной

цели до получения информации была р1 а после получения сообщения стала р2. Тогда полезный объем информации может быть рассчитан как логарифм отношения вероятностей до и после принятия сообщения.

I = 1оg2(р2/р1).

Измерение полезности информации.Этот подход не ориентирован на достижение получателем конкретной

цели. Здесь вводится так называемая величина полезной информации, которая позволяет получателю увеличить объем своих знаний. Причем сама величина полезной информации тесным образом связана с уже имеющимся у получателя объемом знаний. Так, если получатель не знает ничего из предметной области сообщения, то само сообщение для него бесполезно. Получатель просто его не понимает. Но при этом точно так же для получателя бесполезна информация, которую он уже знает, помнит и понимает. Сообщение такой информации ему бесполезно. Для более точного определения вводится понятие «тезаурус».

Тезаурус это специализированный словарь, содержащий объяснение всех входящих в него понятий с помощью либо первичных понятий (которые нельзя объяснить), либо понятий, находящихся в этом же словаре.

При объеме тезауруса, равном нулю и максимальному значению, от информации нет пользы: в первом случае потребителю непонятна принимаемая информация, во втором — она ему уже известна. Максимально усваивается информация (т.е. она наиболее полезна) в точке, когда получа-тель обладает достаточным (но не максимально возможным) тезаурусом для понимания получаемой информации.

Алгоритмический подход.Следует упомянуть об оригинальном подходе к измерению количества

информации, предложенном русским математиком Андреем Николаевичем Колмогоровым.

Согласно Колмогорову, мерой информации, закодированной в сообщении относительно заданного интерпретатора1, является длина самого короткого действия из предписаний, которые необходимо выполнить интерпретатору, чтобы восстановить это сообщение.

Количество информации, находящейся в сообщении, определяется как длина самой короткой из программ, печатающих это сообщение.

Сообщение, которое можно легко построить по небольшому набору простых правил, будет содержать по Колмогорову меньше информации, чем сообщение такой же длины, но для которого не удается найти таких же простых правил.

IV . Тестирование (Приложение 4.) V. Д/з Стр. 16 – 23., вопросы и задания: 1,2,5,6.

VI. Итог урока.Подведение итога урока. Выставление оценок.

Литература:1. ИНФОРМАТИКА И ИКТ 10-11 класс. Профильный уровень.

Фиошин М.Е. и др.2. Задачник по теоретической информатике. Школьный курс. / Сост.

Лапшева Е.Е. – Саратов, 2004.3. Электронный адрес программы MyTest:

http://mytest.klyaksa.net/htm/download/index.htm