Пример 1. Чему равно количество информации в системе принимающей n равновероятных состояний,
если известно состояние системы.
Так как состояния равновероятны
(рi=1/n),
то I=log2n. Если же выбор i-го
варианта предопределен заранее (выбора, собственно говоря, нет), например, состояние системы
известно, в частности, она - в k-ом состоянии, то для
рi=0, кроме рk=1,
то тогда I=log21=0, т.е. мы здесь новой информации не получаем.
Пример 2. Выяснить, сколько бит информации несет каждое двузначное число (отвлекаясь
при этом от его конкретного числового значения).
Так как таких чисел может быть всего 90 (10-99), то информации будет количество
I=log290
или приблизительно I=6.5. Так как в таких числах первая цифра
имеет 9 значений (1-9), а вторая - 10 значений (0-9), то
I=log290=log29+log210.
Приблизительное значение log210 равно 3.32.
Отсюда можно сделать вывод о том, что сообщение в одну десятичную единицу несет в себе в 3.32
больше информации, чем в одну двоичную единицу.
Пример 3. Имеются 192 монеты из которых одна фальшивая (легче). Сколько взвешиваний нужно произвести,
чтобы определить ее?
Если положить на весы равное количество монет, то получим 3 возможности:
а) чашки уравновешены;
б) левая чашка ниже;
в) правая чашка ниже.
Итак, каждое взвешивание дает информацию I=log23 и,
следовательно, для определения этой фальшивой монеты нужно сделать k взвешиваний,
где k удовлетворяет условию log23k>=log2192.
Отсюда, k>=(6+log23)/log23 или, приблизительно,
k>=4.89. Следовательно, нам необходимо сделать не менее
int(k+0.5)=5 взвешиваний (достаточно пяти взвешиваний).
Пример 4. ДНК человека можно представить себе как некоторое слово в четырехбуквенном алфавите,
где каждой буквой помечается звено цепи ДНК или нуклеотид. Сколько информации (в битах) содержит ДНК,
если в нем содержится примерно 1,5x1023 нуклеотидов?
На один нуклеотид приходится log2(4)=2 (бит) информации.
Следовательно, ДНК в организме человека позволяет хранить 3x1023 бит информации.
Это вся информация, куда входит и избыточная. Реально используемой, - структурированной в памяти
человека информации, - меньше. Заметим, что человек за среднюю продолжительность жизни использует
около 5-6% нейронов (нервных клеток мозга - "ячеек ОЗУ человека").
Пример 5. В сообщении 4 буквы "a", 2 буквы "б", 1 буква "и", 6 букв "р". Определить количество
информации в одном таком (из всех возможных) сообщений.
Число N различных возможных сообщений длиной в 13 букв будет равно величине:
N = 3!/(4!x2!x1!x6!) = (6!x7x8x9x10x11x12x13)/(6!x2!x4!) = 7x2x9x10x11x13 = 180180.
Количество информации
I в одном же сообщении будет равно величине:
I = log2(N) = log2(180180) = 17.5 (бит).
Задачи для самостоятельного решения
- В какой из цифр 7 числа 777 больше информации и почему?
- Определить количество информации (в битах) в одной букве русского (латинского) алфавита.
Найти какое количество информации определяется двухбуквенными сочетаниями (всем алфавитом)?
- Сообщение может содержать только по три знака "-" и два знака "+". Определить количество
информации в одном таком сообщении.
- Частотный словарь русского языка (словарь относительных частот, вероятностей появления букв
в произвольном тексте языка) приведен ниже. Определить количество информации каждой буквы словаря.
| Буква |
Частота |
Буква |
Частота |
Буква |
Частота |
| о |
0.090 |
к |
0.028 |
ь, ъ, б |
0.014 |
| е, ё |
0.072 |
м |
0.026 |
ч |
0.013 |
| а, и |
0.062 |
д |
0.025 |
й |
0.012 |
| т, н |
0.053 |
п |
0.023 |
х |
0.009 |
| с |
0.045 |
у |
0.021 |
ж, ю, ш |
0.006 |
| р |
0.040 |
я |
0.018 |
ч, щ, э |
0.003 |
| в |
0.035 |
ы, з |
0.016 |
ф |
0.002 |
- Сравните, хотя бы качественно, изменение информации и энтропии в сосуде с водой до и после
замораживания. Ответ обоснуйте.
- Составить одну задачу на использование формулы Шеннона.
