Формула количества информации (log₂N)

Зачем это в ЕГЭ.
Задание 11 проверяет умение вычислять количество информации (1 первичный балл). Встречается в 70% реальных вариантов. Проверяет понимание логарифмической меры информации и её связь с вероятностями.

Главная идея.
Количество информации измеряется в битах и зависит от вероятности события: чем менее вероятно событие, тем больше информации оно несёт. Формула Хартли (log₂N) используется для равновероятных событий, а формула Шеннона — для разных вероятностей.

Алгоритм (чеклист).
1. Определить, равновероятны ли события.
2. Если да — применить формулу Хартли:

, где N — количество возможных событий.
3. Если нет — использовать формулу Шеннона:

.
4. Проверить, нужно ли переводить биты в байты (делить на 8).
5. Округлить ответ до целых, если требуется.

Опоры (кратко).
- Формула Хартли:

- 1 байт = 8 бит
-


-

Пример 1 (равновероятные события).
Шаг 1. В коробке 32 разноцветных карандаша. Какое минимальное количество бит потребуется для кодирования одного карандаша?
Шаг 2. События равновероятны, применяем формулу Хартли.
Шаг 3.

бит.
Шаг 4. Перевод в байты не требуется.
Шаг 5. Ответ: 5.

Пример 2 (неравновероятные события).
Шаг 1. Сообщение содержит буквы А (вероятность 0.5), Б (0.25), В (0.25). Найти информационный объём сообщения «БАВ».
Шаг 2. Используем формулу Шеннона для каждой буквы:
-

бит
-

бита
Шаг 3. Суммируем:

бит.
Шаг 4. Ответ: 5.

Типичные ошибки.
1. Путаница формул — применяют Хартли для неравновероятных событий.
2. Округление — забывают округлить до целых, если об этом просят.
3. Единицы измерения — не переводят биты в байты, когда это необходимо.
4. Логарифмы — ошибаются в вычислении

для нестепеней двойки.

Дальше.
Потренируйтесь на задачах с комбинацией формул Хартли и Шеннона.