✅Определение количества информации
✅Видеоразбор задачи "Вероятностный подход к определению количества информации"
✅Видеоразбор задачи "Алфавитный подход к определению количества информации"
Итак, начнём...
✅Определение количества информации
Единицы измерения информации
Бит – 0 или 1
Килобайт =
1024 байт = 210 байт
Мегабайт =
1024 килобайт = 210 килобайт
Гигабайт =
1024 мегабайт = 210мегабайт
Терабайт =
1024 гигабайт = 210 гигабайт
Петабайт =
1024 терабайт = 210 терабайт
Эксабайт =
1024 петабайт = 210 петабайт
Зеттабайт =
1024 эксабайт = 210 эксабайт
Йоттабайт =1024
зеттабайт = 210 зеттабайт
Экскурс
Клод Шеннон в 1948 году впервые
использовал слово «bit» для обозначения наименьшей единицы информации в
статье «Математическая теория связи».
Происхождение этого слова он приписывал Джону Тьюки, использовавшему сокращение «bit» вместо
слов «binary digit» в заметке лаборатории Белла от 9 января 1947 года.
В зависимости от точек зрения, бит может определяться
следующими способами:
1.
По Шеннону:
1.1. бит — это двоичный логарифм вероятности равновероятных
событий или сумма произведений вероятности на двоичный логарифм вероятности при
равновероятных событиях; см. информационная энтропия;
1.2. бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся
в опыте, имеющем два равновероятных исхода; см. информационная энтропия. Это тождественно количеству
информации в ответе на вопрос, допускающий ответ «да» или «нет» и никакого
другого (то есть такое количество информации, которое позволяет однозначно
ответить на поставленный вопрос);
2. Один разряд двоичного кода (двоичная цифра) может
принимать только два взаимоисключающих значения: «да» или «нет», «1» или «0», «включено» или «выключено»,
и т. п.
В электронике одному двоичному разряду
соответствует один двоичный триггер (триггер, имеющий два
устойчивых состояния).
В вычислительной технике и сетях передачи данных значения «0» и «1», обычно,
передаются различными уровнями либо напряжения, либо тока. Например, в микросхемах на основе транзисторно-транзисторной
логики значение «0» представляется напряжением в диапазоне от
+0 до +0.8 В, а значение «1» — напряжением в диапазоне от +2.4 до
+5.0 В.
Источник экскурса: Википедия
Вероятностный подход к определению количества информации
Сообщение – информативный поток, который в
процессе передачи информации поступает к человеку. Сообщение несет информацию
для человека, если содержащиеся в нем сведения являются для него новыми и понятными. Процесс
познания окружающего мира приводит к накоплению информации в форме знаний. Получение
новой информации приводит к расширению знания, то есть к уменьшению неопределённости
знаний.
Данный подход к
информации как мере уменьшения неопределённости знания позволяет количественно
измерять информацию.
Единица измерения информации называется бит. Сообщение, уменьшающее
неопределённость знаний человека в два раза, несёт 1 бит информации.
Вычисление количества информации для равновероятных событий (равновероятность
обозначает, что ни одно событие не имеет преимуществ перед другими)
определяется по формуле
Хартли, которая предложена Ральфом Хартлом в 1928 г. Формула
Хартли - частный случай формулы Шеннона для равновероятных событий:
N=2i
где N –
число возможных событий, i –
количество информации одного события в битах.
Данная формула является показательным уравнением относительно неизвестной i.
Из математики известно, что решение такого уравнения имеет вид:
I = log2N
- логарифм от N по
основанию 2. Если N равно
целой степени двойки (2, 4, 8, 16, и т.д.), то такое уравнение можно решить
"в уме". В противном случае количество информации становится нецелой
величиной, и для решения задачи придётся воспользоваться таблицей логарифмов.
Разбор задач: вероятностный подход к определению количества
информации
Рассмотрим
задачи:
Задача 1. В
коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный.
Какое количество информации при этом было получено?
Решение: Так как вытаскивание карандаша
любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то
число возможных событий равно 32.
N = 32, i =
? N = 2i, 32 = 25,
i = 5 бит.
Ответ: 5 бит.
_____________________________________________________________________
Задача 2. Сообщение
о том, что ваш друг живёт на 10 этаже, несёт 4 бита информации. Сколько
этажей в доме?
Решение:
i = 4, N = ? N = 2i, N = 24, N = 16
этажей
Ответ: 16
этажей.
_____________________________________________________________________
Задача 3. В
школьной библиотеке 16 стеллажей с книгами, на каждом – по 8 полок. Ученику
сообщили, что нужный учебник находится на 2-ой полке 4-го стеллажа. Какое
количество информации получил ученик?
Решение:
1) Число стеллажей (событий) – 16.
N1 =
16, N1 = 2I, 16 = 2I, 16 = 24, i1=
4 бита.
2) Число полок на каждом стеллаже (событий) – 8,
N2 = 8, N2 = 2I, 8 = 23, i2 =
3 бита.
3) i = i1 +
i2, i = 4 бита + 3 бита = 7 бит.
Ответ: 7 бит.
_____________________________________________________________________
Задача 4. Загадывают
число в диапазоне от 1 до 200. Какое наименьшее количество вопросов надо
задать, чтобы наверняка отгадать число. На вопросы можно отвечать только «Да»
или «Нет».
Решение: Правильная стратегия состоит в
том, чтобы количество вариантов каждый раз уменьшалось вдвое.
Например, загадано число 152.
1 вопрос: Число >100? Да.
2 вопрос: Число < 150? Нет.
3 вопрос: Число > 175? Нет. и т. д.
……………………………………………
Количество событий в каждом варианте будет одинаково, и их
отгадывание равновероятно. N =2i, 200 = 2i, 7
< i < 8. Т. к. количество вопросов нецелым числом быть не
может, то необходимо задать не более 8 вопросов.
Ответ: 8 вопросов
Контрольный вопрос: вероятностный подход к определению количества
информации
Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?
✅Видеоразбор задачи "Вероятностный подход к определению количества информации" (ссылка->)
https://www.youtube.com/watch?v=1_23ZM0S1X0
Комментариев нет:
Отправить комментарий